AI Foundation Model이란 무엇인가: 챗봇을 넘어 ‘일하는 AI 사회’로

AI Foundation Model은 단순한 언어 모델이 아니다. 생각, 기억, 행동, 조율, 통제로 구성된 AI Agent Stack을 통해 AI는 도구를 넘어 ‘일하는 존재’와 ‘사회적 존재’로 진화하고 있다. AI Foundation Model을 기술이 아니라 ‘일하는 구조’와 ‘조직의 진화’라는 관점에서 살펴본다.

AI Foundation Model이란 무엇인가: 챗봇을 넘어 ‘일하는 AI 사회’로

1. 왜 지금 ‘AI Foundation Model’인가

불과 얼마 전까지만 해도 AI는 “특정 일을 대신 해주는 도구”에 가까웠다.
번역을 해주거나, 사진을 분류하거나, 추천을 해주는 정도였다. 하지만 지금의 AI는 다르다.
AI는 이제 일을 이해하고, 나누고, 순서대로 실행하는 존재가 되고 있다.

이 변화의 중심에 바로 AI Foundation Model이 있다.

1.1 AI는 왜 갑자기 “도구”가 아니라 “일하는 존재”가 되었을까

과거의 AI는 질문에 답하는 데서 멈췄다. 사람이 모든 과정을 설계했고, AI는 그 안에서 정해진 계산만 수행했다.

하지만 최근의 AI는 다르다.

“이 일을 하려면 무엇부터 해야 하는지”를 스스로 생각하고
중간에 필요한 정보를 찾아오며
결과가 부족하면 다시 수정하고
다음 행동으로 자연스럽게 이어간다

이건 단순한 자동화가 아니다. ‘일을 수행하는 방식 자체’를 이해하기 시작한 것이다.

이 변화가 가능해진 이유는 단 하나다.
AI가 더 이상 규칙을 실행하는 계산기가 아니라, 맥락을 이해하는 언어 기반 지능이 되었기 때문이다.

언어는 단순한 말이 아니다. 언어는 인간이 일을 정의하고, 계획하고, 협업하는 방식이다.
AI가 언어를 이해하기 시작하면서, AI는 “명령을 수행하는 도구”에서 “업무를 이해하는 존재”로 이동했다.

1.2 챗봇에서 에이전트로: AI 역할의 질적 변화

많은 사람들은 여전히 AI를 “말 잘하는 챗봇”으로 인식한다. 하지만 챗봇과 에이전트 사이에는 결정적인 차이가 있다.

챗봇은 질문이 있어야 움직인다
에이전트는 목표가 있으면 스스로 움직인다

챗봇에게는 이렇게 말한다.

“이 메일 좀 써줘”

에이전트에게는 이렇게 말한다.

“이 고객 문제를 해결해줘”

이 두 문장의 차이는 크다. 그리고 에이전트는 다음을 스스로 판단한다.

이 문제를 해결하려면 어떤 단계가 필요한지
어떤 정보가 부족한지
어떤 도구를 써야 하는지
중간 결과가 잘못되었는지

즉, 에이전트는 하나의 답변이 아니라 하나의 업무 흐름을 책임진다.

이 순간부터 AI는 더 이상 “대답하는 존재”가 아니다. 일을 맡길 수 있는 존재, 즉 디지털 동료가 된다.

1.3 Foundation Model이 기존 AI와 다른 이유 한 문장 요약

기존 AI가 “정해진 문제를 푸는 전용 기계”였다면, AI Foundation Model은 “어떤 일이든 이해한 뒤, 필요한 방식으로 확장될 수 있는 지능 기반”이다. Foundation Model은 특정 기능이 아니다. 번역 AI도 아니고, 요약 AI도 아니다. Foundation Model은 ‘AI가 생각하고, 기억하고, 행동하도록 만드는 기반’이다. 그 기반 위에 올라선 순간, AI는 더 이상 도구로 남을 수 없게 된다.

2. AI Foundation Model

AI 파운데이션 모델은 이름부터 어렵게 느껴진다. 하지만 개념 자체는 생각보다 단순하다. AI 파운데이션 모델은 “AI가 무엇을 할 수 있느냐”가 아니라, “AI들을 통해 어떤 문제를 해결할 수 있느냐” 에 대한 것이다.

2.1 Foundation Model이란

Foundation Model을 가장 쉽게 이해하는 방법은 ‘기반 시설’에 비유하는 것이다. 기존 AI가 특정 목적지로 가는 전용도로라면, AI 파운데이션 모델은 어디로든 연결될 수 있는 고속도로망에 비유될 수 있다.

전용 도로는 빠를 수는 있지만, 새로운 목적지가 생기면 도로를 다시 깔아야 한다. 반면 고속도로망은, 출구만 만들면 새로운 목적지가 바로 연결된다.

한 가지 예를 더 들어보면, 스마트폰에서 특정 목적 달성을 위한 서비스는 ‘앱’이라면 운영체제인 OS는 Foundation Model에 해당한다. 우리가 스마트폰을 구매할 때, “이 폰에 어떤 번역 앱이 깔려 있나?”를 묻지 않는다. “이 폰 위에서 어떤 앱들이 돌아갈 수 있는가”를 본다. Foundation Model은 AI 세계의 운영체제(OS)라고 할 수 있다.

많은 사람들이 Foundation Model을 “엄청나게 큰 AI 모델 하나”라고 생각한다. 하지만 이건 반만 맞는 이해다. 파운데이션 모델의의 본질은 하나의 모델이 아니라, 여러 ‘능력의 묶음’이다. 이 능력 세트에는 다음이 포함된다.

새로운 지시를 이해하는 능력
적은 예시만 보고도 맥락을 파악하는 능력
서로 다른 영역의 지식을 연결하는 능력
말, 글, 이미지, 코드 등 다양한 표현을 다루는 능력

중요한 점은 이것이다. 이 능력들은 특정 업무를 위해 만들어진 것이 아니다. 그래서 Foundation Model 위에서는

챗봇도 만들 수 있고
분석가도 만들 수 있고
비서, 상담사, 개발자, 기획자 역할도 만들 수 있다

즉, Foundation Model은 AI 제품이 아니라, AI 생태계의 ‘토양’이다.

2.2 Foundation Model에서 LLM의 역할

LLM은 오늘날 Foundation Model의 핵심 엔진으로, 언어 이해와 추론 능력의 중심에 있다. 그러나, LLM만으로는 기억을 유지하지 못하고 행동을 직접 실행하지 못하며 장기적인 업무 흐름을 관리하지 못하기에 일을 수행하지 못한다.

LLM은 ‘뇌’이고, Foundation Model은 ‘신경계 + 기억 + 손발 + 제어 시스템’까지 포함한 존재다. LLM은 생각은 잘한다. 그러나, 무엇을 기억해야 할지, 언제 행동해야 할지, 실패했을 때 어떻게 복구할지 등 이런 일들은 LLM 바깥의 구조가 필요하다. 그래서 오늘날 우리가 말하는 AI Foundation Model은 LLM + 기억 + 행동 + 프로세스 + 통제 구조까지 포함한 개념이다.

3. 생각하는 AI의 중심: LLM Core (두뇌)

AI Foundation Model의 심장에는 LLM(Large Language Model) 이 있다. 사람이 말을 통해 생각을 정리하듯, 오늘날 AI는 언어를 통해 사고한다. 하지만 인간의 뇌가 뇌만으로 살 수 없듯, LLM 역시 혼자서는 일할 수 없다.

3.1 맥락을 이해하고 추론하는 LLM

LLM은 문장 하나가 아니라, 앞뒤 맥락 전체를 보고 의미를 파악한다. 그래서 애매한 지시에도 “아, 이런 의도겠구나”를 추론한다. 즉, 서로 다른 정보 조각을 연결해 이유를 설명하고, 대안을 제시하고, 계획을 세운다. 이 능력이 기존 AI와의 가장 큰 차이다. 이처럼 LLM을 통해 사고하는 AI는 특정 문제해결을 위해 만들어지지 않았음에도 주어진 문제를 풀기 위한 일들을 수행한다.

그러나, 대화가 끝나면, 기본적으로 모든 것을 잊는다. 또, 메일을 ‘써 줄 수는’ 있지만, 메일을 ‘보내지는’ 못하고, 데이터를 ‘설명할 수는’ 있지만, 데이터베이스를 ‘직접 조회하지는’ 못한다. 또한, 책임있는 판단을 할 수도 없다. LLM은 그럴듯한 답을 낼 수는 있어도, 그 결과에 대한 책임이나 검증 의식은 없다. 즉, LLM은 ‘생각’은 잘하지만, ‘기억, 행동, 책임’은 약하다.

그럼에도 불구하고, 왜 LLM이 AI 지능의 중심이 되었을까? 이유는 간단하다. 언어는 인간 지능의 인터페이스이기 때문이다.

사람은 언어로 문제를 정의하고, 계획을 세우며, 협업하고, 결과를 설명한다. 즉, 언어는 사고의 표면이다.
LLM은 이 언어의 패턴을 대규모로 학습하면서, 생각의 구조, 논리의 흐름, 설명의 방식까지 함께 학습했다.
그래서 LLM은 단순히 “말을 잘하는 모델”이 아니라, 사고의 형태를 흉내 낼 수 있는 모델이 되었다.

이 지점에서 AI는 처음으로 “지시를 이해하는 기계”를 넘어 “의도를 해석하는 존재”가 되었다.

3.2 인간의 사고와 LLM의 사고

겉으로 보면 LLM의 사고는 인간과 비슷해 보인다. 하지만 내부 구조는 완전히 다르다.

인간의 사고

경험에 기반한다
감정과 동기가 섞여 있다
실패의 기억이 남아 행동을 바꾼다
목적과 책임을 스스로 인식한다

LLM의 사고

데이터의 확률 패턴에 기반한다
감정은 ‘표현’일 뿐 ‘경험’이 아니다
실패를 스스로 기억하지 않는다
목표는 외부에서 주어져야 한다

즉, 인간은 ‘살아온 결과로 생각’하고, LLM은 ‘학습된 패턴으로 추론’한다.

이 차이는 단점이기도 하지만, 장점이기도 하다. LLM은 감정에 휘둘리지 않고, 피로하지 않으며, 동시에 여러 사고 경로를 탐색할 수 있다. 그래서 인간을 대체하기보다는 보완하는 위치가 자연스럽다.

3.3 왜 LLM만으로는 일을 맡길 수 없는가

여기까지 보면 이런 질문이 생긴다. “생각도 잘하는데, 그냥 LLM에게 일을 맡기면 안 되나요?”

답은 명확하다. 안 된다! 이유는 단순하다. 일은 ‘생각’만으로 끝나지 않기 때문이다. 일에는 항상 다음이 포함된다.

필요한 정보를 찾아오는 과정
중간 결과를 저장하고 이어가는 과정
실제 시스템을 조작하는 과정
오류가 나면 되돌아가는 과정
기록과 승인, 책임의 문제

LLM은 이 모든 것을 스스로 관리할 수 없다. 그래서 LLM은 두뇌로는 훌륭하지만 혼자서는 직원이 될 수 없다. LLM 위에 기억, 행동, 업무 흐름, 감시 구조가 얹혀질 때 비로소 우리는 “AI에게 일을 맡긴다”고 말할 수 있다.

4. Retrieval & Knowledge Layer, 기억하는 AI

아무리 똑똑한 두뇌가 있어도, 기억이 없다면 일은 반복되고 실수는 되풀이된다. AI도 마찬가지다. LLM이 ‘생각하는 능력’을 갖췄다면, 기억하고 참고하는 능력을 지닌 Retrieval & Knowledge Layer를 갖춰야 한다. 이 계층이 없으면 AI는 매번 새로 태어난 신입사원과 다를 바 없다.

4.1 AI에게 “기억”이 왜 필요한가

사람에게 일을 맡길 때, 우리는 이런 기대를 한다.

“이 회사 자료를 알고 있겠지”
“지난번 논의한 내용 기억하겠지”
“우리 방식이 어떤지 알겠지”

하지만 LLM은 기본적으로 아무것도 기억하지 않는다. 대화가 끝나면, 모든 맥락은 사라진다. 이 상태의 AI는 늘 같은 질문을 반복하고, 이미 결정된 사항을 다시 묻고, 조직의 맥락을 전혀 반영하지 못한다. 즉, 생각은 잘하지만 ‘일의 연속성’이 없다.

그래서 AI가 실제 업무에 투입되기 위해서는 외부에 기억을 두고, 필요할 때 불러오는 구조가 반드시 필요하다. 이것이 바로 Retrieval & Knowledge Layer의 역할이다.

Retrieval & Knowledge 층은 학습된 지식과, 동기화해서 불러오는 지식 등 2가지로 구분된다.

AI가 과거에 미리 배운 정보, 일반 상식, 언어 구조, 공개된 자료 등은 학습된 지식으로 넓고 오래되고 고정적인 지식이다. 반면, 불러오는 지식은 사내 문서, 최신 데이터, 고객 정보, 실시간 시스템 상태 등 좁고 정확하며 현재성을 가진다. 업무에서 중요한 것은 언제나 후자다. 최신 계약 조건, 오늘 변경된 정책, 회사만의 내부 기준 등의 지식은 학습으로 해결할 수 없다. 그래서 AI는 “기억을 외부에서 읽어오는 능력”을 가져야 한다.

4.2 RAG의 등장

RAG(Retrieval-Augmented Generation)는 기억을 외부에서 읽어오는 능력을 향상하기 위해 등장했다. 쉽게 말하면, “생각하기 전에, 먼저 필요한 자료를 찾아보고 생각하자.”는 것이다. 사람도 보고서를 쓸 때, 기억에만 의존하지 않고, 자료를 찾아보고, 그 위에서 판단한다.

RAG는 이 과정을 AI에게 그대로 적용한 구조다. 질문이 들어오면 관련 문서를 먼저 찾고 그 내용을 바탕으로 답을 생성한다. 그래서 RAG를 쓰면, 헛소리가 줄어들고 출처 있는 답변이 가능해지며 조직 맥락이 반영된다. RAG는 단순한 기술이 아니라, AI를 ‘업무 가능한 존재’로 만드는 최소 조건이다.

기업이나 조직에서는 Retrieval & Knowledge layer를 어떻게 구축하느냐가 가장 중요하다. 개인 사용자는 “그럴듯한 답”만으로도 만족할 수 있다. 하지만 기업과 조직은 다르다. 틀리면 안 되고 출처가 있어야 하며 책임 소재가 분명해야 한다

LLM만 쓰는 AI는 기업 입장에서 위험하다. 반면, Retrieval & Knowledge Layer가 있는 AI는 “어떤 문서를 참고했는지”를 말할 수 있고 “회사 기준에 따라 판단했는지”를 설명할 수 있으며 필요하면 답변을 제한하거나 수정할 수 있다. 그래서 실제 B2B AI 도입에서 가장 먼저 구축되는 계층이 바로 이 부분이다. 기업 AI 경쟁력의 핵심은 모델 성능이 아니라, 어떤 지식을 어떻게 연결하느냐에 있다.

5. Tools & Actions Layer, 행동하는 AI

생각하고, 기억하는 AI는 아직 ‘조언자’에 가깝다. 하지만 행동을 시작하는 순간, AI는 ‘실무자’가 된다. Tools & Actions Layer는 AI가 현실 세계와 연결되는 결정적인 분기점이다. 이 계층이 추가되는 순간, AI는 더 이상 “말만 하는 존재”로 남을 수 없다.

5.1 AI가 “행동”하기 시작한 순간

우리는 흔히 이런 경험을 한다. “AI가 이렇게 하면 좋겠다고 말해주긴 했는데, 결국 내가 다 해야 하네.” 이 말 속에는 중요한 힌트가 있다. 말과 행동 사이에는 커다란 간극이 있다는 사실이다.

과거의 AI는 이메일 초안을 써주고, SQL 쿼리를 만들어주고, 해야 할 일을 목록으로 정리해줬다. 하지만 실제로 메일을 보내고 데이터를 조회하고 시스템을 조작하는 건 항상 사람이었다.

Tools & Actions Layer는 이 마지막 장벽을 허문다. AI는 이제 “이렇게 하세요”라고 말하는 대신, “제가 하겠습니다”라고 말할 수 있게 된다. 이 순간부터 AI는 조언자에서 실행자로 이동한다.

5.2 API 호출, 문서 작성, DB 조회는 무엇을 의미하는가

이 계층에서 흔히 등장하는 단어들이 있다. API 호출, 문서 자동 생성, 데이터베이스 조회 등은 기술적으로 들릴 수 있지만, 의미는 아주 단순하다. AI가 회사의 ‘업무 시스템’에 손을 뻗기 시작했다는 뜻이다.

API 호출 → 결제 요청, 배송 상태 확인, 일정 등록
문서 작성 → 보고서 생성, 계약서 초안 작성
DB 조회 → 고객 정보 확인, 매출 데이터 분석

이건 단순한 기능 추가가 아니다. AI가 회사의 업무 흐름 안으로 들어왔고, 실제 결과를 만들어내기 시작했다는 신호다. 즉, 이 계층은 AI가 조직의 ‘도구 모음’을 쓰기 시작한 단계다.

5.3 2025년 이후, UI를 직접 조작하는 AI

2025년을 기준으로, AI 행동의 방식에는 중요한 변화가 생겼다. 과거에는 API가 있어야만 AI가 행동할 수 있었다. 그러나 현재는 사람처럼 화면을 보고, 클릭하고, 입력한다. 이 말은 곧 레거시 시스템, 내부 전산 화면, 자동화되지 않은 웹 서비스 까지도 AI가 다룰 수 있다는 뜻이다. AI는 이제 버튼을 찾고, 입력창을 채우고, 결과 화면을 해석한다.

이건 단순한 자동화가 아니다. ‘디지털 공간에서의 신체’를 갖게 된 것에 가깝다. 이 변화로 인해, AI 도입의 조건이 크게 낮아졌다. “API가 없어서 AI를 못 씁니다”라는 말이 더 이상 결정적 이유가 되지 않는다.

5.4 “손과 발”을 가진 AI가 생기면 벌어지는 일들

AI가 손과 발을 갖게 되면, 업무의 풍경은 완전히 달라진다.

우선, 사람의 역할이 바뀐다. 사람은 직접 실행하는 존재에서 목표를 정의하고 결과를 검토하는 존재로 이동한다.

둘째, 일의 속도가 비선형적으로 빨라진다. 밤낮없이, 동시에, 실수 없이 AI는 일하며 멈추지 않는다.

셋째, “작은 팀으로 큰 조직”이 가능해진다. 한 사람이 여러 에이전트를 관리하고, 에이전트들이 각자 업무를 수행한다. 조직 구조 자체가 달라진다.

마지막으로, 책임과 통제의 문제가 새로 등장한다. 즉, 누가 승인했는가, 어디까지 자동으로 허용할 것인가, 어떤 행동은 막아야 하는가 등의 문제들이 화두로 대두하게 된다.

6. 일의 흐름을 이해하는 AI, Workflow Orchestrator

AI가 생각하고, 기억하고, 행동까지 할 수 있게 되면 이제 이런 질문이 생긴다.

“그럼 AI 하나에게 일을 통째로 맡기면 되지 않나요?”

놀랍게도 답은 ‘아니다’이다. 일은 언제나 흐름으로 이루어져 있고, 흐름은 단일한 지능이 아니라 조율의 문제이기 때문이다. 이 역할을 담당하는 것이 바로 Workflow Orchestrator다.

6.1 왜 단일 AI는 일을 잘 못하는가

겉으로 보면, 똑똑한 AI 하나가 모든 걸 처리하는 것이 가장 효율적으로 보인다. 하지만 실제 업무는 그렇지 않다. 일이 길어질수록 맥락이 많아지고, 중간 결과가 쌓이며, 예외와 오류가 반드시 발생한다.

만일 이런 복잡다단한 업무를 단일 AI에게 모두 맡기면, 앞에서 한 판단을 뒤에서 잊어버리고, 한 단계의 실패가 전체 실패로 이어질 수 있고, 무엇이 잘못됐는지 추적하기 어려워진다.

이건 사람에게도 마찬가지다. 아무리 뛰어난 개인이라도 모든 업무를 혼자 완벽하게 처리하는 경우는 없다. 그래서 조직은 팀을 만들고, 팀에는 업무를 나누고 연결하는 구조가 존재한다.

6.2 일을 쪼개고, 연결하고, 복구하는 능력

Workflow Orchestrator의 핵심 기능은 단순하다.

쪼개기: 이 일을 하려면 어떤 단계들이 필요한가?
연결하기: 어떤 순서로 진행해야 하고, 어떤 결과가 다음 단계로 넘어가는가?
복구하기: 중간에 실패하면 어디서부터 다시 시작할 것인가?

이건 똑똑함의 문제가 아니다. 일을 관리하는 능력의 문제다. Workflow Orchestrator는 AI가 무엇을 생각했는지 기억하고, 어떤 행동이 성공했는지 기록하며, 실패했을 때 자동으로 경로를 바꾼다. 즉, 이 계층은 AI에게 ‘업무 운영 능력’을 부여한다.

6.3 Task Decomposition이 인간 팀과 닮은 이유

Task Decomposition, 즉 업무 분해는 AI 세계의 독특한 개념이 아니다. 사람은 이미 수천 년 전부터 이 방식을 써 왔다. 기획자는 목표를 정의하고, 실무자는 세부 작업을 수행하며, 관리자는 전체 진행 상황을 조율한다

Workflow Orchestrator는 인간의 팀 구조를 디지털 방식으로 재현한다. 어떤 AI는 조사에 특화되고, 어떤 AI는 실행에 강하며, 어떤 AI는 검토와 정리에 집중한다. 각각은 완벽하지 않지만, 역할이 나뉘는 순간 전체 성능은 오히려 올라간다.

이것이 단일 AI보다 멀티 에이전트 구조가 강력한 이유다.

6.4 멀티 에이전트의 협업방식

멀티 에이전트 협업은 여러 AI가 동시에 제멋대로 움직이는 것이 아니다. 중앙에는 항상 조율자가 있다. 어떤 에이전트에게 어떤 일을 맡길지 결정하고, 중간 결과를 수집하고, 충돌이 생기면 조정하며, 최종 결과를 통합한다. 이 구조는 마치 프로젝트 매니저와 여러 실무자가 함께 일하는 팀과 같다.

중요한 점은 개별 AI의 성능보다,어떻게 협업시키느냐가 결과를 좌우한다는 것이다.

LLM 성능은 점점 비슷해지고 있다. 기억과 행동 기술도 빠르게 표준화되고 있다. 하지만 Workflow Orchestrator는 다르다. 어떤 일을 어떻게 나누는가, 실패를 어떻게 감지하고 복구하는가, 조직의 업무 방식을 얼마나 잘 반영하는가 등은 회사마다 다르고, 산업마다 다르며, 쉽게 복제되지 않는다.

그래서 앞으로의 AI 경쟁은 “누가 더 똑똑한 모델을 가졌는가”가 아니라, “누가 더 일을 잘 설계했는가”의 경쟁이 된다. 이 계층이 바로 AI가 ‘기술’에서 ‘경영 자산’으로 바뀌는 지점이다.

7. 통제되는 AI, Monitoring & Governance

AI가 생각하고, 기억하고, 행동하고, 여러 에이전트가 협업까지 하게 되면 마지막으로 반드시 등장하는 질문이 있다.

“그래서, 이 AI를 믿어도 되는가?”

이 질문에 답하지 못하면 AI는 아무리 뛰어나도 실험실을 벗어나지 못한다. 이때 필요한 것이 바로 Monitoring & Governance다.

7.1 AI는 왜 반드시 감시되어야 하는가

많은 사람들은 “감시”라는 단어에 거부감을 느낀다. 하지만 여기서 말하는 감시는 통제가 아니라 책임의 전제 조건이다.

사람에게 일을 맡길 때도 우리는 누가 했는지 기록하고, 어떤 기준으로 판단했는지 묻고, 문제가 생기면 책임 소재를 따진다. AI도 다르지 않다. 오히려 AI는 속도가 빠르고, 동시에 많은 일을 처리하며, 한 번의 오류가 큰 영향을 줄 수 있기 때문에 사람보다 더 엄격한 감시 구조가 필요하다.

감시가 없다는 것은 “AI가 마음대로 움직이게 두겠다”는 뜻이 아니라, “문제가 생겼을 때 아무도 설명할 수 없다”는 뜻이다.

7.2 “뭘 했는지 설명 가능한 AI”의 중요성

기업과 조직에서 가장 위험한 AI는 결과는 내놓지만, 과정은 설명하지 못하는 AI다.

예를 들어,

왜 이 고객을 거절했는지
왜 이 계약을 승인했는지
왜 이 데이터를 삭제했는지

이 질문에 답하지 못하면, 그 AI는 즉시 사용 중단 대상이 된다. 그래서 Monitoring & Governance의 핵심은 단순하다. AI가 ‘무엇을 했는지’뿐 아니라 ‘왜 그렇게 했는지’를 남길 수 있어야 한다. 이를 위해 필요한 것이 행동 로그, 의사결정 근거, 참조한 데이터 출처 등이다. 이러한 구조가 갖춰질 때, AI는 처음으로 감사 가능한 존재가 된다.

7.3 기업이 에이전트를 바로 못 쓰는 이유

“기술은 좋은데, 바로 쓰기는 어렵다.” 많은 기업들이 말한다. 이유는 대부분 성능이 아니라 통제 문제다.

AI가 어디까지 행동해도 되는지
어떤 데이터는 접근하면 안 되는지
누가 최종 승인 권한을 가지는지

이 기준이 없으면, 내부 규정을 위반할 수 있고, 개인정보 문제나 법적 리스크가 바로 발생할 수 있다. 그래서 기업은
AI를 도입하기 전에 반드시 묻는다.

“이 AI를 통제할 수 있는가?”

이 질문에 답하지 못하면 파일럿은 가능해도, 전사 도입은 불가능하다.

7.4 승인, 기록, 차단이 포함된 AI 운영 구조

실제 기업 환경에서의 AI 운영 구조는 대개 다음 세 가지를 포함한다.

승인 (Approval): 일정 금액 이상의 결제, 외부 발송 메일, 민감 데이터 처리 등에 대한 구조설계가 필요하고 이 모든 과정의 최종 확인은 사람이 해야 한다.
기록 (Logging): 어떤 판단을 했는지, 어떤 데이터를 참고했는지, 어떤 행동을 실행했는지 등은 사후 검증과 감사를 위한 필수 요소다.
차단 (Guardrail): 특정 행동은 원천적으로 금지, 위험 패턴 감지 시 자동 중단, 정책 위반 시 즉시 개입 등 AI의 자유를 제한하기 위한 것이 아니라, 조직을 보호하기 위한 안전장치가 필요하다.

이 구조가 갖춰질 때, AI는 비로소 “실험 대상”이 아니라 조직의 구성원이 된다.

8. AI Agent Stack의 전체 흐름

지금까지 우리는 AI를 구성하는 요소들을 하나씩 살펴봤다. 하지만 AI Agent Stack의 진짜 힘은 각 요소가 연결되어 순환할 때 드러난다.

AI는 직선적으로 움직이지 않는다. 생각하고, 기억하고, 행동하고, 조율하고, 통제받는 순환 구조 속에서 일한다.

8.1 생각 → 기억 → 행동 → 조율 → 통제의 순환 구조

AI Agent Stack을 한 번에 요약하면 다음과 같다.

생각 (LLM Core): 무엇을 해야 하는지 이해하고, 목표를 해석하고, 가능한 선택지를 만든다
기억 (Retrieval & Knowledge Layer): 회사 문서, 데이터, 맥락을 불러와 지금 상황에 맞게 사고를 보정한다
행동 (Tools & Actions Layer): 실제 시스템을 조작하고 문서를 만들고 외부와 상호작용한다
조율 (Workflow Orchestrator): 일을 단계로 나누고 여러 에이전트를 연결하고 실패 시 흐름을 복구한다
통제 (Monitoring & Governance): 무엇을 했는지 기록하고 위험을 감지하고 필요하면 사람의 개입을 요청한다

중요한 점은, 이 과정이 한 번으로 끝나지 않고 순한하며 진화한다는 것이다.

행동 결과는 다시 기억으로 돌아가고
기억은 다음 생각을 바꾸며
통제 결과는 업무 설계를 개선한다

이 구조를 인간 조직에 비유하면 훨씬 이해가 쉽다.

LLM Core → 개인의 사고 능력
Memory → 회사의 문서, 회의록, 경험
Tools → 사내 시스템, 업무 도구
Workflow Orchestrator → 팀장, 프로젝트 매니저
Governance → 규정, 감사, 법무, 컴플라이언스

즉, AI Agent Stack은 한 명의 천재 직원이 아니라, 하나의 조직 구조에 가깝다.

그래서 AI를 잘 쓰는 기업은 “AI를 뽑았다”라고 말하지 않는다. “AI가 일할 수 있는 조직을 만들었다”라고 말한다.

8.2 Foundation Model은 ‘뇌’가 아니라 ‘종(species)’이다

관점의 전환이 필요한 시점이다. 많은 사람들이 Foundation Model을“아주 큰 뇌”라고 생각한다. 하지만 이 비유는 정확하지 않다. Foundation Model은 뇌가 아니다. Foundation Model은 ‘종(species)’에 가깝다.

파운데이션 모델은

하나의 역할로 고정되지 않고,
환경에 따라 다양한 개체(에이전트)로 분화하며
기억, 도구, 규칙과 결합해 전혀 다른 존재가 된다

같은 Foundation Model 위에서도 상담 에이전트가 나오고, 회계 에이전트가 나오고, 개발 에이전트가 나온다. 이들은 같은 “뇌”를 쓰지 않는다. 같은 종에서 진화한 서로 다른 개체다. 이 관점에서 보면, AI의 미래는 단순하다. 더 큰 모델이 아니라 더 많은 역할과 생태계, 더 잘 설계된 환경으로 진화한다.

9. Foundation Model에서 Agent Society로

지금까지 우리는 AI를 하나의 존재로 바라봤다. 하지만 Foundation Model의 진짜 변화는 AI가 ‘혼자 일하는 존재’에서 ‘함께 일하는 존재’로 바뀌는 순간에 일어난다. 이 지점부터 AI는 더 이상 도구도, 개인도 아니다. 하나의 사회적 행위자 집합, 즉 Agent Society가 된다.

9.1 단일 AI에서 다수 AI로

초기의 AI 활용은 하나의 AI, 하나의 창, 하나의 역할에 국한되었다. 하지만 실제 업무는 절대 이렇게 단순하지 않다. 조사, 판단, 실행, 검토하고 승인하는 역할 등으로 다양하게 분리되어 있다. AI에서도 자연스럽게 역할 분화가 일어난다.

그래서 최근의 AI 시스템은 하나의 AI가 모든 걸 하는 구조가 아니라 여러 AI가 각자의 역할을 맡는 구조로 이동하고 있다. 이 변화는 성능의 문제가 아니라, 업무 구조의 필연적인 진화다.

9.2 협업하는 AI가 만드는 사회

여러 AI가 함께 일한다고 해서 그것이 곧 사회는 아니다. 사회가 되기 위해서는 역할 분담, 상호 의존, 규칙, 조정 메커니즘 등이 필요하다. AI Agent Society에서도 마찬가지다. 어떤 에이전트는 정보를 수집하고, 어떤 에이전트는 판단을 내리며, 어떤 에이전트는 실행하고, 또 어떤 에이전트는 전체를 감시한다.

이들은 서로의 결과를 참고하고, 충돌을 조정하며, 공동의 목표를 향해 움직인다. 이 순간, AI는 단순한 병렬 처리 시스템이 아니라 사회적 구조를 가진 집단 지능이 된다.

9.3 인간 + AI 혼합 조직의 등장

중요한 점은, 이 사회에서 인간이 사라지지 않는다는 것이다. 오히려 인간의 역할은 더 또렷해진다. 인간은 목표를 정의하고 기준과 가치를 설정하며 최종 책임을 진다. AI는 실행을 맡고, 분석을 확장하며, 속도와 범위를 비약적으로 넓힌다. 이 구조는 대체가 아니라 결합이다.

앞으로의 조직은 사람만으로 또는 AI만으로 작동하지 않을 것이다. 인간과 AI가 함께 구성된 혼합 조직이 기본 형태가 될 것이다. 과거 회사는 사람 중심으로 운영되고 도구는 보조 수단에 불과했다. 그러나 이제 우리가 맞이하게 될 회사는 사람과 AI 에이전트가 함께 일하고, 에이전트는 팀처럼 관리되며, 성과는 인간과 AI의 결합에서 나오게 될 것이다.

이런 구조에서는

채용이 아니라 에이전트 설계가 중요해지고
조직도가 아니라 업무 흐름도가 핵심이 되며
리더십은 통제가 아니라 조율과 설계가 된다.

10. 앞으로의 AI Foundation Model은 어디로 가는가

AI Foundation Model의 발전은 아직 끝나지 않았다. 하지만 중요한 변화 하나는 이미 분명해졌다. 경쟁의 중심이 바뀌었다는 것이다.

10.1 모델 경쟁은 끝났고, 구조 경쟁이 시작됐다

몇 년 전까지만 해도 AI 경쟁은 단순했다.

누가 더 큰 모델을 가졌는가
누가 더 많은 데이터를 학습했는가
누가 더 높은 성능 점수를 얻었는가

하지만 지금은 상황이 다르다.

비슷한 수준의 모델은 누구나 접근할 수 있고
성능 격차는 빠르게 줄어들며
“조금 더 똑똑한 모델”은 더 이상 결정적이지 않다

이제 차이를 만드는 것은 모델 그 자체가 아니라, 모델이 놓인 구조다.

어떤 기억과 연결되는가
어떤 도구를 쓸 수 있는가
어떻게 업무가 나뉘고 조율되는가
어디까지 자동화되고, 어디서 사람이 개입하는가

즉, 경쟁은 모델 경쟁 → 시스템 설계 경쟁으로 이동했다.

10.2 더 똑똑한 AI보다 더 잘 설계된 AI

AI의 미래는 “사람보다 더 똑똑한 존재”에 있지 않다. 오히려 중요한 질문은 ‘이 AI는 어떤 환경에서, 어떤 역할로, 어떤 규칙 아래에서 작동하는가?’ 이다. 같은 Foundation Model이라도 어떤 조직에서는 생산성을 폭발시키고, 어떤 조직에서는 혼란만 키운다.

차이는 업무를 잘 나누었는가, 실패를 대비한 복구 경로가 있는가, 통제와 자율의 균형이 맞는가 등을 포함한 설계에서 나온다. 이처럼, 앞으로의 AI 경쟁력은 지능의 크기가 아니라 설계의 깊이로 결정될 것이다.

10.3 남은 생각들

AI Foundation Model 시대에 우리가 던져야 할 질문은 기술적인 것이 아니다.

우리는 AI에게 무엇을 맡길 것인가?
사람이 반드시 책임져야 하는 것은 무엇인가?
자동화의 한계선은 어디에 둘 것인가?
이 조직의 가치와 규칙은 AI에 어떻게 반영되는가?

이 질문에 답하지 않은 채 AI를 도입하는 것은 방향 없는 엔진을 단 배에 올라타는 것과 같다. AI는 중립적이지 않다. 설계자의 사고와 조직의 철학을 그대로 반영한다.

AI 시대의 인간은 더 빨리 처리하는 존재도 아니고, 더 많이 기억하는 존재도 아니다. 인간의 역할은 오히려 더 분명해진다.

목표를 정의하는 존재
가치를 판단하는 존재
책임을 지는 존재
시스템을 설계하는 존재

AI는 일을 한다. 하지만 왜 이 일을 해야 하는지는 묻지 않는다. 그 질문을 던지고, 그 방향을 정하는 역할은 여전히 인간의 몫이다.

AI의 새로운 국면: “Agentic AI가 일의 미래를 재정의하다” – 모두의 팬! MOFAN

일과 삶을 혁신하는 AI 에이전트 활용백서 – WikiDocs

Advanced and Challenges in Foundation Agent: