AI 작동 원리 쉽게 이해하기: LLM·토큰·에이전트를 비개발자용으로 정리

핵심 메시지

• 모델이란 예측을 하게 해 주는 것이며, 대형언어모델(LLM)은 '다음에 올 단어'를 예측하도록 학습한 특수한 모델이다.
• 더 많은 데이터로 더 크게, 더 오래 학습할수록 모델은 세상에 대해 더 많이 알게 된다(학습 시 스케일링).
• LLM은 문맥창(토큰) 안에서 동작하며, 특수 토큰을 통해 대화·도구 호출·사고(추론) 기능을 구현한다.
• 에이전트는 '도구를 쓸 수 있는 LLM 시스템'이며, 모델을 감싸는 지시·도구·소프트웨어(하네스)가 성능을 좌우한다.
• 에이전트 활용의 핵심은 직접 실행이 아니라 '조종'이며, 인턴을 코칭하듯 맥락·도구·권한을 갖춰 주는 것이 관건이다.

쉽게 이해하기

강연은 유행성 팁 대신 AI가 근본적으로 어떻게 동작하는지를 비개발자에게 전달하는 데 목표를 둔다. 출발점은 '지능'과 '모델'이다. 모델이란 세상을 단순화해 예측을 가능하게 하는 장치로, 날씨를 보고 비를 예상하는 머릿속 판단부터 로켓 궤도를 계산하는 물리식, 기업 가치를 추정하는 재무 모델, 그리고 휴대폰의 자동완성까지 모두 '입력을 받아 예측을 내놓는다'는 점에서 같다.

대형언어모델은 이 자동완성을 극단적으로 키운 것이다. '$40 셔츠가 25% 할인'이면 얼마인지, 영어를 스페인어로 옮기면 무엇인지처럼 다음 단어를 맞히려면 세상에 대한 이해가 필요하다. LLM은 예측을 다시 입력에 붙여 반복함으로써 긴 문단을 생성한다. 이런 예측 능력은 인터넷의 방대한 텍스트를 학습(training)해 얻으며, 이후 새 입력에 대해 예측하는 단계를 추론(inference)이라 부른다. 모델을 더 키우면 더 똑똑해진다는 '학습 시 스케일링 법칙'이 데이터센터 투자와 전용 하드웨어 경쟁의 배경이다.

자동완성을 챗봇으로 바꾸는 열쇠는 문맥창과 토큰이다. LLM은 예측에 사용하는 모든 텍스트인 문맥창 안에서 동작하고, 텍스트는 토큰이라는 단위로 쪼개져 정수로 변환된다. 그래서 사용량과 비용이 토큰으로 매겨진다. 사용자 메시지와 어시스턴트 메시지를 구분하는 특수 토큰을 넣으면 대화가 되고, 같은 방식으로 도구 호출(계산기 등)과 '생각하기(사고)' 기능도 구현된다.

추론 모델은 답하기 전에 특수 토큰 사이에서 '소리 내어 생각'하며, 토큰을 더 많이 생성할수록 성능이 좋아진다(추론 시 스케일링). 이 발견이 딥리서치·코딩 에이전트·범용 에이전트로 이어졌다. 에이전트는 도구를 쓸 수 있는 LLM이며, 웹 검색·코드 실행·파일 접근·가드레일·MCP 연결·스킬 같은 '하네스'가 모델만큼 중요하다.

마지막으로 강연은 에이전트를 잘 조종하는 세 가지 팁을 제시한다. 첫째, '에이전트 공감'—내가 에이전트 입장이라면 이 일을 할 수 있을지 자문하고 도구·권한·지시·맥락을 문맥창에 충분히 담아 준다. 둘째, '작게 시작'—전체를 한 번에 자동화하지 말고 한 사례로 검증하며 피드백을 주고받은 뒤 확장한다. 셋째, '연산과 지능의 관계'—어려운 작업엔 더 큰 모델을 쓰거나 더 오래 생각하게 하고, 규모를 키울 때는 더 작은 모델로 최적화한다.

주요 인사이트

• AI를 다루는 방식은 전통적 소프트웨어 사용보다 '인턴 코칭'에 가깝다. 에이전트가 잘 못한다면 대개 주어진 맥락에 문제가 있는 경우다.
• 비용·한도가 단어가 아니라 토큰으로 매겨지는 이유는 토큰이 LLM이 실제로 처리하는 텍스트의 기본 단위이기 때문이다.
• '더 큰 모델(학습 시)'과 '더 오래 생각(추론 시)'이라는 두 축 모두 더 많은 연산이 더 나은 성능으로 이어진다는 같은 원리를 공유한다.
• 업무의 초점이 '어떻게 내가 보고서를 만들까'에서 '어떻게 에이전트가 보고서를 만들게 할까'로 옮겨가는 사고 전환이 필요하다.
• 처음 시도하거나 어려운 작업에는 큰 모델을 기본값으로 쓰고, 검증 뒤 확장 단계에서 작은 모델로 비용을 최적화하는 전략이 실용적이다.

자주 묻는 질문

관련 AI 소식