MIT 6.S191 LLM 강의 정리: 언어 모델 원리부터 프롬프트, AI 에이전트까지

핵심 메시지

• 언어 모델의 본질은 '다음 단어 맞히기'이며, 1980년대 통계 기반 모델도 같은 원리로 문장을 이어 붙인다.
• 문맥이 짧으면 모델이 확률 루프에 갇혀 같은 문장을 반복하는데, 강연자는 이를 환각을 이해하는 가장 단순한 예로 든다.
• 파라미터 수와 문맥 길이가 폭발적으로 커지면서 예시 없이도 과제를 수행하는 제로샷 능력이 나타났다.
• 프롬프트를 바꾸는 일은 학습 데이터의 특정 영역으로 확률을 옮기는 작업이며, 사실상 새 모델을 만드는 것과 같다.
• 실무에서는 모델 위에 규칙을 강제하는 정책 계층과 평가 체계를 반드시 얹어야 한다.

쉽게 이해하기

MIT의 딥러닝 입문 과정 6.S191의 대규모 언어 모델 편으로, 구글에서 제미나이를 각 제품에 적용하는 응용 연구 그룹을 이끄는 피터 그라보스키가 강연자로 나섰다. 그는 이 강의가 원래 구글 사내에서 진행하던 부트캠프 자료를 옮겨 온 것이라고 밝히며, LLM이 어떻게 동작하는지, 언제 어떻게 써야 하는지, 흔히 빠지는 함정은 무엇인지를 차례로 짚겠다고 예고한다.

강의는 '큰' 언어 모델을 잠시 잊고 언어 모델 자체가 무엇인지 묻는 데서 출발한다. 답은 정교한 자동완성이다. 한 단어를 예측해 다시 입력에 붙이고 다음 단어를 예측하는 과정을 반복하는 것이 자기회귀 디코딩이며, 빈칸 채우기 형식에 문제를 끼워 넣으면 계산이나 유추, 사실 조회까지 같은 틀로 풀 수 있다는 설명이 이어진다. 강연자는 짧은 소설 도입부를 학습 자료로 삼아 단어 뭉치의 등장 횟수를 세어 확률 사전을 만드는 통계 기반 모델을 직접 만들어 보이는데, 문맥 창이 네 단어뿐이라 생성된 문장은 같은 구절을 끝없이 반복한다. 그는 이 장면이야말로 모델이 확률 분포의 이상한 지점에 갇혀 무언가를 지어내는 상황을 이해하는 실마리라고 말한다.

이어서 구형 모델을 가지고 저녁 메뉴를 추천하는 챗봇을 만들어 가는 과정이 나온다. 처음에는 여행 리뷰 게시판에서 자주 보이던 문구까지 그대로 재현할 만큼 학습 데이터를 흐릿하게 되짚는 모습을 보인다. 여기에 '너는 도움이 되는 챗봇'이라는 역할 문장을 붙이고, 대화 형식을 영화 대본처럼 표시해 주고, 모델이 상대방 대사까지 만들어 내면 뒷부분을 잘라 내는 식으로 조금씩 다듬으면 쓸 만한 대화가 만들어진다. 모델이 사용자의 대사까지 대신 쓰는 현상은 반란의 조짐이 아니라 대본 형식의 학습 데이터를 그대로 흉내 내는 것뿐이라는 지적이 인상적이다.

그렇다면 무엇이 달라져 지금의 열광이 생겼을까. 강연자는 파라미터 수가 수억에서 수조 단위로 늘었고, 문맥 길이도 네 단어 수준에서 제미나이의 200만 토큰까지 확장됐다는 점을 든다. 결정적인 계기로는 2020년 GPT-3 논문을 꼽는데, 가중치를 전혀 갱신하지 않고도 예시 없이 과제를 해내는 능력이 아주 큰 모델에서 창발적으로 나타났다는 것이다. 학습 데이터의 다른 영역으로 모델을 옮기는 방법으로는 프롬프트 수정, 어댑터나 저차원 보조 행렬을 얹는 파라미터 효율 기법, 지시 튜닝과 사람 선호 기반 강화학습, 그리고 규칙을 글로 적어 두고 다른 모델이 채점하게 하는 방식이 소개된다.

마지막으로 실전에서 만나는 문제들을 훑는다. 프롬프트를 빼내는 공격, 직업과 성별을 엮는 편향, 존재하지 않는 판례를 그럴듯하게 지어내 법정에서 문제가 된 사례, 체스에서 말이 다른 말을 뛰어넘는 반칙까지 이어진다. 그다음 에이전트로 넘어가 추론과 행동을 결합한 리액트 논문, 그리고 모델이 외부 도구를 호출하도록 학습시킨 툴포머 논문을 각 분야의 출발점으로 추천한다. 청중 질문에 답하며 그는 출력이 그럴듯해질수록 검증은 더 어려워지고 더 중요해졌다는 점, 그리고 사실은 데이터베이스에 맡기고 문장 생성만 모델에 맡기는 검색 증강 방식이 유효하다는 점을 강조한다.

주요 인사이트

• 프롬프트를 손보는 것도 결국 새로운 모델을 하나 만드는 일이라, 매번 검증 데이터와 평가 절차를 갖춰야 한다는 것이 강연자의 핵심 조언이다.
• 단계별로 생각하게 만드는 프롬프트가 통하는 이유로, 학습 과정에서 모델이 틀릴 수 있는 지점이 많아져 가중치를 교정할 기회가 늘어난다는 직관을 제시한다.
• 저차원 보조 행렬을 얹는 방식은 본체 모델을 건드리지 않기 때문에, 서버 한 대에 여러 용도의 가중치를 얹었다 뺐다 하며 쓸 수 있다는 실무적 이점이 있다.
• '트렁크'와 '부트'처럼 어느 쪽도 틀리지 않은 답이 공존하는 경우가 있어, 여러 유효한 언어 모델 사이를 오가는 능력은 기업 톤 유지와 안전성 양쪽에 필요하다.
• 확률적으로 움직이는 모델 위에 반칙을 걸러 내는 정책 계층을 두는 구조가, 실제 서비스에 올릴 때 예측 가능성을 확보하는 기본 설계다.

자주 묻는 질문

관련 AI 소식