LLM 강점과 약점 정리: 챗GPT가 농담은 못 만들고 시는 그럴듯하게 쓰는 구조적 이유

핵심 메시지

• LLM은 말을 하는 것이 아니라 '다음 단어는 무엇인가'라는 선택형 문제를 단어마다 반복해서 푸는 구조다.
• 이해는 창작보다 쉽다. 예측형 머신러닝(스팸 분류·이미지 인식)이 생성형보다 10년 가까이 먼저 성숙한 이유가 여기에 있다.
• 시는 방금 쓴 구절만 보고도 그럴듯하게 이어갈 수 있지만, 농담은 펀치라인을 미리 정해두고 도입부를 설계해야 하므로 단어 단위 생성과 맞지 않는다.
• 자동완성 수준의 초기 챗봇과 오늘의 LLM을 가른 결정적 차이는 데이터·연산 규모가 아니라 어텐션 메커니즘이었다.
• LLM은 거대한 백미러와 아주 작은 헤드라이트를 가진 자동차에 가깝다. 강점은 전부 백미러에서, 약점은 전부 헤드라이트에서 나온다.

쉽게 이해하기

루이스 세라노는 LLM의 성능을 논할 때 흔히 언급되는 '환각'이나 '거짓말' 같은 현상을 하나의 구조에서 다시 설명한다. 그가 출발점으로 삼은 질문은 단순하다. 왜 챗GPT는 새로운 농담을 시키면 형편없는 결과를 내놓는데, 시를 쓰라고 하면 문학에 익숙하지 않은 사람은 속을 만한 결과를 내놓는가. 모델은 세상의 농담도 시도 모두 학습했는데, 한쪽만 재현에 성공한다는 것은 데이터 양의 문제가 아니라는 뜻이다.

그는 먼저 '이해'와 '창작'의 난이도 차이를 시험 문제에 비유한다. 공부를 덜 한 사람은 객관식 시험을 선호한다. 찍을 수 있고, 선택지를 지워가며 답을 좁힐 수도 있다. 반면 서술형 시험은 모르는 만큼 그대로 드러난다. 피카소 그림을 알아보는 일과 피카소처럼 그리는 일, 경기를 보며 패인을 짚는 일과 직접 그라운드에서 뛰는 일이 다른 것과 같다. 그래서 스팸 메일 분류나 사진 속 고양이 인식 같은 예측형 AI는 2014~2015년경 이미 큰 성과를 냈지만, 메일을 대신 쓰고 고양이를 그려내는 생성형 AI는 10년쯤 뒤에야 등장했다.

문제는 '이해하는 기계'로 어떻게 '말하는 기계'를 만드느냐였다. 세라노는 객관식 문제만 맞히는 마법의 수정 구슬을 들고 서술형 시험장에 들어간 상황을 상상해 보라고 한다. 방법은 하나다. '이 글의 첫 단어는 무엇일까'를 세상의 모든 단어와 기호를 선택지로 놓고 묻고, 답이 나오면 적고, 다시 두 번째 단어를 묻는 식으로 끝까지 가는 것이다. 우아하지 않지만 이것이 실제로 오늘의 언어 모델이 하는 일이다. 모델은 말하지 않는다. 단어마다 객관식 문제를 하나씩 풀 뿐이다.

같은 원리로 작동한 물건은 이미 오래전에 있었다. 휴대전화 자동완성이다. 실제로 자동완성 추천을 계속 눌러 문장을 이어보면 네다섯 단어 단위로는 그럴듯하지만 곧 주제가 계속 바뀐다. 순환 신경망 계열 모델은 직전 몇 단어만 참조할 수 있어서다. 트랜스포머가 바꾼 지점이 여기다. 어텐션 메커니즘 덕분에 모델은 앞서 나온 모든 내용을 볼 수 있고, 그중 지금 쓰는 단어와 의미가 비슷한 부분에 더 큰 비중을 둔다. 세라노는 이를 자동완성의 '최근성 편향'과 트랜스포머의 '유사성 편향' 차이로 정리한다.

결론은 농담과 시의 차이로 되돌아온다. 시는 방금 쓴 구절을 보고 운을 맞추며 다음 단어를 고르면 되고, 중간에서 끊어도 시로 남는다. 농담은 도입부를 쓰는 순간 이미 펀치라인을 알고 있어야 한다. 단어 단위로 '웃기게' 쓰려고 애쓰면 급하게 농담을 흉내내는 아이처럼 되고 만다. 세라노는 이 비대칭을 백미러와 헤드라이트에 비유한다. 인류의 지식이 담긴 거대한 백미러와, 한 걸음 앞만 비추는 작은 헤드라이트를 함께 가진 자동차. 요약·지시 이행·농담 이해는 백미러의 일이고, 사실 보증과 장기 설계는 헤드라이트가 감당하지 못하는 영역이다.

주요 인사이트

• 환각을 '모델이 거짓말을 한다'로 이해하면 대책이 안 나온다. 모델에는 사실을 저장한 데이터베이스가 없고 '그럴듯하게 들리는 다음 단어'를 고르는 장치만 있다고 보면, 사실 확인은 외부 근거를 붙여 해결할 문제로 바뀐다.
• LLM에 무엇을 맡길지 고를 때는 그 일이 '백미러 작업'인지 '헤드라이트 작업'인지 물어보는 것이 실용적이다. 이미 있는 텍스트를 정리·분류·해설하는 일은 강점 영역이고, 결말을 미리 정해두고 거꾸로 설계해야 하는 일은 약점 영역이다.
• 모델이 농담을 못 만들면서도 어떤 농담이든 이해한다는 점은 시사적이다. 판별과 생성의 난이도가 다르므로, 생성은 사람이 하고 검토는 AI에게 맡기는 조합도 반대 조합만큼 진지하게 검토할 만하다.
• 세라노는 언어 모델이 좋은 영화보다 좋은 드라마 시리즈를 먼저 쓸 것이라고 본다. 회차 단위로 이어 붙이는 서사는 앞만 보고도 가능하지만, 결말을 향해 전체를 조립해야 하는 형식은 구조적으로 더 어렵다.
• 성능 향상의 원인을 규모로만 설명하는 서술은 부정확하다. 연산과 데이터가 늘어난 것도 사실이지만, 자동완성과 오늘의 모델을 가른 것은 어텐션이라는 구조적 발명이었다.

자주 묻는 질문

관련 AI 소식