언어 모델이 스스로 질문하게 만들기: MIT 연구가 보여준 사용자 의도 파악과 능동 학습 방법

핵심 메시지

• 머신러닝의 근본 문제는 머릿속 의도를 데이터나 프롬프트로 옮기는 일이며, 사람은 이 번역에 서툴다.
• 지금의 챗봇은 지시가 모호해도 되묻지 않는데, 이는 기술적 한계라기보다 제품 설계상의 선택이라는 지적이 나왔다.
• 언어 모델에게 사용자를 인터뷰하게 한 뒤 그 대화를 그대로 맥락으로 넣는 단순한 방법만으로도 일부 영역에서 효과가 있었지만, 모든 영역에서 통하지는 않았다.
• 질문은 모델이 만들되 답을 해석하는 일은 별도의 확률 모형에 맡기자, 성능이 눈에 띄게 좋아졌다.
• 가르치는 쪽에도 같은 원리가 적용된다. 학생이 처음에 무엇을 잘못 알고 있었는지를 추론해야 좋은 연습 문제를 고를 수 있다.

쉽게 이해하기

MIT의 제이컵 안드레아스 교수가 카네기멜런대 로보틱스 연구소 세미나에서 '그냥 질문하기'라는 제목으로 강연했다. 그는 머신러닝을 예시로 가르치는 일로 설명하는 교과서적 관점부터 되짚었다. 문제는 사람이 원하는 행동을 데이터로 정확히 옮기지 못한다는 데 있다. 이미지넷의 '맥주잔' 분류기를 학습시키면 맥주잔이 아니라 맥주잔을 든 남성의 분류기가 되어 버리는 사례가 대표적이다.

언어 모델이 등장하면서 예시 대신 자연어 지시로 과제를 지정할 수 있게 됐지만, 이번에는 프롬프트 문구를 조금만 바꿔도 되던 것이 안 되는 문제가 생겼다. 안드레아스 교수는 사람이 배우는 방식에서 실마리를 찾는다. 사람은 언어를 정보의 수동적 원천이 아니라 정보를 캐내는 도구로 쓴다. 학생은 필요한 것을 얻으려 질문하고, 교사는 학생이 무엇을 모르는지 알아내려 질문한다.

첫 실험은 아주 단순했다. 기성 언어 모델에게 사용자를 인터뷰하게 한 뒤, 그 대화록을 통째로 붙여 넣고 과제를 수행시키는 것이다. 콘텐츠 추천, 이메일 형식 판정, 도덕적 판단 세 영역에서 사용자별 정답과 비교했다. 추천 영역에서는 무작위 예시 라벨링이나 사용자가 직접 쓴 프롬프트보다 나았지만, 나머지 두 영역에서는 아예 대화를 하지 않은 경우보다 낫다고 말하기 어려웠다.

그래서 연구진은 고전적인 능동 학습과 최적 실험 설계를 다시 끌어왔다. 먼저 모델에게 그 영역의 추상적 특징 목록을 만들게 하고, 그 특징 공간 위에서 가장 정보량이 큰 비교 질문을 계산한다. 사용자에게는 특징 벡터 대신 그 값에 맞춰 생성한 가짜 기사 두 개를 보여 주고 선호를 묻는다. 결과적으로 효과가 있었던 것은 모델이 질문을 던지되 그 답으로 별도의 선형 모형을 학습시키는 조합이었다. 같은 질문과 답을 모델의 맥락에 넣어 주기만 해서는 잘 되지 않았다.

확장판에서는 매 턴마다 질문을 대량으로 생성하고, 각 질문을 채점 함수로 번역해 어느 질문이 불확실성을 가장 많이 줄이는지 계산한다. 배틀십 게임 실험에서는 각 질문을 20~30줄짜리 파이썬 함수로 옮겨 가능한 보드 후보를 걸러 나갔다. 이 방식은 사람의 성적을 넘어섰고, 훨씬 작은 모델로도 큰 모델을 앞섰다. 강연 후반부는 반대 방향, 즉 교사가 학생의 오개념을 추론해 연습 문제를 고르는 분수 계산 학습 실험으로 이어졌다.

주요 인사이트

• 질문을 만드는 능력과 답을 해석하는 능력은 별개다. 같은 질문·답 쌍이라도 언어 모델의 맥락에 그대로 넣는 것보다 작은 통계 모형으로 맞추는 편이 나았다는 결과는 맥락 내 학습의 한계를 보여 준다.
• 능동 학습 자체는 20년 전 방식과 다르지 않지만, 질문의 후보 공간이 '가진 예시 목록'에서 '생성 가능한 프로그램 전체'로 넓어졌다는 점이 달라졌다.
• 모델 크기보다 구조가 중요할 수 있다. 작은 라마 4 모델에 명시적 사후 확률 표현을 붙인 쪽이, 훨씬 큰 모델에 질문 생성 장치만 얹은 쪽보다 나은 성적을 냈다.
• 가르치는 문제에서는 학생의 초기 오개념 유형을 추론하는 것이 핵심이다. 교육학 문헌상 학생들의 오개념은 무작위가 아니라 몇 갈래로 뭉쳐 있어서, 첫 턴부터 어떤 유형인지 분류할 수 있었다.
• 안드레아스 교수는 장기적으로는 이런 외부 기호적 장치 없이, 실제 사용자를 모사하는 시뮬레이터를 상대로 강화 학습을 하는 쪽으로 갈 것이라고 전망했다. 지금의 병목은 그런 시뮬레이터가 없다는 데 있다.

자주 묻는 질문

관련 AI 소식