인스트럭션 튜닝과 프롬프트 엔지니어링의 차이: 구글 딥마인드 제미나이 연구자 인터뷰

핵심 메시지

• 인스트럭션 튜닝은 사용자가 시험 시점에 지시문을 주는 만큼 학습도 같은 형태여야 한다는 발상에서 출발했다.
• 프롬프트 엔지니어링은 사람이 모델에 맞추는 추론 시점의 방법이고, 인스트럭션 튜닝은 모델이 사람의 언어에 맞추도록 하는 학습 방법이다.
• 특정 용도가 분명하다면 인스트럭션 튜닝으로 프롬프트 엔지니어링을 거의 없앨 수 있지만, 모델의 한계를 탐색하는 도구로서 프롬프트 엔지니어링은 사라지지 않는다.
• 인스트럭션 데이터의 품질은 사전학습 단계보다 더 민감하다. 잘못된 신호가 그대로 증폭되기 때문이다.
• 연구자에게 필요한 자질로 미슈라는 '덜 읽기'를 꼽는다. 많이 읽을수록 남의 관점에 편향돼 조합 수준의 아이디어에 머문다는 이유다.

쉽게 이해하기

제이 샤의 팟캐스트에 출연한 스와룹 미슈라는 구글 딥마인드에서 제미나이를 연구하는 과학자다. 그는 전기공학을 전공하다 신경망 수업과 2017년 트랜스포머 논문을 계기로 언어모델 연구로 방향을 틀었고, 애리조나 주립대에서 모델이 지시문만으로 새로운 과제를 배우게 하는 방법을 연구했다. 산업계 경험을 먼저 쌓은 덕분에 어떤 문제가 실제로 중요한지 판단할 수 있었다고 그는 말한다.

인스트럭션 튜닝의 출발점은 제품 관점의 문제의식이었다. 기존 머신러닝은 학습한 과제만 수행할 수 있는데, 실제 사용자는 학습 범위 밖의 질문을 던지고 직접 데이터를 모아 모델을 학습시킬 시간도 지식도 없다. 그래서 과제를 자연어 지시문으로 표현하고 모델이 거기서 바로 배우게 하자는 발상이 나왔다. 그는 사람이 새로운 놀이를 배울 때 시범만 보는 것이 아니라 친구의 설명을 듣고 훨씬 빨리 익히는 과정에서 영감을 얻었다고 설명한다.

처음 보는 지시문에도 모델이 일반화하는 이유에 대해 그는 사전학습 모델이 이미 언어 지식을 갖고 있다는 점을 든다. 예시만으로 학습하면 모델이 과제 간의 유사성과 차이를 예시에서만 추론해야 하지만, 지시문이라는 형태로 지식이 더해지면 과제의 구조를 더 잘 파악하고 시험 시점에 조합해 대응할 수 있다는 것이다.

프롬프트 엔지니어링과 인스트럭션 튜닝의 차이도 정리한다. 그는 아이에게 문제를 다시 설명해 답을 끌어내는 것에 프롬프트 엔지니어링을 비유한다. 예컨대 질의응답을 빈칸 채우기 형태로 바꾸면 사전학습의 다음 단어 예측 목표와 맞아떨어져 모델이 더 잘 푼다. 반대로 인스트럭션 튜닝은 사용자가 굳이 문장을 다듬지 않아도 되도록 모델 쪽을 정렬하는 방식이며, 역전파와 파라미터 갱신이 필요해 비용이 든다. API로만 모델을 쓰는 개발자가 프롬프트 엔지니어링을 선호하는 이유이기도 하다.

인터뷰 후반부는 연구자 진로 조언으로 이어진다. 미슈라는 '한 시간이 주어지면 59분은 무엇을 풀지 고민하는 데 쓴다'는 격언을 인용하며, 무엇이 중요한 문제인지 아는 것이 가장 중요하고 그 감각은 산업계 경험에서 온다고 말한다. 또 학위 과정에서 단기적인 성과를 노리는 습관이 굳어지는 것을 경계하고, 인용 수나 논문 수는 좋은 연구의 부산물이지 목표가 아니라고 강조한다.

주요 인사이트

• 미슈라는 프롬프트 엔지니어링을 칼에 비유한다. 모델의 숨은 능력을 끌어내는 데도 쓰이지만 탈옥이나 학습 정보 추출 같은 방향으로도 쓰인다는 것이다.
• 인스트럭션 데이터에서 중요한 두 축은 프롬프트 다양성과 응답 품질이다. 긴 응답만 모아두면 모델이 '한 단어로 답하라'는 지시에도 문단을 쏟아내게 되므로 응답 길이도 균형 있게 섞어야 한다.
• 그는 챗봇의 한계로 '무엇을 물어야 할지 모르는 사용자' 문제를 든다. 여행 계획처럼 개인 취향이 중요한 요청에 챗봇은 일반적인 답을 내놓기 쉬우며, 그래서 개인화된 에이전트가 다음 단계라고 본다.
• 그가 참여한 계획 수립 벤치마크에서 당시 모델들은 여행 계획, 일정 조율, 모임 계획 과제를 잘 풀지 못했다. 해법으로는 과제를 분해해 여러 번 호출하는 에이전트 방식과, 아키텍처·손실함수·데이터 등 학습 자체를 다시 보는 방식 두 갈래를 제시한다.
• 추론과 검색의 구분에 대해 그는 '무엇을 추론이라 부르느냐에 달렸다'고 답한다. 같은 공식을 쓰는 변형 문제나 개념 조합은 모델이 이미 잘 하지만, 정말로 새로운 문제에서는 성능을 기대하기 어렵다는 것이다.

자주 묻는 질문

관련 AI 소식