AI 자기개선 루프의 현실: 구글 딥마인드 연구자가 짚은 평가 병목과 연속 학습 과제

핵심 메시지

• 새 세대 모델을 이전 세대 모델로 만드는 일은 이미 거의 모든 연구소에서 벌어지고 있으며, 아직 없는 것은 완전 자동화와 긴 시간 지평이라는 것이 데흐가니의 진단이다.
• 자기개선의 최대 병목은 연산이 아니라 평가다. 측정할 수 있는 것만 개선할 수 있는데, 자기개선의 진척도를 재는 평가 자체가 아직 없다.
• 에이전트가 100단계를 거치는 작업에서 단계별 성공률이 95%라도 전체 성공 확률은 1% 미만으로 떨어진다. 롱호라이즌 자동화는 단계별 신뢰성과 오류 복구 능력의 문제다.
• 연속 학습은 모델이 더 똑똑해지는 자기개선과 달리 모델의 지식이 낡지 않게 유지하는 문제이며, 파국적 망각 때문에 아직 연구 탐색 단계에 머물러 있다.
• 기술만 앞서 나가면 나머지가 따라온다는 믿음은 과신이다. 거버넌스와 사회적 신뢰, 제도의 수용 능력이 기술 진보 속도를 따라가지 못하고 격차가 벌어지고 있다.

쉽게 이해하기

구글 딥마인드의 모스타파 데흐가니는 유니버설 트랜스포머와 비전 트랜스포머(ViT) 논문의 공저자이자 제미나이 계열 멀티모달 모델 작업에 참여한 연구자다. 그는 이 인터뷰에서 최근 AI 연구의 화두인 '루프'를 두 층위로 나눠 설명했다. 하나는 추론할 때 같은 연산을 여러 번 돌려 어려운 문제에 계산을 더 쓰는 모듈 차원의 루프이고, 다른 하나는 모델을 개발하는 과정 자체가 반복되며 개선되는 상위 차원의 루프, 즉 자기개선이다.

데흐가니는 자기개선이 갑자기 등장한 개념이 아니라 수십 년간 이어진 흐름의 다음 단계라고 봤다. 과거에는 사람이 특징을 일일이 설계했지만 딥러닝이 표현 학습을 모델에 넘겼고, 아키텍처 설계와 학습 신호 큐레이션도 차례로 자동화됐다. 개발 루프에서 사람의 판단을 걷어내는 것이 그 연장선이라는 설명이다. 그는 재귀적 자기개선이 몇 년 전만 해도 학회의 전망 논문 수준이었지만 지금은 상당 부분 실제로 일어나고 있으며, 대부분의 사람이 이 사실을 깨닫지 못하고 있다고 말했다.

다만 그는 남은 문제들이 만만치 않다고 인정했다. 가장 큰 것은 평가다. 유능한 팀도 구체적인 평가 지표가 있어야 진전을 만들 수 있는데, 자기개선 루프에 얼마나 가까워졌는지를 재는 평가는 아직 존재하지 않는다. 복잡한 평가를 안정적으로 돌릴 인프라를 만드는 일, 연구 엔지니어가 하는 일을 모델이 안전하게 대신할 실험 환경을 구성하는 일도 병목으로 꼽았다. 형식 검증은 수학과 코드, 논리에서는 강력하지만 의사의 진료 권고 같은 지저분한 영역까지 확장하기 어렵다는 한계도 지적했다.

닫힌 루프에서 모델이 자기 출력만 먹으며 무너지는 모델 붕괴에 대해서는 위험은 맞지만 결정적 문제는 아니라고 봤다. 강한 검증자나 실제 보상 신호로 현실에 접지시켜 두면 대체로 피할 수 있다는 것이다. 그래서 그는 앞으로 데이터 작업의 무게중심이 텍스트 토큰 수집에서 모델이 상호작용할 환경을 만들고 물리 세계의 감각 정보를 연결하는 쪽으로 옮겨갈 것이라고 전망했다.

인터뷰 후반부는 그가 참여한 연구의 뒷이야기와 현재 관심사로 이어진다. ViT는 언어 모델이 수천억 파라미터로 커지는 동안 비전 모델은 1억 수준에 머무는 이유를 묻다가, 이미지를 16×16 패치로 잘라 그대로 트랜스포머에 넣는 단순한 방법이 통하면서 나왔다. 이미지 생성 모델에 대해서는 텍스트를 그림으로 옮기는 번역기가 아니라 텍스트와 이미지를 번갈아 생성하며 계획을 세우는 기계로 봐야 한다고 설명했다. 마지막으로 그는 이 분야가 과소평가하는 문제로 들쭉날쭉한 지능과 연속 학습을, 과신하는 지점으로 기술만 밀면 된다는 태도를 꼽았다.

주요 인사이트

• 'AI로 AI를 만든다'는 표현은 이제 연구자가 AI 도구의 도움을 받는다는 뜻을 넘어, 이전 세대 모델이 다음 세대 모델의 개발 과정에 직접 투입된다는 의미로 쓰이고 있다.
• 특화 모델과 범용 모델의 선택은 원리 문제가 아니라 조직의 처지 문제다. 데흐가니는 단기적으로는 한 축에 집중한 특화 모델이 가능성을 빠르게 확인하는 길이자 범용 모델로 가는 디딤돌이 된다고 봤다.
• 사후 학습의 투자 대비 효과가 크다고 해서 사전 학습이 끝난 것은 아니다. 그는 약한 기반 모델을 사후 학습으로 만회할 수는 없으며, 결국 기반 모델이 병목이 되는 시점에 복잡한 레시피가 사전 학습으로 되돌아온다고 설명했다.
• 언어에는 보고 편향이 있다. 흔한 소파는 아무도 말하지 않지만 바나나 모양 소파는 화제가 된다. 그래서 세계에 대한 지식을 텍스트로만 배우는 것은 불가능하진 않아도 비효율적이며, 멀티모달 학습이 지름길이 된다.
• 사용자는 모델의 평균 성능을 경험하지 않고 실패를 경험한다. 어이없는 실수 하나가 주는 신뢰 손상이 100번의 성공보다 크다는 점이 롱호라이즌 에이전트의 진짜 장벽이다.

자주 묻는 질문

관련 AI 소식