프론티어 AI 경쟁의 승부처, 포스트 트레이닝과 데이터셋 — AI 프론티어 100회 현장 정리

핵심 메시지

• 프론티어 랩의 경쟁 축은 알고리즘 혁신보다 포스트 트레이닝 인프라와 직무별로 잘게 쪼갠 데이터셋 공급으로 옮겨갔다.
• Anthropic이 Mythos를 Fable이라는 이름으로 공개한 지 사흘 만에 미국 정부가 비미국적자의 접근을 막으면서, 프론티어 모델이 전략 자산으로 취급되기 시작했다.
• Fable의 API 가격은 100만 토큰당 입력 10달러·출력 50달러로 Opus 4.8의 두 배여서, 에이전트를 밤새 돌리는 '루프 엔지니어링'은 비용 계산이 필수다.
• LLM에서 통했던 '한 모델에 전부 넣고 일반화시킨다'는 방식이 생물학·신약 같은 도메인으로 옮겨가고 있고, 그쪽 사람들은 지금을 GPT-2 시점으로 본다.
• 미국과 중국이 서로 통제에 나설수록 독자 파운데이션 모델을 준비하는 한국에는 오히려 기회가 생긴다.

쉽게 이해하기

AI 프론티어 팟캐스트가 100회를 맞아 지난 3년을 되짚었습니다. 진행자 노정석 씨는 샌프란시스코 출장 중에 녹화를 진행하면서, 프론티어 랩과 스타트업 관계자들을 직접 만나 들은 이야기를 정리했습니다. GPT-4와 'Sparks of AGI' 논문을 보며 시작한 대화가 이제는 재귀적 자기개선과 주권 AI 문제로 이어졌다는 것이 두 진행자의 공통된 소회였습니다.

현장에서 확인한 경쟁의 핵심은 모델 아키텍처가 아니었습니다. 스케일을 키우는 것은 이미 전제로 깔려 있고, 실제 차별화는 포스트 트레이닝 단계의 엔지니어링 인프라와 데이터셋 공급에서 갈립니다. 포스트 트레이닝은 학습 루프를 돌리면서 동시에 추론도 수행해야 하고, 먼저 끝난 결과와 늦게 끝난 결과를 배치로 모아 손실을 다시 매겨야 해서 난이도가 높습니다. 데이터셋도 '금융'처럼 뭉뚱그리지 않고 투자은행 업무, 세무 처리, 개인 재무처럼 과제 단위로 잘게 쪼개 만들어 넣는 작업이 반복되고 있습니다.

모델 공개를 둘러싼 사건도 다뤘습니다. Anthropic은 4월에 Mythos를 잠깐 보여준 뒤 안전장치를 붙여 Fable이라는 이름으로 배포했는데, 보안·생물학 관련 질의는 앞단에서 차단되고 다른 모델로 전환되는 식이었습니다. 그러나 공개 사흘 만에 미국 정부가 비미국적자의 접근을 막는 조치를 내리면서 상황이 급변했습니다. 진행자들은 신화를 뜻하는 Mythos와 우화를 뜻하는 Fable이라는 작명 자체가 '가둬둔 원본'과 '안전하게 풀어낸 배포판'이라는 구도와 맞물린다고 해석했습니다.

비용 이야기도 구체적이었습니다. Fable은 100만 토큰당 입력 10달러, 출력 50달러로 Opus 4.8의 두 배입니다. 출력이 입력보다 비싼 이유는 입력은 프리필로 한 번에 처리할 수 있는 반면 출력은 디코딩을 한 스텝씩 밟아야 하기 때문입니다. 최근 유행하는 '루프 엔지니어링'처럼 목표만 주고 밤새 에이전트를 돌리는 방식은 이 가격 구조에서 부담이 큽니다. 진행자들은 Sonnet급으로 400달러 수준인 시나리오가 Fable에서는 1,500달러 규모가 된다는 추산을 소개하며, 사람이 직접 하는 편이 싸고 빠를 수 있다는 비판도 함께 전했습니다.

마지막으로 한국의 위치를 짚었습니다. 미국이 전략 자산화와 통제로 가면 중국은 반대로 개방 전략을 쓸 수 있고, 두 나라가 모두 문을 닫으면 독자 파운데이션 모델을 준비해 온 쪽에 기회가 생깁니다. 국내에서도 Upstage가 100B, SK텔레콤이 500B 규모 모델을 내놓은 상황이라, 지금은 돈보다 미래 대비 역량이 더 귀한 자산이 됐다는 것이 진행자들의 결론이었습니다.

주요 인사이트

• 알고리즘 개선은 더 이상 프론티어 랩의 차별화 요소가 아니고, 좋은 것이 나오면 그냥 끼워 넣는 수준으로 취급된다. 진짜 격차는 데이터셋의 양과 형태, 그리고 컴퓨팅 스케일에서 벌어진다.
• 학습 토큰 규모는 3년 전 3~5조 토큰에서 지금은 기본 30조 토큰 수준으로 올라왔고, 친칠라 최적점 대비 100배 가까이 과잉 학습하는 것이 일반화됐다.
• Anthropic은 구글 TPU, 아마존 Trainium, 엔비디아 GPU를 함께 쓰는데 전선이 넓어진 만큼 학습 단계에서는 불리할 수 있고, 그래서 먼저 시장에 모델을 내놓는 전략을 반복한다는 해석이 나왔다.
• 생물학·신약 쪽 기존 업계는 여전히 '그건 안 된다'고 보는 반면, AI 쪽에서 진입한 사람들은 DNA·단백질·세포 데이터를 그냥 또 하나의 모달리티로 취급해 한꺼번에 학습시키는 방식이 통한다고 본다.
• 코드 생성량이 늘면서 몇만 줄 규모의 중복을 정리하는 리팩토링 도구를 다시 AI로 만들어 쓰는 부트스트래핑이 일어나고 있고, 엔지니어링은 사라진 게 아니라 한 층 위로 올라갔다.

자주 묻는 질문

관련 AI 소식