키미 K3 오픈웨이트 공개: 2.8조 파라미터 모델이 학습 효율 2.5배를 얻은 비결

핵심 메시지

• 키미 K3는 2조 8천억 개 파라미터 규모이면서도 가중치가 공개된 오픈웨이트 모델이다.
• 핵심 기법은 대화 내용을 매번 처음부터 다시 읽는 대신 하나의 노트를 계속 갱신해 읽는 방식의 주의 집중 구조다.
• 여기에 층을 지날 때 최신본뿐 아니라 변경 이력까지 함께 전달하는 구조를 더했다.
• 두 기법을 합쳐 이전 세대인 K2 대비 같은 학습 연산량으로 약 2.5배의 학습 진전을 얻었다.
• 가격이나 속도가 2.5배 좋아진 것은 아니지만, 저렴한 API와 경량화 모델을 통해 시장 전반의 토큰 가격을 낮추는 압력으로 작용한다.

쉽게 이해하기

AI 논문 해설 채널 '투 미닛 페이퍼스'가 새로 공개된 대규모 언어 모델 키미 K3를 다뤘다. 영상은 이 모델이 맥OS와 비슷한 운영체제 화면을 대체로 작동하는 수준으로 구현하고, 아기자기한 동물 육성 게임 같은 결과물까지 만들어 내는 시연을 소개하며 최상위권 모델에 근접한 성능이라고 평가했다. 가장 두드러진 점은 성능보다 공개 방식이다. 키미 K3는 가중치 파일을 누구나 내려받아 영구히 보유할 수 있는 오픈웨이트 모델이다. 다만 규모가 2조 8천억 개 파라미터에 이르러 개인이 집에서 그대로 돌리기는 어렵고, 웹에서 체험하거나 API를 쓰는 편이 현실적이다.

영상이 짚은 첫 번째 비결은 '키미 델타 어텐션'이라 불리는 주의 집중 방식이다. 회의 때마다 참석자 전원이 지금까지의 모든 연구를 다시 읽어야 한다면 그것은 회의가 아니라 고문이라는 비유로 설명한다. 대신 꼼꼼히 갱신되는 노트 한 권을 두고 그것만 읽고 고쳐 쓰며, 오래된 메모는 서서히 흐려지게 하는 방식이다. 덕분에 아주 긴 맥락도 감당할 수 있게 된다.

두 번째 비결은 '어텐션 잔차'다. 문서가 1부서에서 2, 3, 4부서로 넘어갈 때 보통은 최신본만 전달되지만, 이 구조에서는 뒤쪽 부서가 최신본과 함께 변경 이력도 볼 수 있다. 즉 앞선 층에서 만들어진 유용한 초안을 뒤쪽 층이 다시 꺼내 쓸 수 있다는 뜻이다. 앞의 기법이 기억을 유지·수정하는 역할이라면, 이쪽은 과거의 기억을 되찾아 오는 역할이다.

두 기법을 결합한 결과, 이전 세대인 키미 K2와 비교해 확장 효율이 약 2.5배 개선됐다고 영상은 전한다. 다만 해설자는 이 수치가 값이 2.5배 싸지거나 속도가 2.5배 빨라진다는 뜻이 아니라, 같은 학습 연산량으로 약 2.5배의 학습 진전을 얻는다는 의미라고 분명히 선을 그었다. 버전 번호 하나 차이로는 이례적으로 큰 개선이라는 평가다.

영상은 이런 공개가 생태계 전체에 미치는 영향으로 마무리한다. 대형 모델은 대개 성능이 비슷한 작은 모델로 증류되며, 공개된 논문과 가중치는 다른 오픈 모델의 성능도 함께 끌어올린다. 완전히 공개된 소프트웨어 위에서 공개된 가중치를 돌릴 수 있게 된 지금을 해설자는 '열린 과학의 황금기'라고 표현했다.

주요 인사이트

• 이번 개선의 초점은 모델을 더 키우는 것이 아니라 긴 맥락을 다루는 방식, 즉 무엇을 기억하고 무엇을 잊을지를 설계하는 데 있다.
• 학습 효율 향상은 사용자가 체감하는 속도나 요금과 직결되지 않는다. 같은 예산으로 더 똑똑한 모델을 만들 수 있다는 뜻에 가깝다.
• 초대형 오픈웨이트 모델은 직접 돌리지 않는 사람에게도 의미가 있다. 저렴한 API와 경량화 모델이 이어지면서 전반적인 사용 비용을 끌어내리기 때문이다.
• 가중치와 기법을 함께 공개하는 흐름은 특정 기업의 서비스 중단이나 접근 제한에 흔들리지 않는 선택지를 남긴다는 점에서 의미가 있다.
• 긴 대화에서 오래된 정보를 서서히 흐리게 하는 설계는, 맥락을 무한정 쌓기보다 관리하는 쪽이 실용적이라는 최근의 방향과 맞닿아 있다.

자주 묻는 질문

관련 AI 소식