앤트그룹 인클루전 AI: 8개월 만에 1조 파라미터 오픈 모델을 만든 방법과 FP8 학습 교훈

핵심 메시지

• 앤트그룹의 인클루전 AI는 2025년 2월 시작해 8개월 만에 1조 파라미터급 오픈 모델까지 공개했고, 그 출발 동력은 딥시크가 만든 "우리도 가능하다"는 심리적 전환이었다.
• 팀은 자체 스케일링 법칙 실험 체계를 세워, 최적 하이퍼파라미터가 MoE 구조 세부보다 학습 연산량에 더 크게 좌우된다는 결론을 얻었다.
• FP8 학습은 공개된 방식을 그대로 쓰면 양자화·역양자화 비용 때문에 BF16보다 느려질 수 있어, 연산 융합으로 병목을 걷어내야 실제 이득이 난다.
• 강화학습에서는 토큰이나 시퀀스가 아니라 문장을 단위로 삼는 방식을 택해 학습 안정성과 일반화에서 유의미한 결과를 봤다고 밝혔다.
• 오픈 모델 생태계의 남은 병목은 기술이 아니라 라이선스 거버넌스, 데이터용 버전 관리의 부재, 기여를 보상으로 연결하는 구조의 부재다.

쉽게 이해하기

인터커넥츠 AI 팟캐스트에 앤트그룹 인클루전 AI 랩의 링(Ling) 모델 팀이 출연해, 연구실을 세우고 8개월 만에 1조 파라미터급 모델까지 공개한 과정을 이야기했다. 제품·성장 조직을 이끄는 발표자는 앤트그룹이 알리페이를 운영하는 핀테크 기업이며, 금융을 넘어 의료·보험·기술 서비스까지 사업이 넓어 앞으로 5~10년을 버티려면 AI 기초 체력이 필수라고 판단했다고 설명했다. 랩 설립은 CTO가 직접 끌고 간 사내 이니셔티브였다.

시작점은 딥시크였다. 발표자는 2024년이 "아무도 항로를 몰라 조심스럽던 혼란기"였다면 딥시크의 공개가 "이 방향이 될 수 있다"는 신호를 줬다고 표현했다. 그는 AGI를 정의하는 대신 대항해시대 비유를 들어, 지금은 모든 배가 리스본 항구를 막 떠난 시점이며 서쪽으로 간 배가 인도가 아닌 대륙을 발견하듯 목표와 결과가 어긋나도 의미가 있다고 말했다. 초기에는 사내에서도 의심이 있었지만 딥시크 이후 중국 여러 연구소가 잇따라 모델을 내놓으며 분위기가 바뀌었다는 설명이다.

기술 대화의 절반은 사전학습이었다. 팀은 임베딩을 제외한 학습 연산량을 중심으로 자체 스케일링 법칙 실험 파이프라인을 만들었고, 최적 하이퍼파라미터가 활성화 비율 같은 MoE 구조 변수보다 학습 연산량에 더 강하게 연동된다는 점, 그리고 활성화 비율을 낮출수록 성능이 꾸준히 개선된다는 점을 확인했다. FP8 학습에 대해서는 공개된 블록 단위 방식을 그대로 적용했을 때 연산 활용률이 낮고 BF16보다 느려지는 경우까지 있었으며, 원인이 양자화와 역양자화 과정이었다고 밝혔다. 이를 게이트 함수와 양자화 연산을 하나로 융합해 줄였다.

수치 안정성 이야기도 구체적이었다. 회전 위치 임베딩보다 앞에 QK 정규화를 두지 않으면 FP8 학습에서 기울기가 매우 작아지거나 큰 값이 발생해 양자화 오차가 층을 거슬러 증폭된다는 것이다. 팀은 손실 값이 BF16과 어긋나는 신호를 먼저 잡고 중간 층의 양자화 오차를 직접 출력해 원인을 확인했다. 병렬화에서는 사전학습에 텐서 병렬을 쓰지 않고 파이프라인 병렬을 최적화했는데, 임베딩이 있는 첫 단계와 손실 계산·어휘 크기 행렬 곱이 있는 마지막 단계에 부하가 몰리는 문제를 완화하는 데 초점을 뒀다. 강화학습에서는 가상 파이프라인 병렬로 연산과 통신을 겹쳐 병목을 줄였다.

마지막은 오픈 모델과 제품 이야기였다. 발표자는 모델을 운영체제가 아니라 커널에 비유하며, 커널 개발자가 원래 소수인 것처럼 지금은 커널을 만드는 단계라 기여 방식 논쟁이 이른 것이라고 봤다. 그는 남은 격차로 라이선스와 거버넌스, "데이터가 새로운 코드"인데도 데이터용 깃이 없는 문제, 기여와 보상의 인과를 추적할 수 없는 문제를 꼽았다. 한 달 전 만든 "모델 자체를 제품으로 보는" 소규모 팀에 대해서는, 모델이 무엇을 잘하는지 평가로 찾아내고 무한한 기억과 주변 인식 같은 새 역량으로 초기 위치기반 앱처럼 다음 제품의 실마리를 만들겠다고 설명했다.

주요 인사이트

• 공개된 저정밀도 학습 레시피를 그대로 가져다 쓰는 것만으로는 속도 이득이 나지 않는다. 양자화·역양자화가 어디서 발생하는지 프로파일링해 연산을 융합하는 작업이 실제 성능을 만든다.
• 파이프라인 병렬의 부하 불균형은 층을 GPU 수로 단순히 나눌 때 구조적으로 생긴다. 임베딩과 손실 계산이 놓인 양 끝 단계를 어떻게 재배치하는지가 처리량을 좌우한다.
• 강화학습 단위를 문장으로 잡는 선택은 과정 보상 모델 계열의 오래된 직관과 이어진다. 유행에서 밀려났던 기법이 인프라가 받쳐줄 때 다시 돌아올 수 있음을 보여준다.
• 오픈 모델 논쟁의 무게중심이 "이것을 오픈소스라 불러도 되는가"에서 "그다음 무엇을 할 것인가"로 옮겨갔다는 관찰은 시사적이다. 정의보다 실제 사용과 기여가 앞서면 정의는 뒤따라 정리된다.
• 데이터셋이 링크 형태로 배포돼 시간이 지나면 상당 부분이 사라진다는 문제는 재현성의 실질적 위협이다. 데이터에 대한 버전 관리와 보관 책임이 생태계 과제로 남아 있다.
• 모델을 늘리는 경쟁 대신 "이 모델이 정확히 무엇을 잘하는가"를 평가로 찾아내는 접근은, 모델 교체 비용이 낮아진 환경에서 제품 팀이 취할 수 있는 현실적인 전략이다.

자주 묻는 질문

관련 AI 소식