최적수송으로 데이터셋 보간, LoRA 가중치 조합, 부메랑 증류로 중간 크기 모델 만들기

핵심 메시지

• 모델 크기와 사전학습 데이터셋 같은 머신러닝의 선택지는 계산 제약 탓에 드문드문한 점으로만 주어져, GPU에 딱 맞는 모델을 고르지 못하고 자원을 낭비하게 된다.
• 데이터셋을 확률분포로 보고 최적수송으로 거리를 재면, 기존 데이터셋들의 조합으로 목표 도메인에 가장 가까운 합성 데이터셋을 만들어낼 수 있다.
• 양극단으로 파인튜닝한 LoRA 가중치를 선형 결합하는 것만으로 격식·수학성·유머 같은 성향 다이얼이 매끄럽게 움직이고, 같은 비율로 실제 파인튜닝한 모델과 거의 같은 결과가 나온다.
• '부메랑 증류'는 큰 모델을 한 번만 증류해 작은 모델을 만든 뒤 떼어낸 층을 되붙여, 추가 학습 없이 중간 크기 모델을 전부 확보하는 방법이다.
• 명령어 파인튜닝용 데이터 부분집합 선택 연구들을 같은 기준으로 다시 비교해 보니, 상당수가 무작위 선택과 별 차이가 없었다.

쉽게 이해하기

발표자는 머신러닝 실무가 이산적 선택으로 가득하다는 관찰에서 출발한다. 공개된 모델은 크기가 서너 개뿐이고, 사전학습 데이터셋도 정해진 목록에서 고를 수밖에 없다. 이는 계산·데이터 제약에서 오는 어쩔 수 없는 결과지만, 설계 공간이 조각나고 선택이 겹치면 조합이 폭발하며, 서로 겹치는 모델을 통째로 복제해 저장하는 낭비가 생긴다. 그가 제안하는 방향은 이 점들 사이에 길을 놓아 준연속적인 공간으로 바꾸는 것이다.

첫 사례는 데이터셋이다. 여러 컴퓨터비전 데이터셋 사이의 거리를 재서 2차원으로 펼쳐 보면 군데군데 빈 구멍이 보이는데, 그 구멍을 메우는 데이터를 만들어낼 수 있다면 일반화에 도움이 될 것이라는 발상이다. 연구진은 데이터셋을 확률측도로 보고 최적수송으로 목표 도메인과 사전학습 도메인들 사이의 사상을 학습한 뒤, 볼록결합 가중치만 최적화해 목표에 가장 가까운 합성 데이터셋을 찾는다. 이 거리 기준과 실제 다운스트림 성능이 잘 들어맞아, 거리로 사전학습 데이터를 고르는 선택이 정당화된다.

두 번째는 모델이다. 서로 다른 두 네트워크의 가중치를 층별로 선형 평균 내는 '모델 수프'가 놀랍도록 잘 작동한다는 선행 연구를 바탕으로, 연구진은 복잡한 문장과 쉬운 문장처럼 정반대 성격의 데이터로 각각 LoRA 파인튜닝을 한 뒤 그 사이를 보간했다. 분류기로 측정한 성향 점수는 보간 비율에 따라 매끄럽게 변했고, 같은 비율로 데이터를 섞어 실제로 파인튜닝한 모델의 성능을 거의 그대로 재현했다. 0과 1 바깥으로 외삽해도 한동안은 의미 있게 성질이 강해지다가, 어느 지점을 넘으면 혼란도가 치솟으며 출력이 무너진다.

세 번째는 모델 크기 자체다. 큰 모델을 교사로 삼아 층을 솎아내고 정렬 손실을 포함한 증류로 작은 학생 모델을 만든 다음, 떼어냈던 교사 층을 다시 끼워 넣기만 하면 중간 크기 모델들이 줄줄이 나온다. 큐엔 4B에서 2B로 증류한 실험에서 중간 모델들의 정확도는 매끄러운 곡선을 그렸고, 각 크기마다 따로 증류한 모델과 견주어도 성능이 비슷하거나 오히려 나았다. 반면 층을 그냥 잘라내거나 교사 가중치로 초기화하지 않은 비교군은 성능이 급격히 무너졌다.

마지막으로 그는 의사결정과 데이터를 잇는 최근 연구를 짧게 소개한다. 예측 후 최적화 문제에서 데이터셋 거리를 잴 때 특징과 라벨뿐 아니라 그 결정이 실제로 얼마나 좋은 결과를 냈는지까지 넣으면, 전이 가능성 예측력이 뚜렷하게 좋아진다. 다른 연구에서는 명령어 파인튜닝용 부분집합 선택 방법들을 표현 방식과 선택 알고리즘으로 분해해 동일 조건에서 비교했는데, 많은 방법의 최적화 목표가 실제 성능과 거의 상관이 없었고 무작위 선택이 비슷한 성능을 냈다.

주요 인사이트

• 성긴 표본만 보고 있으면 성능이 갑자기 뛰는 '창발'처럼 보이는 현상도, 중간 지점을 채워 보면 매끄러운 전이일 수 있다. 최적 운영점이 공개된 크기들 사이에 있을 가능성도 함께 열린다.
• 보간으로 만든 데이터셋은 결국 가진 데이터의 볼록껍질 안에 갇힌다. 발표자도 여기에 마법은 없고 기하학적으로 영리하게 조합할 뿐이라고 분명히 선을 긋는다.
• 부메랑 증류의 실질적 이점은 서비스 관점에서 두드러진다. 사용자마다 다른 크기를 요구해도 증류 비용은 한 번이면 되고, 나머지 크기는 층을 끼워 넣는 것만으로 공짜로 얻는다.
• 왜 이 방법이 통하는지는 아직 열린 질문이다. 발표자는 교사 층에서 복사해 초기화하고 정렬 손실로 블록 단위 역할을 유지한 덕에 층들이 서로 호환된 채 남는 것 같다고 추측하며, 되붙이는 순서를 무작위로 하면 잘 되지 않는다는 점도 함께 짚는다.
• 부분집합 선택 문헌 정리에서 무작위 베이스라인이 자주 빠져 있었다는 지적은, 새 방법을 제안하기 전에 비교 기준부터 정리해야 한다는 경고로 읽힌다.

자주 묻는 질문

관련 AI 소식