LLM 파인튜닝 총정리: RLHF 보상 모델부터 LoRA·DoRA, 인컨텍스트 러닝과 하네스 엔지니어링까지

핵심 메시지

• 지도 미세조정(SFT)은 입력마다 완전한 정답이 하나 있다고 가정하는데, 번역이나 감정 배려가 필요한 질문처럼 사람마다 답이 달라지는 과제에서는 이 가정이 무너진다.
• 그 한계를 메우려고 등장한 것이 사람의 선호를 데이터로 모아 보상 모델을 학습시키고, 그 보상 모델을 대리인 삼아 강화학습으로 언어 모델을 정렬하는 RLHF다.
• 650억 파라미터급 모델을 통째로 미세조정하려면 대략 1테라바이트의 GPU 메모리가 필요해, 현실적으로는 LoRA 같은 파라미터 효율적 미세조정이 사실상 표준이 됐다.
• LoRA는 학습이 끝나면 원래 가중치에 더해 하나로 합칠 수 있어 모델 구조를 바꾸지 않는다는 점이 어댑터 방식과 갈리는 결정적 장점이다.
• 예시를 문맥에 넣기만 해도 학습 없이 성능이 오르는 인컨텍스트 러닝이 프롬프트 엔지니어링을 낳았고, 관심사는 다시 컨텍스트 엔지니어링과 하네스 엔지니어링으로 옮겨가고 있다.

쉽게 이해하기

강의는 사후 학습(post-training)의 첫 단계인 지도 미세조정이 왜 그것만으로 충분하지 않은지부터 짚는다. 학습 방식 자체가 다음 단어를 맞히는 것이다 보니, 입력마다 완전한 정답이 하나 정해져 있다는 전제가 필요하다. 2 더하기 3 같은 문제는 문제가 없지만, 한 문장을 한국어로 옮기는 일만 해도 작성자마다 문체가 갈리고, 다섯 살 아이에게 산타가 없다는 사실을 상처 주지 않고 설명해 달라는 요구에 이르면 하나의 정답이라는 개념 자체가 흐려진다.

그래서 사람의 선호를 직접 학습 신호로 쓰는 방식이 도입됐다. 같은 질문에 대해 답변 두 개를 만들어 사람이 더 나은 쪽을 고르게 하고, 그렇게 모은 선호 데이터로 보상 모델을 학습시킨다. 이 보상 모델은 문장을 생성하는 대신 입력과 답변을 받아 사람이 얼마나 선호할지를 점수로 예측한다. 매번 사람에게 물어보는 비용을 감당할 수 없으니, 보상 모델이 사람 선호의 대리인 역할을 하는 셈이다.

강의는 강화학습 용어를 언어 모델에 대응시켜 설명한다. 에이전트는 학습 대상인 언어 모델이고, 상태는 프롬프트, 행동은 그 프롬프트에 어떻게 답할지이며, 환경 안에 보상 모델이 들어가 답변을 평가한다. 사후 학습 전체는 사전 학습된 모델을 지도 미세조정으로 지시를 따르게 만들고, 그 위에 보상 모델을 얹은 뒤, 강화학습 알고리즘으로 선호에 정렬시키는 3단계 구조로 정리된다.

후반부는 현실적인 미세조정 이야기다. 650억 파라미터 모델을 전부 미세조정하려면 대략 1테라바이트의 GPU 메모리가 필요하다는 계산이 나오는데, 한 장에 수천만 원 하는 데이터센터급 가속기를 생각하면 개인이나 소규모 팀에게는 의미 없는 숫자다. 그래서 학습할 파라미터 수를 줄이는 접근이 나왔고, 프롬프트·프리픽스 튜닝과 어댑터를 거쳐 LoRA가 사실상 기본값이 됐다.

마지막 축은 프롬프트다. 예시를 문맥 안에 넣기만 해도 파라미터를 건드리지 않고 과제에 적응하는 인컨텍스트 러닝이 확인되면서, 학습 대신 프롬프트를 설계하는 흐름이 자리 잡았다. 강의는 여기서 멈추지 않고, 관심사가 프롬프트 엔지니어링에서 컨텍스트를 어떻게 쌓고 줄일지를 다루는 컨텍스트 엔지니어링, 나아가 모델 주변의 파이프라인과 시스템을 설계하는 하네스 엔지니어링으로 옮겨왔다고 정리한다.

주요 인사이트

• LoRA의 핵심은 저차원 분해다. 원래 가중치는 그대로 두고, 입력 차원을 훨씬 작은 차원으로 낮췄다가 다시 올리는 두 행렬을 병렬로 붙여 그 결과를 더한다. 학습이 끝나면 이 둘을 원래 가중치에 합쳐 버릴 수 있어, 추론 시점에는 구조가 전혀 바뀌지 않은 모델이 된다. 레이어를 중간에 끼워 넣는 어댑터가 인프라 측면에서 부담이 되는 것과 정확히 갈리는 지점이다.
• LoRA의 초기화에는 이유가 있다. 한쪽 행렬은 무작위로, 다른 한쪽은 0으로 초기화하는데, 둘 다 무작위면 학습 초반에 잡음이 그대로 원래 출력에 더해져 불안정해지기 때문이다. 다만 0 초기화는 그쪽 경로의 기울기를 처음에 0으로 만들어 수렴을 늦추는 부작용이 있고, 특잇값 분해로 더 나은 초기값을 잡자는 후속 연구가 바로 이 지점을 겨냥한다.
• DoRA는 가중치를 크기와 방향으로 분해해 따로 학습한다. 새로운 지식을 배울 때는 방향이 바뀌되 크기는 크게 흔들리지 않아야 안정적이고, 이미 아는 지식을 활용할 때는 방향은 고정한 채 얼마나 더 나아갈지만 조정하면 된다는 직관이다. 기존 LoRA 표기법에는 이 둘을 나눌 방법이 없었다.
• 매니샷 인컨텍스트 러닝은 예시 수를 수백에서 수천 개까지 늘리는 접근인데, 과거에 예시를 늘려도 성능이 안 오른다던 보고들은 컨텍스트 길이 제한 탓이었을 가능성이 크다. 예시를 충분히 많이 주면 사전 학습에서 배어든 편향을 눌러 덮을 수 있고, 과제에 따라서는 지도 미세조정과 비슷한 성능까지 나온다.
• 프롬프트는 여전히 예민하다. 같은 예시 500개를 순서만 무작위로 바꿔도 성능 편차가 크게 벌어지고, 긴 문맥에서 앞뒤에만 집중하고 가운데를 놓친다는 관찰과 겹쳐 읽으면 중요한 예시가 어디에 놓이느냐가 결과를 흔든다는 해석이 가능해진다. 같은 질문을 두 번 반복하기만 해도 성능이 오른다는 보고도 있다.

자주 묻는 질문

관련 AI 소식