GPT와 라마 아키텍처 비교: 6년간 LLM에서 실제로 바뀐 것과 바뀌지 않은 것

핵심 메시지

• 최신 오픈웨이트 모델은 여전히 대부분 GPT에서 파생된 구조이며, 근본적으로 같은 아키텍처다.
• 6년간의 변화는 정규화 방식, 활성함수, 위치 인코딩, 어텐션 효율화 같은 비교적 작은 손질에 가깝다.
• 정작 비용과 노력이 가장 많이 들어간 쪽은 사전학습 레시피다. 데이터 규모뿐 아니라 저품질 데이터 걸러내기와 다단계 학습이 핵심이 됐다.
• 모델 크기는 오히려 안정적이다. 오픈 모델의 상당수가 70억 파라미터급에 머물러 있고, 성능 향상이 크기에서만 오는 것은 아니다.
• 전문가 혼합과 슬라이딩 윈도 어텐션처럼 계산 효율을 노린 설계는 등장했지만, 널리 쓰이는 편은 아니다.

쉽게 이해하기

강연자는 GPT와 라마 계열이 어떻게 다른지 자주 질문을 받는다며, 2018년 GPT-1부터 2024년 7월 라마 3.1까지 무엇이 달라졌는지 15분 안에 정리하겠다고 말한다. 먼저 크기다. GPT-1은 1억 2,400만 개 파라미터였고, GPT-2는 1억 2,400만에서 15억까지 여러 크기로 나왔다. 라마 1은 70억에서 650억으로 이미 훨씬 커졌고, 라마 2는 소폭 늘었을 뿐이지만 라마 3에서 최상단 모델이 크게 도약했다.

데이터도 함께 커졌다. GPT-2는 400억 토큰으로 학습했고, 라마 1은 1조 4천억 토큰, 라마 2는 2조 토큰으로 소폭 늘었다가 라마 3에서 15조 토큰으로 뛰었다. 다만 강연자는 크기가 전부가 아니라고 강조한다. 최근 연구의 초점은 저품질 데이터를 걸러내는 방법, 책과 인터넷 자료를 어떻게 섞을지 정하는 데이터 배합, 사전학습 데이터를 추가로 합성하는 일, 그리고 원래 지시 미세조정에 쓰던 질의응답 데이터를 사전학습 단계에 섞어 보는 실험 쪽으로 옮겨갔다.

가장 눈에 띄는 변화로 그는 사전학습 파이프라인 자체를 꼽는다. 예전에는 같은 학습 루프를 반복하는 것이 전부였지만, 이제는 일반 사전학습 뒤에 긴 입력으로 훈련하는 장문맥 학습 단계가 붙고, 마지막에 아주 고품질 데이터만 골라 모델을 다듬는 어닐링 단계가 이어지는 다단계 절차가 됐다. 다만 그는 구글 젬마 2가 이런 기법 대부분을 쓰지 않는 예외인데도 아주 좋은 모델이라고 덧붙인다.

본론인 아키텍처 비교에서 결론은 다소 김빠질 정도다. GPT-2의 15억 파라미터 모델과 라마 1의 70억 모델을 나란히 놓으면 근본적으로 같은 구조다. 층 정규화가 RMS 정규화로 바뀌고, 드롭아웃이 사라지고, 활성함수가 GELU에서 SiLU 계열로 교체됐다. 가장 눈에 띄는 변화는 GPT의 절대 위치 임베딩이 회전 위치 임베딩으로 바뀐 것인데, 이 역시 위치 정보를 인코딩하는 다른 방식일 뿐이라는 평가다.

라마 1에서 2로 갈 때는 임베딩 크기가 두 배가 된 것 외에는 사실상 변화가 없다. 라마 3에서는 임베딩이 다시 두 배가 되고 어휘 크기가 네 배로 커졌는데, 같은 입력을 표현하는 데 필요한 토큰이 줄어 성능과 계산 효율 양쪽에 도움이 된다. 여기에 마스크드 멀티헤드 어텐션이 그룹 질의 어텐션으로 교체된다. 질의 두 개가 하나의 키·값 쌍을 공유해 해당 모듈의 매개변수를 크게 줄이는 계산 기법이다.

주요 인사이트

• 아키텍처가 거의 같다는 사실은 실무적으로 이득이다. 강연자는 같은 코드를 여러 모델에 재사용해 읽기 쉽고 간결한 라이브러리를 만들 수 있다고 설명하며, 자신이 참여하는 오픈소스 구현에서는 설정값 몇 개만 바꿔 서로 다른 모델을 만든다고 말한다.
• 전문가 혼합은 순전파 계층 하나를 여러 개로 늘리고 라우터가 입력을 골라 보내는 방식이다. 여덟 개 중 두 개만 활성화하는 사례에서 전체 470억 파라미터 가운데 130억만 실제로 쓰인다. 모델을 키우면서도 효율을 어느 정도 지키는 절충안이다.
• 슬라이딩 윈도 어텐션은 각 토큰이 과거 전체가 아니라 인접 구간만 보게 제한한다. 어텐션 계산량이 입력 길이의 제곱으로 늘어나기 때문에, 창 크기를 제한하면 부담이 줄고 성능 저하는 크지 않다는 것이 벤치마크상의 결과라고 설명한다.
• 미세조정 쪽 변화도 짚어 볼 만하다. GPT-2와 라마 1에는 지시 미세조정 버전이 없었지만, 라마 2는 지도 지시 미세조정 뒤 PPO 기반 인간 피드백 강화학습을 썼고, 라마 3은 직접 선호 최적화로 알고리즘은 단순해진 반면 거부 표본추출 같은 단계가 붙어 파이프라인은 더 복잡해졌다.
• 결국 노력의 배분이 이 강연의 결론이다. 비용과 시간은 사전학습 레시피에 가장 많이 들어가고, 다음이 후속 학습 레시피이며, 아키텍처는 GPT에서 크게 벗어나지 않는 범위에서 조금씩 손보는 정도다.

자주 묻는 질문

관련 AI 소식