생성형 AI와 파운데이션 모델 - IBM이 정리한 작동 원리·장점·한계

핵심 메시지

• 거대 언어모델(LLM)은 ‘파운데이션 모델’이라는 더 큰 범주의 일부이며, 하나의 모델을 여러 과제로 전이할 수 있다는 점이 핵심이다.
• 파운데이션 모델은 방대한 비정형 데이터로 비지도 방식 학습되며, ‘다음 단어 예측’이라는 생성 능력이 생성형 AI의 토대다.
• 소량의 라벨 데이터로 모델을 조정하는 튜닝, 데이터가 거의 없어도 작동하는 프롬프팅으로 다양한 과제를 수행할 수 있다.
• 장점은 뛰어난 성능과 생산성 향상이지만, 막대한 연산 비용과 편향·신뢰성 문제가 분명한 한계로 남는다.
• 파운데이션 모델은 언어를 넘어 비전(DALL-E 2), 코드(Copilot), 화학·기후 등 여러 영역으로 확장되고 있다.

쉽게 이해하기

IBM 리서치의 비즈니스 전략 담당 케이트 소울은 챗GPT 같은 거대 언어모델이 지난 몇 달간 세상을 뒤흔들었다고 말하며 강연을 연다. 그는 LLM이 사실은 ‘파운데이션 모델’이라는 더 큰 모델 범주의 한 부분이라고 설명한다. 이 용어는 스탠퍼드 연구진이 처음 제안했는데, 과거에는 과제별 데이터로 각각의 AI 모델을 따로 학습시켰다면, 이제는 하나의 토대 능력이 여러 과제와 응용을 두루 구동하는 새로운 패러다임으로 옮겨간다는 예측을 담고 있다.

이 모델이 여러 과제로 전이될 수 있는 ‘초능력’의 원천은 방대한 비정형 데이터를 비지도 방식으로 학습한 데 있다. 언어 영역에서는 수 테라바이트의 문장을 먹여, 앞에 나온 단어들을 바탕으로 문장의 마지막 단어를 예측하도록 훈련한다. 이렇게 이전 단어를 근거로 다음 단어를 생성하는 능력 때문에 파운데이션 모델이 ‘생성형 AI’ 범주에 속한다고 소울은 설명한다.

핵심은 다음 단어 예측으로 학습된 모델이라도 응용 범위가 넓다는 점이다. 소량의 라벨 데이터를 더해 모델의 파라미터를 갱신하면 분류·개체명 인식 같은 전통적 자연어 과제를 수행하게 만들 수 있는데, 이를 ‘튜닝’이라 한다. 데이터가 거의 없을 때도 ‘프롬프팅(프롬프트 엔지니어링)’으로 같은 과제를 풀 수 있다. 예컨대 문장을 주고 긍정/부정 감성을 묻는 식으로, 모델이 생성하는 다음 단어가 곧 분류의 답이 된다.

장점으로 소울은 두 가지를 꼽는다. 첫째는 성능이다. 수 테라바이트 데이터를 본 모델은 소수 데이터로만 학습한 모델을 크게 능가한다. 둘째는 생산성으로, 사전학습에서 본 비라벨 데이터를 활용하기 때문에 과제별 모델을 처음부터 만드는 것보다 훨씬 적은 라벨 데이터로 충분하다.

반면 한계도 분명하다. 막대한 데이터를 학습한 대가로 훈련 비용이 매우 크고, 수십억 파라미터 규모에서는 추론에도 여러 GPU가 필요해 비용이 높다. 신뢰성 문제도 있다. 인터넷에서 긁어온 언어 데이터로 학습하기에 모든 데이터를 일일이 검수해 편향·혐오 표현을 걸러내기 어렵고, 오픈소스 모델은 학습 데이터셋 자체가 무엇인지 모르는 경우도 많다. 소울은 IBM 리서치가 효율성과 신뢰성을 개선하고 있으며, 비전(DALL-E 2)·코드(Copilot)·화학(molformer)·기후 등 여러 영역으로 파운데이션 모델이 확장되고 있다고 덧붙인다.

주요 인사이트

• LLM을 따로 보지 않고 ‘파운데이션 모델’이라는 큰 틀에서 이해하면, 하나의 모델이 여러 과제로 전이되는 패러다임 전환의 의미가 분명해진다.
• 다음 단어 예측이라는 단순한 생성 과제가, 분류·개체명 인식 등 비생성적으로 보이는 작업까지 푸는 토대가 된다.
• 튜닝과 프롬프팅은 라벨 데이터가 부족한 환경에서 파운데이션 모델을 실무에 적용하는 두 가지 핵심 경로다.
• 성능과 생산성이라는 장점은 연산 비용과 신뢰성이라는 비용과 맞물려 있어, 기업 도입 시 양면을 함께 따져야 한다.
• 학습 데이터의 출처와 편향을 알기 어렵다는 점이 신뢰성의 근본 문제이며, 이는 기술뿐 아니라 거버넌스의 과제이기도 하다.

자주 묻는 질문

관련 AI 소식