생성형 AI 작동 원리: 언어 모델·트랜스포머·파라미터로 본 챗GPT 해설

핵심 메시지

• 생성형 AI는 갑자기 등장한 기술이 아니라 구글 번역(2006), 시리(2011), 자동완성처럼 오래전부터 우리 곁에 있던 기술의 연장선이다.
• 챗GPT의 핵심은 '언어 모델링'으로, 앞선 문맥을 보고 다음에 올 단어를 확률적으로 예측하는 방식이다.
• 거대한 웹 텍스트를 모아 문장 일부를 가린 뒤 맞히게 하는 '자기지도 학습'으로 모델을 훈련하며, 구조는 2017년 등장한 트랜스포머를 쓴다.
• 성능은 규모(파라미터·학습 데이터)에 크게 좌우되며, 장난감 신경망의 99개 대비 GPT-4는 약 1조 개의 파라미터를 가진다.
• 편향·환각·막대한 에너지 소비·일자리 위협·딥페이크 등 현실적 위험이 있지만, 존재 자체를 막기보다 위험을 줄이는 규제와 관리가 현실적 해법이다.

쉽게 이해하기

영국 왕립연구소(Royal Institution)의 튜링 강연에 선 에든버러대 미렐라 라파타 교수는 생성형 AI를 '인간이 하던 일을 컴퓨터가 대신하는 인공지능'과 '학습한 조각을 종합해 새 콘텐츠를 만들어내는 생성'이라는 두 개념의 결합으로 정의한다. 만들어내는 콘텐츠는 텍스트뿐 아니라 음성, 이미지, 코드, 영상까지 다양하지만 강연은 텍스트에 초점을 둔다.

그는 생성형 AI가 결코 새로운 개념이 아니라고 강조한다. 2006년 구글 번역, 2011년 시리, 아마존 알렉사, 이메일·검색창의 문장 자동완성이 모두 같은 계열이며, 우리는 이미 오랫동안 이런 기술을 써 왔다. 다만 2023년 GPT-4가 미국 대학입학시험(SAT)에서 상위 10% 수준에 들고 법학·의학 시험을 통과한다고 알려지며 화제가 됐고, 챗GPT는 출시 두 달 만에 1억 명 사용자를 모았다.

기술의 핵심은 '언어 모델링'이다. '나는 ~하고 싶다' 같은 문맥이 주어지면 다음에 올 단어를 예측하는 식인데, 과거에는 단어 빈도를 세는 방식이었지만 지금은 신경망이 더 정교하게 학습한다. 모델을 만드는 방법은 위키피디아·스택오버플로·레딧·깃허브 등 방대한 텍스트를 모은 뒤, 문장 일부를 일부러 가리고 가려진 단어를 맞히게 하며 틀리면 스스로 보정하는 '자기지도 학습'이다.

신경망의 크기는 연결(가중치=파라미터)의 수로 가늠한다. 강연에서 든 장난감 신경망은 99개에 불과하지만 GPT-4는 약 1조 개로, 개미·쥐의 뇌를 지나 인간 뇌(약 100조)에는 아직 못 미친다. 실제로 쓰이는 구조는 2017년 등장한 트랜스포머이며, GPT라는 이름 자체가 '생성형 사전학습 트랜스포머(Generative Pre-trained Transformer)'를 뜻한다.

사전학습된 범용 모델은 미세조정(파인튜닝)으로 특정 용도에 맞춰진다. 사람의 지시 예시를 학습시키고, 더 나아가 사람이 두 답변 중 더 나은 쪽을 고른 선호 데이터로 다시 훈련해 '도움이 되고(helpful), 정직하고(honest), 무해한(harmless)' 모델로 정렬한다. 이 과정은 사람 노동이 들어가 비용이 크며, GPT-4 훈련에는 약 1억 달러가 들었다고 라파타 교수는 전한다.

그는 위험도 솔직히 짚는다. 학습 시점 이후 사실을 모르는 한계(2021년 9월 기준 지식), 그럴듯하지만 틀린 답을 내는 환각(구글 바드의 제임스웹 망원경 오류가 알파벳 시가총액 1000억 달러를 날린 사례), 검색 대비 10~100배의 에너지 소비, 일자리 위협, 가짜 노래·체포 영상 같은 딥페이크다. 다만 GPT-4가 스스로 복제·확산하는 능력은 검증 테스트에서 모두 실패했고, 그는 'AI보다 기후변화가 더 큰 위협'이라며 기술을 없애기보다 핵 에너지처럼 강하게 규제·관리하는 방향이 현실적이라고 결론짓는다.

주요 인사이트

• 생성형 AI를 '마법'이 아니라 '다음 단어를 확률로 예측하는 도구'로 이해하면, 왜 가끔 그럴듯한 거짓을 자신 있게 내놓는지(가장 가능성 높은 답을 고르도록 훈련됐기 때문)가 자연스럽게 설명된다.
• 모델 성능은 똑똑한 설계보다 규모(파라미터와 학습 텍스트량)에 크게 의존한다는 점이 2018년 이후 분명해졌지만, 학습에 쓸 인간이 만든 텍스트가 한계에 가까워지고 있어 언젠가 성능이 정체될 수 있다.
• 사전학습만으로는 사람이 원하는 대로 행동하지 않기 때문에, 지시 학습과 인간 선호 기반 미세조정(정렬)이 필수다. 같은 모델도 이 과정에서 답변 거부·편향이 생긴다.
• 환각 한 줄이 기업 가치 수백억 달러를 날릴 수 있다는 사례는, AI 출력을 사람이 반드시 검증해야 하는 이유를 보여준다.
• AI의 실존적 위협을 과장하기보다, 편향·환각·에너지·딥페이크 같은 이미 현실인 문제를 규제와 관리로 줄이는 것이 더 시급하다는 균형 잡힌 시각이 강연의 결론이다.

자주 묻는 질문

관련 AI 소식