불가능한 언어 모델 논문 해설: LLM은 사람이 못 배우는 언어도 정말 똑같이 배울까

핵심 메시지

• 노엄 촘스키는 인간이 가능한 언어와 불가능한 언어를 구분하는 반면 LLM은 그러지 못한다고 비판해 왔고, 이 논문은 그 주장을 실제로 시험대에 올렸다.
• 연구진은 영어에서 출발해 규칙을 조금씩 비틀어 '불가능성의 연속선'을 만들었다. 단어 순서를 섞은 셔플 계열, 문장을 뒤집은 리버스 계열, 시제 표시를 동사에서 몇 단어 떨어뜨린 홉(Hop) 계열이다.
• 각 인공 언어마다 GPT-2 스몰을 처음부터 학습시킨 결과, 언어가 불가능해질수록 퍼플렉서티가 높아지고 학습이 더 어려워졌다. 어느 계열에서든 원래 영어가 가장 배우기 쉬웠다.
• 홉 계열에서는 서프라이절(토큰의 음의 로그 확률)로 더 파고들었고, 규칙대로 표시가 놓인 문장과 일부러 어긋나게 만든 문장을 비교했을 때 자연스러운 문법을 배운 대조 모델이 가장 나은 반응을 보였다.
• 영상 진행자는 결과 자체가 놀랍지는 않다고 본다. 연속선을 따라갈수록 언어의 엔트로피가 올라가므로 사람이든 모델이든 예측이 어려워지는 것이 당연하다는 것이다.

쉽게 이해하기

AI 커피 브레이크 채널이 ACL 2024 현장에서 최우수 논문상을 받은 '미션 임파서블 언어 모델(Mission: Impossible Language Models)' 저자를 만나 포스터 발표를 그대로 담고 자체 해설을 덧붙였다. 논문의 제1저자는 스탠퍼드대 컴퓨터과학 박사과정의 줄리 칼리니로, 이 연구는 언어학계가 오랫동안 던져 온 비판에 정면으로 답한다. 방콕에서 열린 이 학회에는 4천 명이 넘게 모였다.

출발점은 촘스키의 주장이다. 1950년대에 언어를 인간 고유의 능력으로 다루며 언어학을 바꿔 놓은 그는 언어 모델에 오랫동안 회의적이었고, 사람은 가능한 언어와 불가능한 언어를 자연스럽게 구분하지만 LLM은 그러지 못한다고 비판했다. 다른 연구자들도 LLM이 '불가능한' 언어를 자연어만큼, 혹은 그보다 잘 만들어 낸다고 주장해 왔다. 문제는 이런 주장이 한 번도 제대로 검증된 적이 없다는 점이었다.

연구진은 '불가능한 언어'를 정의하는 대신 불가능성의 정도를 단계별로 나눈 연속선을 만들었다. 한쪽 끝에는 실제 영어가 있고, 반대쪽 끝에는 단어를 무작위로 뒤섞은 가장 불가능한 언어가 있다. 그 사이에 문장을 여러 방식으로 뒤집은 리버스 언어들과, 동사의 시제를 나타내는 표시가 동사 바로 옆이 아니라 정해진 개수만큼 떨어진 자리에 붙는 홉 언어들을 놓았다. 홉 규칙은 기술하기도 쉽고 대단히 체계적이지만, 인간 아기가 습득하기에는 불가능하다고 여겨지는 종류다. 언어의 위계적 구조를 정면으로 위반하기 때문이다.

실험 설계는 단순하다. 영어 말뭉치를 각각의 방식으로 변형해 인공 언어 데이터셋을 만들고, 그 언어 하나만으로 GPT-2 스몰을 처음부터 학습시킨다. 첫 번째 지표인 퍼플렉서티에서는 세 계열 모두에서 원래 영어가 가장 낮은 값을 보였다. 두 번째 실험은 홉 언어의 표시 토큰에 서프라이절을 적용해, 규칙이 제대로 학습됐다면 표시가 놓일 자리에서 서프라이절이 낮아야 하고, 표시를 빼 버렸을 때는 차이가 커야 한다고 보았다. 두 경우 모두에서 자연스러운 문법으로 학습한 대조 모델이 가장 좋은 결과를 냈다.

해설자는 이 결과가 자신에게는 놀랍지 않았다고 말한다. 연속선을 따라 이동할수록 패턴이 복잡해지다 결국 무작위에 가까워지고, 그만큼 언어의 엔트로피가 올라간다. 사람의 뇌든 GPT든 엔트로피가 높은 대상을 예측하기 어려운 것은 당연하며, 이론상 도달 가능한 퍼플렉서티의 하한 자체가 올라간다는 설명이다. 다만 저자들의 논점을 살려 주자면, 언어가 불가능할수록 학습 곡선이 더 일찍 평평해진다는 관찰이 남는다. 언어가 인간만의 것이라는 촘스키의 견해에는 동의하지 않지만, 언어가 일관된 패턴을 따라야 배울 수 있다는 지점에서는 공감한다고 덧붙인다. 왜 하필 GPT-2였느냐는 질문에도 답이 있다. 실험이 모델을 처음부터 학습시키는 방식이라, 평범한 연구자가 비용 폭발 없이 반복해서 학습시킬 수 있는 크기여야 했기 때문이다. 학회 시상 심사평은 이 논문을 '아주 영리한 실험으로 LLM이 불가능한 문법까지 포함해 온갖 문법을 배울 수 있으므로 언어학적으로 흥미롭지 않다는 가설을 검증하고 기각한 연구'라고 평가했다.

주요 인사이트

• 'LLM은 무엇이든 똑같이 배운다'는 비판은 널리 인용됐지만 정작 실험으로 확인된 적이 없었다. 이 연구의 기여는 새로운 모델이 아니라 검증 가능한 틀을 만든 데 있다.
• 불가능성을 이분법이 아니라 연속선으로 다룬 설계가 핵심이다. 여러 단계의 인공 언어를 늘어놓았기 때문에 '어렵다/쉽다'가 아니라 '얼마나 더 어려워지는가'를 곡선으로 볼 수 있었다.
• 홉 언어는 규칙 자체는 간단하지만 인간이 습득하기 어려운 유형이다. 규칙의 단순함과 학습 가능성이 같은 말이 아니라는 점을 실험 안에 심어 둔 셈이다.
• 퍼플렉서티만으로는 '규칙을 이해했는지'를 알기 어렵다. 표시를 지운 문장과 비교하는 서프라이절 실험은 모델이 규칙의 위치를 실제로 기대하는지 확인하려는 장치다.
• 해설자의 엔트로피 관점은 결과를 다르게 읽는다. 언어가 불가능해질수록 예측이 어려워지는 것은 정보이론적으로 자연스럽고, 정작 흥미로운 신호는 학습 곡선이 평평해지는 시점이라는 것이다. 그리고 이런 질문에 답하는 데 반드시 큰 모델이 필요하지도 않다.

자주 묻는 질문

관련 AI 소식