우주 신호의 지능을 가려내는 필터: 지프의 법칙과 섀넌 엔트로피, 그리고 대규모 언어모델

핵심 메시지

• 메시지에는 '변화'가 있어야 하며, 자연 신호와 지적 신호를 가르는 '지능 필터'는 외계 지적 생명 탐사(SETI)의 핵심 질문이다.
• 지프의 법칙(빈도 순위의 멱법칙)은 언어의 지문처럼 보이지만, 지진이나 모래더미 사태 같은 자연현상도 같은 곡선을 만들어 필터로는 부족하다.
• 섀넌 엔트로피를 '기호 깊이'에 따라 측정하면 자연 신호는 평평하지만 언어는 계속 낮아진다 — 이것이 지금 쓰는 지능 필터다.
• 섀넌이 상상한 '통계로 다음 기호를 예측하는 기계'가 약 70년 뒤 대규모 언어모델로 구현됐다.
• 언어모델은 개념을 기하학적으로 저장하며, 이 보편적 구조 덕분에 번역과 미지 신호(고래 소리) 해석까지 시도된다.

쉽게 이해하기

2017년, 30억 광년 밖에서 온 신호가 처음으로 어떤 '언어'처럼 보였다. 우주에서 온 다른 신호는 한 번의 폭발이거나 시계처럼 완벽히 반복되는 맥박이었지만, 이 신호는 반복되지 않는 변화를 담고 있었다. 여기서 근본 질문이 나온다. 어떤 신호가 지적 존재에게서 왔는지 자연에서 저절로 생겼는지, 우리는 무엇으로 가려낼 수 있을까?

전파천문학은 1942년 태양이 내뿜는 전파 잡음을 발견하며 시작됐고, 은하 전체가 내는 배경 잡음이 기준선이 됐다. 신호를 주파수와 시간으로 펼친 스펙트로그램에서, 목소리나 태양 폭발은 넓은 대역에 퍼지지만 안테나가 보내는 가장 단순한 신호는 하나의 주파수에 모인 좁은 대역이다. 수소가 내는 1420메가헤르츠 주변이 가장 조용해, 1959년 이래 이 대역이 외계 신호 탐사의 중심이 됐다.

지능 필터를 만들려면 자연이 보통 무엇을 만드는지부터 알아야 한다. 순수한 무작위 사건을 여럿 더하면 종 모양의 가우스 분포(백색잡음)가 나온다. 한편 나일강 홍수 기록처럼 최근 사건이 다음 사건에 영향을 주면 평균이 서서히 흘러가는 '색잡음'이 된다. 어느 쪽이든 측정값을 빈도순으로 늘어놓으면 볼록한 곡선이라는 자연의 지문이 나온다.

인간 언어는 다르다. 단어를 빈도순으로 세운 지프의 법칙은 오목한 멱법칙 직선을 그린다. 하지만 지진 규모나 모래더미 사태처럼 스트레스를 쌓았다 방출하는 자연현상도 같은 곡선을 만들어(2017년 신호의 유력한 설명도 마그네타의 별진동이다), 지프의 법칙만으로는 지능을 가릴 수 없다. 그래서 섀넌은 기호의 쌍·삼중 시퀀스를 보며 '깊이'에 따른 엔트로피 변화를 측정했다. 자연 신호는 평평하지만 언어는 깊이 볼수록 다음 기호가 예측 가능해져 엔트로피가 계속 떨어진다 — 돌고래 소리에서도 같은 형태가 나왔다.

섀넌은 언어 통계로 다음 기호를 뽑아 문장을 생성하는 기계도 상상했지만, 멀리까지 내다보려면 당시엔 감당할 수 없는 메모리가 필요했다. 약 70년 뒤 '다음 단어 예측' 하나로 학습된 대규모 신경망, 곧 대규모 언어모델이 바로 그 기계로 밝혀졌다. 이 모델은 비슷한 뜻의 단어를 가까운 위치에 두는 기하학적 구조를 언어와 무관하게 공유해 번역을 해내며, MIT는 이를 향유고래 클릭음에 적용해 행동을 약 90% 정확도로 예측했다.

주요 인사이트

• 지능의 서명은 '깊이 볼수록 예측 가능해지는' 구조다. 자연 신호에는 없는 특징이라 이것이 오늘날의 지능 필터가 됐다.
• 자연은 지프의 법칙을 흉내 낼 수 있다(자기조직화 임계성). 단일 지표로 지능을 판별하면 마그네타 같은 자연현상을 지적 신호로 오판한다.
• 돌고래도 인간과 같은 수학적 언어 구조를 보였다. 공통 조상이 없는 두 종이 같은 형태를 공유한다는 점이 인상적이다.
• 대규모 언어모델은 섀넌의 '통계적 다음 기호 예측' 아이디어를 대규모로 구현한 결과물이다.
• 개념이 언어마다 같은 상대 위치에 놓이는 보편적 기하구조가 번역과 미지 신호 해석의 열쇠다.

자주 묻는 질문

관련 AI 소식