AI VIDEO BRIEFING
리카이푸 인터뷰: 은닉 마르코프 모델에서 트랜스포머까지, 음성인식과 머신러닝 40년의 역사
음성인식에 머신러닝을 도입한 리카이푸가 1980년대 CMU 시절부터 오늘의 대규모 언어모델까지를 돌아본다. 전문가 시스템과의 경쟁, 데이터와 컴퓨트의 힘, 그리고 후배 연구자를 위한 조언까지 정리했다.
핵심 메시지
- 1980년대 음성인식의 주류는 사람이 규칙을 넣는 전문가 시스템이었고, 통계적 학습인 은닉 마르코프 모델은 소수 의견이었다.
- 지도교수 라지 레디는 '나는 네 생각에 동의하지 않지만 지원하겠다'며 데이터와 컴퓨트를 마련해 줬고, 리카이푸는 이를 연구 관리의 본보기로 기억한다.
- 음소의 앞뒤 문맥을 모델에 반영하고, 로그 기반 신호 처리 표현과 통계적 언어 모델을 결합해 인식 정확도를 96%까지 끌어올렸다.
- 은닉 마르코프 모델은 논문 이후 5년쯤 지나 개선이 정체됐고, 다음 도약은 딥러닝, 그다음은 트랜스포머와 종단간 학습에서 나왔다.
- 그는 컴퓨트를 가진 기업과 협력하거나, 아예 트랜스포머 다음을 노리는 두 갈래 중 하나를 택하라고 신진 연구자에게 조언했다.
쉽게 이해하기
이 인터뷰의 주인공 리카이푸는 1980년대 카네기멜런대 박사과정에서 음성인식에 머신러닝을 본격적으로 적용한 인물이다. 그는 대학에 들어갈 무렵부터 인공지능을 '인간이 스스로를 이해하는 마지막 단계'로 여겼고, 당시로서는 계산 자원이 워낙 부족해 일반적인 자연어 이해나 컴퓨터 비전보다 음성을 글자로 옮기는 문제가 더 다룰 만하다고 판단했다.
그가 뛰어든 판에서 주류는 통계가 아니었다. 대형 연구 과제는 사람이 스펙트로그램을 읽어낼 수 있다면 기계도 읽을 수 있다는 전제 아래 전문가 시스템으로 설계돼 있었고, 통계적 접근인 은닉 마르코프 모델은 IBM 쪽에서 조용히 다뤄지던 비주류였다. 리카이푸는 IBM에서 일하던 선배 연구자에게 이 모델을 배운 뒤, 지도교수를 찾아가 다른 방법을 시도해 보겠다고 말한다. 돌아온 답이 '동의하지 않지만 지원하겠다'였고, 그는 이 태도를 과학적 탐색에서 배운 가장 큰 교훈으로 꼽는다.
성과는 여러 아이디어의 조합에서 나왔다. 같은 모음이라도 앞뒤에 오는 자음에 따라 실제 소리가 달라진다는 음성학 지식을 모델 구조에 반영했고, 일본에서 온 방문 연구자에게서 받은 로그 기반 신호 표현을 신호 처리 단계에 끼워 넣었으며, 언어 모델로는 앞선 한두 단어로 다음 단어를 예측하는 통계적 방식을 썼다. 초기 시스템이 70% 수준이었는데, 이 조각들을 모으고 나니 어느 토요일 아침 96%라는 숫자가 나왔다. 화자를 가리지 않고 연속된 문장을 인식한다는 당시의 난제에서 나온 결과였다.
이후의 흐름을 그는 세 번의 도약으로 정리한다. 은닉 마르코프 모델은 논문 이후 5년 정도까지 개선되다 한계에 부딪혔고, 마이크로소프트 시절 빌 게이츠가 '언제 완전한 음성인식이 되느냐'고 물을 때마다 5년이라 답하면서도 스스로 그 길로는 도달할 수 없음을 깨달았다고 한다. 다음 도약은 딥러닝이었다. 신경망이라는 아이디어 자체는 오래됐지만 층을 깊게 쌓고 데이터를 수백, 수천 시간 단위로 늘릴 만한 계산력이 없었을 뿐이라는 것이다. 그리고 오늘의 트랜스포머와 대규모 언어모델이 음향 모델과 언어 모델을 나누지 않는 종단간 방식으로 문제를 사실상 마무리했다고 본다.
그는 자신이 놀란 지점도 솔직하게 말한다. 트랜스포머가 이렇게까지 멀리 갈 줄, 스케일링이 이만큼 오래 통할 줄은 예상하지 못했다는 것이다. 오랜 정체기를 겪은 세대라 확신이 늦었다고 자평하면서, 대규모 언어모델 시대에 곧바로 자란 20대 연구자들이 이전 세대를 앞질렀듯 세대마다 전제가 갈아엎히는 일이 반복된다고 말한다. 신진 연구자에게 남긴 조언도 여기서 나온다. 거대한 계산 인프라가 필요한 길을 갈 거라면 자원을 가진 기업과 연결된 지도교수를 찾고, 그럴 수 없거나 그러지 않겠다면 이미 남이 한 것을 손보는 대신 트랜스포머 다음을 발명하라는 것이다.
주요 인사이트
- 한 분야의 판도가 바뀔 때 결정적 요인은 새 아이디어 하나가 아니라, 그 아이디어를 시험할 데이터와 계산 자원을 확보해 준 사람이 있었다는 점이다.
- '동의하지 않지만 지원하겠다'는 지도교수의 태도는 연구뿐 아니라 조직에서 소수 의견을 다루는 방식에 대한 실용적인 본보기다.
- 기술 곡선을 과거 추세로 예측하는 습관은 정체기를 겪은 사람일수록 강해지며, 그것이 오히려 도약을 알아보지 못하게 만들 수 있다.
- 은닉 마르코프 모델의 두 단어 문맥과 트랜스포머의 어텐션은 '문맥을 어떻게 다룰 것인가'라는 같은 질문의 서로 다른 답이다.
- 상업적 가치가 충분히 커진 분야에서는 대학이 단독으로 경쟁하기 어려워지므로, 연구 주제 선택 자체가 전략이 된다.
자주 묻는 질문
리카이푸의 박사 연구가 왜 중요한 전환점으로 평가되나요?
당시 상용 음성인식은 사용자마다 따로 학습시키거나 단어를 끊어 말해야 했고, 화자를 가리지 않는 시스템은 숫자 열 개 수준의 어휘만 다뤘습니다. 그는 화자에 무관하면서 연속된 말을 인식하는 과제에서 통계적 학습으로 96% 정확도를 보여, 전문가 시스템 대신 데이터 기반 접근이 자리 잡는 계기를 만들었습니다.
정확도를 끌어올린 구체적인 방법은 무엇이었나요?
같은 음소라도 앞뒤 소리에 따라 실제 파형이 달라진다는 점을 모델 구조에 반영했고, 방문 연구자에게 받은 로그 기반 신호 표현을 신호 처리에 적용했으며, 언어 모델로는 앞선 한두 단어로 다음 단어를 예측하는 통계적 방식을 썼습니다. 이 조합으로 70% 수준이던 초기 시스템이 96%까지 올라갔습니다.
음성인식은 이제 해결된 문제인가요?
그는 기술적으로는 해결됐다고 봅니다. 소음이 심한 환경이나 주변음 처리, 비용을 낮춰 기기에서 직접 돌리는 문제 같은 과제가 남아 있지만, 이는 연구 난제라기보다 공학의 영역이라는 것이 그의 판단입니다.
AI를 시작하는 대학원생에게 어떤 조언을 했나요?
대규모 계산 인프라가 필요한 생성형 AI의 길을 가려면 그런 자원을 가진 기업과 협력 관계가 있는 지도교수를 찾으라고 했습니다. 그럴 수 없다면 이미 큰 기업이 한 일을 손보는 대신, 작은 자원으로도 검증할 수 있는 완전히 새로운 방향을 찾아 트랜스포머 다음을 만들라고 조언했습니다.
원문과 출처
이 글은 원본 영상의 자막을 바탕으로 한국어 독자를 위해 요약했습니다. 전체 맥락과 최신 정보는 원문에서 확인하세요.
YouTube 원본 영상 보기 ↗