알파고 10년 회고: 텐서플로 코리아부터 자기 증강 루프까지, 한국 AI가 지나온 10년

핵심 메시지

• 2016년 알파고 대국은 한국에서 딥러닝 학습 붐과 커뮤니티를 만들어냈고, 논문 읽기 모임과 대규모 사용자 그룹이 그 시기에 생겨났다.
• 오늘날 최전선 추론 모델의 기본 구조는 알파고와 닮았다. 인간 데이터를 모방하고, 추론 시점 연산을 늘리고, 강화학습으로 모방을 넘어선다.
• 요즘 화제인 자율 연구 루프는 결국 '멈추지 말고 반복하라'는 구조이며, 성패는 출발점의 계획과 끝점의 평가 기준을 얼마나 정교하게 잡느냐에 달려 있다.
• 검증 가능한 지표가 정의되는 영역에서는 이 방식이 잘 통하지만, 지표 측정 자체에 긴 시간이 드는 분야에는 아직 깊이 들어오지 못했다.
• 추론 전용 반도체는 비싼 메모리 대신 저전력 메모리를 써서 서비스 가격을 끌어내리는 방향으로 접근하고 있다.

쉽게 이해하기

알파고가 세상을 놀라게 한 지 10년이 되는 시점에 녹음된 대담이다. 진행자들과 추론 전용 AI 반도체 기업의 CTO가 함께 지난 10년의 기술 흐름을 되짚고, 지금 벌어지는 변화가 그 연장선 어디쯤에 있는지 이야기한다.

출연자들은 2016년 대국 현장의 분위기를 회상한다. 대국 전만 해도 인간이 이길 것이라는 자신감이 있었지만 첫 판이 끝나자 모두가 충격에 휩싸였다고 한다. 바둑의 수를 이해하지 못해도 해설자들의 탄식만으로 사건의 크기를 짐작할 수 있었다는 것이다. 대국 이후 국내에서는 딥러닝을 제대로 알아야겠다는 분위기가 형성되며 커뮤니티와 스터디, 논문 읽기 모임이 활발해졌다.

대담의 한 축은 지금 화제인 자율 연구 루프다. 평가 가능한 검증 점수 하나만 걸어두고 모델이 가설을 세우고 실험하기를 멈추지 않게 하는 방식인데, 출연자들은 이것이 개념적으로는 검증 가능한 보상 신호로 학습을 이어가는 아이디어와 같고 적용 계층만 다르다고 정리한다. 핵심 지시가 '막히면 논문을 읽고 다시 가설을 세워라, 계속할지 묻지 말고 계속하라'는 것이라는 대목이 인상적이다. 실제 사례도 등장한다. 오랫동안 풀리지 않던 문제를 직접 모델링해 기준 데이터를 만들어 주고 그 수준에 도달할 때까지 반복시키자 알고리즘이 나왔다는 경험, 그리고 계획을 한 번 세운 뒤 12시간 동안 손을 대지 못하게 한 대회에서 상위 입상자가 모두 실행 구조를 정교하게 설계한 사람들이었다는 관찰이다. 무한 반복은 같고 앞뒤를 어떻게 다듬느냐가 성패를 갈랐다는 결론이다.

역사 회고 구간은 촘촘하다. 이미지넷과 CNN이 지배하던 시기, 유튜브 영상을 비지도로 학습시켰더니 고양이 얼굴에 반응하는 필터가 생겼다는 창발 사례, 스타일 트랜스퍼와 딥드림이 해석 가능성 연구의 단초가 된 계보가 차례로 언급된다. 트랜스포머 이후로 넘어가면, 인코더 계열이 빈칸 채우기 방식의 자기지도 학습으로 레이블 없는 데이터를 대량으로 쓰게 만들며 규모를 키웠고, 결국 디코더 계열이 살아남은 이유로는 앞 단어만 참조하기에 이전 계산을 다시 하지 않아도 되는 확장성이 꼽힌다. 비전 트랜스포머가 몇 년이나 늦게 성공한 이유 역시 결국 데이터 규모였다는 일화가 뒤따른다.

마지막은 지금의 속도에 대한 이야기다. 일주일 전에 나온 것으로 세상이 바뀌는 시대를 살다 보니 10년 전이 아득하게 느껴진다는 소회, 먼저 움직여야 이득인지 늦게 시작하는 편이 나은지에 대한 상반된 플레이북, 그리고 소프트웨어의 시대가 끝나는 것이 아니라 소프트웨어를 만들던 방식의 시대가 끝나는 것이라는 정리로 마무리된다.

주요 인사이트

• 10년 전 사건이 남긴 가장 큰 자산은 모델이 아니라 커뮤니티였다. 충격을 함께 겪은 경험이 학습 모임과 사용자 그룹으로 이어지며 인력 저변을 만들었다.
• 자율 연구 루프의 병목은 모델이 아니라 사람이 정의하는 두 가지, 즉 시작 시점의 명료한 계획과 종료 조건이 되는 평가 지표다.
• 잘 작동하는 영역이 공교롭게도 AI 자신을 훈련시키는 영역이라는 점은 자기 증강 구조의 가능성과 함께 신중함이 필요한 이유이기도 하다.
• 반도체처럼 좋고 나쁨을 판정하는 데 오랜 시간이 걸리는 분야는 아직 자동화가 깊이 들어오지 못했다. 검증 속도가 자동화 가능성을 가른다.
• 기술 유행은 반복된다. 강화학습, 생성적 적대 신경망, 확산 모델로 이어진 쏠림처럼 지금의 열기도 특정 구조에 집중되고 있다.

자주 묻는 질문

관련 AI 소식