구글 딥마인드 AGI 안전 총괄 로힌 샤 인터뷰 — 정렬 실패, 사고 사슬 감시, 지능 폭발

핵심 메시지

• 2017년부터 AI 안전을 연구해 온 구글 딥마인드 AGI 안전·정렬 총괄 로힌 샤는, 파국적 정렬 실패가 '내버려 두면 벌어지는 기본값'이라는 주장에는 설득력 있는 논증이 없다고 본다.
• 그는 기업이 블로그로 내거는 '약속'은 나중에 얼마든지 빠져나갈 수 있어 실효가 없다고 보고, 대신 접근권을 가진 제3자 감사와 세부까지 파고드는 평가 기관을 대안으로 제시한다.
• 배포 전 평가를 의무로 못 박는 접근에도 회의적이다. 능력 향상이 대체로 연속적이라 안전 여유를 두면 직전 모델의 평가로도 충분히 판단할 수 있다는 것이다.
• 사고 사슬(chain of thought) 감시는 앞으로 4~5년은 유효할 것으로 본다. 트랜스포머 구조상 긴 추론은 출력 토큰 밖에 숨길 곳이 마땅치 않기 때문이다.
• 지능 폭발 자체는 올 것으로 보지만, '초인적 코더'는 연구자 수의 증가가 아니라 더 나은 도구의 등장에 가깝다며 시점 예측이 성급하다고 지적한다.

쉽게 이해하기

80,000 아워스 팟캐스트에 출연한 로힌 샤는 구글 딥마인드에서 AGI 안전·정렬 부문을 이끄는 연구자다. 그는 발언이 회사가 아닌 개인의 견해임을 전제한 뒤, AI 안전 진영 다수와 결이 다른 입장을 내놓았다. 파국적 정렬 실패가 일어날 수 있다는 점은 인정하지만, 그것이 '기본적으로 벌어지는 일'이라는 주장에는 설득력 있는 논증을 본 적이 없다는 것이다. 그래서 그는 이 위험을 막는 데 상당한 자원을 쓸 이유는 충분하다고 보면서도, 이미 정해진 결말처럼 다루는 태도에는 반대한다.

근거는 여러 갈래다. 훈련 과정에서 AI가 우연히 기만을 배울 수 있다는 우려에 대해 그는, 지금의 강화학습이 1년짜리 궤적이 아니라 길어야 일주일에서 한 달 단위로 이뤄진다는 점을 든다. 그 정도 시야에서 학습되는 것은 '세계를 장악해야 목표를 이룬다'는 야심 찬 목표가 아니라 단기 보상 해킹에 가깝다는 것이다. 지금 모델들이 보이는 계략 사례도 대부분 공상과학 속 악당 AI를 연기하는 쪽에 가깝지, 실제로 유능하게 어긋난 목표를 좇는 모습과는 다르다고 그는 해석한다. 다만 '지금 모델이 순하니 괜찮다'는 낙관에는 선을 긋는다. 그가 애초에 걱정한 것은 인간이 따라가기 어려운 초인적 추론을 감독하는 문제인데, 현재 모델은 아직 그 수준이 아니라 이 문제와 제대로 부딪혀 본 적조차 없다는 것이다.

가장 각을 세우는 대목은 기업의 안전 '약속'이다. 그는 연구가 계속 바뀌기 때문에 스스로를 돛대에 묶는 일이 좋은 생각이 아니라고 말한다. 몇 해 전만 해도 정렬 연구 자료를 사전학습 데이터에 많이 넣자는 의견이 우세했지만, 지금은 오히려 걸러내자는 쪽으로 뒤집혔다는 예를 든다. 악의적 AI 페르소나를 학습할 여지를 줄이고, 우리가 준비 중인 완화책을 모델이 상세히 알지 못하게 하려는 이유에서다. 더 큰 문제는 약속이 실제로 구속력을 갖지 못한다는 점이다. 그는 앤스로픽의 책임 있는 스케일링 정책이 이후 판본에서 '약속'이라는 표현을 걷어낸 사례를 들며, 구글의 프런티어 안전 프레임워크가 애초에 그 단어를 쓰지 않은 편이 오히려 현실을 정확히 반영했다고 평가한다.

그가 대안으로 미는 것은 사람과 기관이다. 회사 안에 충분한 접근권을 갖고 세부를 들여다보는 제3자 평가 기관을 두고, 일부를 가린 형태로라도 보고서를 내게 하자는 구상이다. 지금 정치 환경에서 당장 어렵다면 차선책으로 안전 스코어카드를 든다. 그는 한 사람이 운영하는 AI Lab Watch를 가장 신뢰할 만한 사례로 꼽으며, 이런 평가가 업계에서 정당한 기준으로 받아들여지면 '가장 안전한 회사'를 놓고 상향 경쟁이 벌어질 수 있다고 본다. 진행자가 중앙은행의 은행 감독을 비유로 들자 그는 그것이 거의 정확히 자신이 바라는 모델이라고 답했다. 반면 배포 전 평가를 규제로 강제하는 방식에는 회의적이다. 출시 일정에 묶이면 평가를 빠르게 끝내려는 유인이 생기는데, 능력은 대체로 연속적으로 늘기 때문에 여유를 두고 기준을 잡으면 직전 모델 평가로도 판단할 수 있다는 것이다. 다만 모델이 '나쁜 성향'을 갖게 되는 문제는 사후 훈련의 작은 차이로도 크게 달라질 수 있어, 이 부분의 배포 전 평가는 실제로 수행하고 결과가 나쁘면 출시하지 않는다고 밝혔다.

기술적으로 그가 오래갈 것으로 보는 안전장치는 사고 사슬 감시다. 핵심 논거는 '불투명한 직렬 깊이'라는 개념이다. 트랜스포머는 층을 거슬러 올라가는 정보 흐름이 없어, 내부 수치만으로 처리할 수 있는 순차적 사고 단계가 매우 적다. 게다가 GPU와 TPU는 병렬 연산에 최적화돼 있어 사전학습 자체가 이 구조를 유지하도록 압박한다. 결국 어려운 추론을 하려면 그 흔적이 사람이 읽을 수 있는 토큰에 남을 수밖에 없다는 것이다. 그는 강화학습으로 모델이 완전히 새로운 내부 언어를 만들어 낼 가능성은 인정하면서도, 현재 강화학습의 효율을 감안하면 가까운 시일 안에는 놀랄 일이라고 본다. 자신의 예상 중앙값은 4~5년이며, 그 이후를 대비해 통제(control) 기반 완화책을 이미 검토하고 있다고 말했다.

마지막 주제는 지능 폭발의 시점이다. 그는 경제 성장 모형을 끌어와, 기술 발전 속도를 끌어올리는 요인을 '아이디어를 찾기 어려워지는 효과', '도구가 좋아지는 효과', '연구할 사람이 늘어나는 효과'로 나눈다. 최근 수백 년의 지수적 성장은 앞의 두 가지가 상쇄된 결과이고, 폭발적 성장은 세 번째 요인이 살아 있을 때 나타났다는 설명이다. 그래서 그는 '초인적 코더'가 등장하면 곧 폭발이 온다는 논리를 사지 않는다. 현미경이 발명돼 연구가 빨라진 것처럼 그것은 도구 쪽에 가깝고, 도구의 발명은 대개 그래프를 곧게 유지해 왔기 때문이다. 그와 에포크가 함께 만든 '로제타 스톤' 벤치마크 통합 지표에서도 AI 발전은 시점에 대해 대체로 직선으로 보인다고 그는 전했다. 지능 폭발이 결국 온다는 데는 동의하지만, 첫 자동화 연구자는 사람보다 비쌀 가능성이 커서 시작이 급격하지 않을 것이고, 그 지점까지 도달하는 데만 10년쯤 걸린다는 것이 그의 예상이다.

주요 인사이트

• 그는 외부의 요구를 '실제 안전에 도움이 되는 것'과 '안전 진영에 충성한다는 신호를 보내려고 비용을 치르는 것' 둘로 나눈다. 후자는 성과가 아니라 투입 시간을 자랑하는 문화를 만들고, 결국 무엇이 진짜 중요한지 솔직히 말하기 어렵게 만든다는 것이다.
• 미리 적어 둔 규칙은 그 자체로는 지능이 없어서, 최적화 압력이 가해지면 뚫리거나 아니면 감당 못 할 비용을 물린다는 것이 그의 판단이다. 그래서 규칙보다 맥락을 아는 사람과 감사 기관을 중심에 둔다.
• 사고 사슬의 가독성이 유지되는 이유가 윤리적 선택이 아니라 하드웨어의 경제성에 있다는 지적은 되짚어 볼 만하다. 병렬 연산에 최적화된 칩을 쓰는 한 사전학습은 사람 언어로 사고하는 모델을 계속 만들어 낸다.
• 외부 연구가 기업에 실제로 채택되려면 해법이거나 평가지표·데이터셋 형태여야 하고, 가능한 한 단순한 방법이어야 한다는 조언도 나왔다. 현상을 이해하는 이론 연구는 가치가 있지만 당장 쓰이지는 않는다는 것이다.
• 그는 내부 배포를 더 위험하게 본다. 미정렬 모델이 문제를 일으키기 쉬운 곳은 권한이 많은 회사 안이며, 그래서 AI에게 직원과 분리된 신원을 주고 권한마다 사유를 적어 요청하게 하는 '신뢰할 수 없는 내부자' 취급을 대비책으로 든다.

자주 묻는 질문

관련 AI 소식