딥마인드 AGI 안전 접근법 해설: 오남용과 오정렬을 가르는 네 가지 전제와 그 한계

핵심 메시지

• 이 접근법은 AGI가 초래할 수 있는 심각한 위험에 대응하기 위한 기술 연구 의제를 문서로 정리한 것이다.
• 핵심 전제는 현 패러다임의 지속, 인간 수준이라는 상한의 부재, 도달 시점의 불확실성, 그리고 근사 연속성 네 가지다.
• 근사 연속성은 능력 향상이 달력 시간이 아니라 투입된 연산량과 연구개발 노력에 대해 매끄럽게 이어진다는 뜻이다.
• 위험은 오남용과 오정렬로 나뉘지만 두 범주는 서로 배타적이지도, 모든 위험을 포괄하지도 않는다.
• 정렬 쪽 대응은 증폭된 감독, 모델 행동 유도, 견고한 학습 세 축으로 짜여 있고, 해석가능성은 이를 뒷받침하는 보조 수단으로 배치돼 있다.

쉽게 이해하기

이 대담의 주인공은 구글 딥마인드에서 일하는 연구자로, 이전에는 컴퓨터 비전을 가르치던 교수였다. 다룬 문서는 딥마인드가 내놓은 기술적 AGI 안전·보안 접근법으로, 심각한 수준의 위험에 대비하기 위한 연구 의제를 공개적으로 정리한 성격을 지닌다. 그는 이런 문서를 쓰는 목적 자체가 내부와 외부 양쪽에서 비판을 받기 위한 것이라고 설명했다. 특히 연구 방향에 암묵적으로 깔려 있던 전제들을 끄집어내 근거가 무엇인지, 어떤 조건에서 그 전제를 버려야 하는지 따져본 것이 본인에게 가장 유용했다고 말한다.

첫 번째 전제인 '현 패러다임의 지속'은 생각보다 느슨하게 설정돼 있다. 트랜스포머라는 특정 구조가 아니라 학습과 탐색이라는 큰 틀, 그리고 연산량과 연구개발 투입이 늘면 능력이 오른다는 구도를 가리킨다. 그래서 트랜스포머를 버리거나 진화적 탐색을 쓰더라도 이 전제는 깨지지 않지만, 학습이 결정적 역할을 하지 않는 방식으로 능력이 생기는 경우라면 얘기가 달라진다. 계획의 시야는 약 5년으로 잡혀 있는데, 이는 주요 변수를 그나마 추정할 수 있는 범위이자 빠르게 변하는 환경에서 더 먼 미래를 계획하기 어렵다는 실용적 판단 때문이다.

두 번째와 세 번째 전제는 각각 인간 수준이 능력의 천장이 아니라는 점, 그리고 도달 시점에 대한 합의가 없다는 점이다. 문서가 목표로 삼는 수준은 관련 기술을 갖춘 성인 상위 1%에 해당하는 폭넓은 과제 수행 능력으로 정의된다. 진행자는 이 기준이 느슨해 보인다고 지적했지만, 답변에 따르면 백분위의 모집단이 '해당 기술을 가진 성인'으로 제한된다는 점이 핵심이다. 시점이 불확실하므로 전략은 언제 필요해지든 곧바로 꺼낼 수 있는 형태여야 하고, 그래서 여러 접근을 함께 굴리는 포트폴리오 구성이 정당화된다.

가장 논쟁적인 전제는 근사 연속성이다. 능력 향상이 매끄럽다는 말은 달력 시간이 아니라 투입 기준이며, 연구개발 투입 자체가 급격히 늘면 실제 시간으로는 매우 빠르게 능력이 뛸 수 있다. 진행자는 그렇다면 사람이 실험하고 해석하고 대책을 만드는 주기가 따라가지 못하지 않느냐고 물었고, 답변은 측정 주기와 재계획 주기를 함께 짧게 가져가되 다음 단계를 감당할 자신이 없으면 진행을 멈추는 구조라고 설명했다. 그리고 이 구도에서는 안전 연구 상당 부분을 AI에 맡기는 것이 사실상 전제된다는 점도 인정했다.

위험 분류는 오남용과 오정렬 두 갈래다. 사람이 나쁜 일을 시키는 경우와 모델이 스스로 나쁜 일을 하는 경우로 나뉘지만, 오정렬된 모델이 악의적 인간을 끌어들여 가중치를 빼돌리는 식으로 두 범주가 겹칠 수 있다. 이 구분의 실질적 목적은 대응 수단이 달라지기 때문이다. 오남용 쪽은 보안, 위험 요청 필터링, 접근 제한처럼 사람을 향한 조치가 중심이고, 오정렬 쪽은 학습 목표와 감독 품질처럼 모델 내부를 향한 조치가 중심이다.

주요 인사이트

• '증폭된 감독'은 어떤 출력이 왜 나왔는지 사람이 완전히 이해하고 무제한의 시간을 들여 숙고했을 때 도달할 수 있는 수준의 감독을 뜻한다. 토론(debate)이 이를 구현하는 대표 기법으로 언급된다.
• 감독 신호를 얻는 비용이 매우 크기 때문에, 얻어낸 라벨을 최대한 효율적으로 학습에 반영하는 문제가 별도의 연구 축으로 분리돼 있다. 자연어 비평 같은 방식이 그 후보다.
• 사회적 대비는 규제 논의만이 아니라 기술적 과제로도 다뤄진다. 예컨대 AI의 공격 능력이 올라갈수록 같은 능력을 사회 기반 시설의 취약점을 메우는 데 투입하는 식이다.
• 해석가능성은 아직 안전에 결정적으로 쓰인 사례가 없다고 문서가 직접 인정한다. 그럼에도 계속 투자하는 이유로는 성공 시 효용이 크다는 점, 그리고 관측 규모가 몇 자릿수씩 바뀌면 이전에 보이지 않던 현상이 드러난다는 과학사적 경험이 제시됐다.
• AI의 작업 지속 시간을 측정한 최근 평가에 대해, 사전 맥락이 적은 과제 위주로 측정하는 설계가 결과를 한쪽으로 기울일 수 있다는 지적이 나왔다. 업무 적응이 사람보다 모델에 유리한 지점일 수 있기 때문이다.

자주 묻는 질문

관련 AI 소식