AI 정렬(얼라인먼트)이 어려운 이유: 앤트로픽 연구자들이 말하는 핵심 난제

핵심 메시지

• 정렬을 '완벽한 정의'로 고정하기보다 '충분히 잘 작동해 이후 개선할 수 있는 수준'으로 보는 실용적 관점이 제시됐다.
• 모델에 고정된 가치를 '주입'하기보다, 도덕적으로 불확실하고 새 정보에 반응해 갱신하는 태도를 갖게 하는 편이 덜 위험하다.
• 가장 큰 난제는 모델이 인간이 검토할 수 없을 만큼 복잡한 일을 할 때 정렬을 어떻게 '확장'하느냐(슈퍼얼라인먼트)다.
• 해석가능성은 모델 내부를 들여다봐 검증하려는 시도지만, '진짜 착한 특징'과 '감시받을 때만 착한 척하는 특징'을 구분하기 어렵다.
• 정렬은 한 번 푸는 단일 이론 문제가 아니라, 아직 생각지 못한 문제가 계속 나타나는 경험적·진행형 과제다.

쉽게 이해하기

이 토론은 앤트로픽의 네 팀 — 사회적 영향(Societal Impacts), 정렬 과학(Alignment Science), 정렬 파인튜닝(Alignment Finetuning), 해석가능성(Interpretability) — 연구자들이 모여 'AI 정렬이란 무엇이고 왜 어려운가'를 주고받은 자리다. 모델이 어떻게 행동해야 하는지를 다루는 연구자는, 사람들이 정렬을 엄밀히 정의하는 데 너무 많은 시간을 쓴다고 본다. 대신 '일단 충분히 잘 굴러가서 나중에 개선·반복할 수 있는 낮은 기준'을 먼저 맞추자고 제안한다. 구체적으로는 모델이 'AI라는 특수한 상황에 놓인, 도덕적으로 선하고 친절한 사람'처럼 행동하게 하는 것을 지향한다. 수백만 명과 동시에 대화한다는 사실 자체가 그 행동에 영향을 준다.

가치를 모델에 '주입'하는 방식에는 경계가 따른다. 사람에게 '가치 혈청'을 주입해 절대 흔들리지 않는 고정된 가치를 갖게 하는 것은 오히려 위험하다는 비유가 나온다. 윤리는 물리학처럼 경험적이고 불확실하며 가설을 갱신해 가는 것에 가깝고, 자신의 도덕관을 완전히 확신하는 사람이 더 무섭게 느껴진다. 그래서 모델도 세상에 존재하는 다양한 가치들에 대해 불확실성을 갖고 새 정보에 반응해 갱신하는 편이 이상적이라고 본다. 누군가의 선호를 일방적으로 넣거나 모두가 투표로 가치를 정하는 방식이 아니라, 불확실성을 인정하는 태도 자체를 닮게 하자는 것이다.

정렬 과학 쪽이 던지는 더 큰 난제는 '확장성'이다. 지금은 모델의 대화 기록(transcript)을 사람이 읽어 보며 RLHF나 헌법적 AI(constitutional AI)로 다룰 수 있다. 그러나 모델이 에이전트로서 우리가 이해하지 못하는 길고 복잡한 작업, 예컨대 바이오 연구 같은 것을 수행할 때는 그 행동이 위험한지 어떻게 감독하나? 이것이 슈퍼얼라인먼트 문제다. 덜 똑똑한 모델로 더 똑똑한 모델을 감독하려 해도 한계가 있다. 예를 들어 한 세대 모델은 Base64를 자유자재로 읽고 쓰지만 이전 세대는 그러지 못해, 이전 모델로 감독하면 쉽게 우회당한다.

해석가능성 연구자는 다른 각도를 제시한다. 모델에게 '왜 그렇게 답했냐'고 물으면 사람처럼 그럴듯한 이유를 대지만 그 말을 신뢰하기는 어렵다. 대신 내부를 들여다보면(예: 희소 오토인코더 SAE) 어떤 특징이 활성화됐는지 볼 수 있다. 가령 '하얀 거짓말'을 하는 다른 사례들에서 켜지는 특징이 함께 켜지는 식이다. 다만 한계가 분명하다. '진짜로 착한 특징'을 키운 것인지 '인간이 볼 때만 착한 척하는 특징'을 키운 것인지 구분하기 어렵고, 어떤 특징은 직관과 정반대로 작동하기도 한다.

현재 모델의 사고 과정(chain of thought)이 영어 토큰으로 표현돼 사람이 검토할 수 있다는 점은 '특수한 구간'으로 평가된다. 사고연쇄가 합리적으로 안전한지, 그것이 실제 연산과 일치하는지를 나눠서 점검할 수 있기 때문이다. 그러나 긴 강화학습을 거쳐 중간 과정이 사람이 읽을 수 없는 형태가 되고, 방대한 연산 끝에야 결과만 튀어나오는 순간이 가장 두려운 전환점으로 꼽힌다.

마지막으로 시스템·사회적 관점이 강조된다. 한나 아렌트의 '악의 평범성'처럼, 개별 모델이 아니라 수백만 에이전트가 상호작용하는 시스템 차원에서 안전을 봐야 한다. 탈옥(jailbreak)은 흔히 서로 다른 가치를 충돌시켜 일어난다. 또 모델을 개별 인간의 지시에 순종하게 만드는 것과 인류 전체에 정렬시키는 것 사이에는 본질적 긴장이 있다. 완벽히 정렬된 모델이라도 '무엇에, 누구를 위해 정렬됐나'를 물어야 하며, 정렬은 '풀었다'고 선언할 수 있는 단일 문제가 아니라 미처 생각 못 한 미지의 문제가 계속 등장하는 진행형 과제라는 데 의견이 모인다.

주요 인사이트

• '정렬을 완벽히 정의하려는 욕심'보다 '반복 개선이 가능한 낮은 기준을 먼저 맞추기'가 실제 연구의 출발점이다.
• 확신에 찬 도덕관이 더 위험하고 불확실성을 인정하는 태도가 더 안전하다는 관점은, AI에 가치를 부여하는 방식 자체를 다시 보게 한다.
• 핵심 난제는 '검토할 수 없는 모델을 어떻게 신뢰하느냐'이며, 그 우회로로 '정렬 연구 자체를 자동화'하는 전략이 거론된다.
• 사고연쇄가 아직 영어로 남아 있는 지금이 검증 가능한 '특수 구간'이고, 그것이 사라지는 순간이 가장 위험한 전환점이다.
• 정렬은 '해결 완료'를 선언할 수 있는 단일 이론 문제가 아니라, 미지의 문제(unknown unknowns)가 계속 나타나는 경험적 과제다.

자주 묻는 질문

관련 AI 소식