생성형 AI 적절성 이론: 사회 규범과 제재로 본 AI 안전, 구글 딥마인드 조엘 라이보 강연 정리

핵심 메시지

• AI 위험 가운데 이 연구팀이 주목하는 것은 기술 자체보다 기술 때문에 사람들의 행동이 바뀌면서 사회의 균형이 옮겨 가는 '균형 선택 위험'이다.
• 사회는 공통의 목표를 공유하는 집단이 아니라 의견 충돌을 안고도 무너지지 않는 집단이며, 그 안정성을 떠받치는 장치가 법원·의회 같은 제도와 '적절함'이라는 관념이다.
• 발표자는 어떤 행동이 관습으로 굳어진 제재 패턴에 의해 장려되거나 억제될 때 그것을 규범으로 본다고 정의했다.
• 명시적 규범은 문장으로 적어 맥락에 넣을 수 있지만, 암묵적 규범은 학습을 통해 모델 가중치에 녹아 있어 말로 설명하기 어렵고 명시적 논변으로 잘 뒤집히지 않는다.
• 같은 언어 모델이라도 사용자가 '코미디 작가 도우미'를 눌렀는지 '기술 지원 도우미'를 눌렀는지에 따라 적절한 발화가 완전히 달라진다.

쉽게 이해하기

이 영상은 MIT 두뇌·마음·기계 센터(CBMM)의 세미나 강연으로, 구글 딥마인드 선임 연구원이자 킹스칼리지런던 방문교수인 조엘 라이보가 '적절성 이론과 생성형 인공지능에의 적용'을 주제로 발표한 자리다. 발표자는 자신이 언어 모델을 다루기 시작한 뒤 팀이 진행해 온 작업을 묶어 소개한다고 밝혔다. 강연의 상당 부분은 인공지능 자체보다 인간이 무엇을 적절하다고 여기는지를 다루는 인지과학적 논의로 채워진다.

출발점은 '균형 선택'이라는 관점이다. 게임 이론의 표준형 게임에는 아무도 혼자서는 벗어날 유인이 없는 균형이 여러 개 존재할 수 있고, 그중 어느 것을 고를지는 이론이 알려 주지 않는다. 발표자는 사회의 변화도 이런 균형에서 다른 균형으로 옮겨 가는 과정에 가깝다고 본다. 새로운 기술이 나오면 기술 자체보다 사람들이 그 기술 때문에 행동을 바꾸면서 사회 전체가 다른 균형으로 이동하는데, 이 이동은 순식간에 일어나지는 않지만 편승 효과와 임계점 효과 때문에 빠르게 진행될 수 있다.

그가 예로 든 것은 값싸고 손쉬운 허위정보 생산이 민주주의의 인식적 부담을 키우는 문제, AI가 만든 연애 상대와 정신 건강, 취약점 발굴 비용이 낮아졌을 때 공격자와 방어자 사이의 보안 균형, 그리고 노동시장 문제다. 이런 논의를 하려면 사회를 어떻게 정의할지부터 달라져야 한다는 것이 그의 주장이다. 발표자는 사회를 '공통의 목표를 가진 집단'으로 보는 시각이 AI 위험 논의에서 흔하지만 위험한 관점이라고 지적하고, 서로 의견이 크게 다른 사람들이 갈등 해소·회피 장치 덕분에 함께 살아가는 안정된 집단으로 본다.

이론을 검증할 도구로는 언어 모델 에이전트들이 서로 대화하며 사건을 만들어 가는 생성형 사회 시뮬레이션 플랫폼 콘코디아(Concordia)를 소개했다. 강연에서 보여 준 예시는 열차 안 살인 사건을 두고 등장인물들이 움직이는 시나리오로, 하나의 사건을 클릭해 들어가면 그 발화를 만들어 낸 프롬프트와 그 안의 정당화, 다시 그 정당화를 만들어 낸 긴 사고 과정까지 단계적으로 펼쳐 볼 수 있다. 또한 시간에 따른 인과도 남아, 앞서 술을 마신 인물이 나중에 취한 상태로 심문받는 식의 전개가 이어진다.

인간을 모형화하는 방식도 여기에 맞춰져 있다. 발표자는 인간이 머릿속에 언어 모델을 하나 가지고 있는 것처럼 다루자고 제안하면서, 이것이 뇌가 실제로 그렇게 작동한다는 주장이 아니라 예측을 뽑아내 데이터와 맞춰 볼 수 있는 계산 모형일 뿐임을 여러 차례 강조한다. 의식 연구에서 빌려 온 '전역 작업공간'은 여기서 프롬프트에 해당하고, 지각에 해당하는 부분이 쓰이면 행동에 해당하는 부분이 채워지며, 장기 기억의 인출은 그 앞에 붙는 접두부로 취급된다. 사회학자 어빙 고프먼의 비유를 따라 '앨리스 역할을 연기하는 배우'에게 다음 행동을 묻고 그 답을 시뮬레이션 속 행동으로 삼는다.

주요 인사이트

• 이 모형의 강점은 서로 다른 언어로 쓰이던 의사결정 이론을 한 틀에서 비교할 수 있게 해 준다는 점이다. 선택지와 결과와 기대값을 따지는 '결과의 논리'와, 나는 어떤 사람이고 지금은 어떤 상황이며 나 같은 사람은 이럴 때 어떻게 하는지를 묻는 '적절성의 논리'를 같은 조건에서 나란히 돌려 볼 수 있다.
• 보상 함수를 쓰지 않는다는 점도 핵심이다. 강화학습이나 게임 이론에서는 보상 수치나 보수 행렬의 숫자를 어디선가 정해 넣어야 하는데, 이 접근에서는 문장으로 상황을 기술하기 때문에 그런 왜곡이 줄고 특히 선호 자체가 바뀌는 현상을 더 간결하게 설명할 수 있다는 것이 발표자의 주장이다.
• 제재의 작동 방식이 강화학습과 다르다. 강화학습에서는 보상과 처벌이 그 개체의 행동만 바꾸지만, 여기서는 제재가 '그 역할을 맡은 사람은 어떻게 해야 하는가'에 대한 표상을 갱신한다. 그래서 대통령이 된 적이 없는 사람도 대통령이 어떻게 처신해야 하는지에 대한 의견을 가지고 남을 제재하며, 누군가 그 자리에 앉는 순간 곧바로 규범에 묶인다.
• 규범 정의의 뼈대는 관습과 제재다. 관습은 원본 패턴이 달랐다면 재생산된 패턴도 달랐을 것이고, 재생산되는 이유가 선례의 무게라는 두 조건으로 정의된다. 관습에는 범위가 있어서 연인끼리만 통하는 애칭처럼 좁은 범위도, 사회 전체에 걸친 넓은 범위도 가능하다.
• 명시적 규범과 암묵적 규범의 구분은 여러 현상을 한꺼번에 설명한다. 대화할 때 상대와 얼마나 떨어져 서는지처럼 말로 정확히 옮기기 힘든 규칙은 가중치에 흡수된 암묵적 규범으로 다루고, 이 암묵적 규범이 명시적 규범을 이긴다고 보면 도덕 판단의 이유를 대지 못하면서도 판단은 유지하는 '도덕적 말문 막힘' 실험 결과도 설명된다.

자주 묻는 질문

관련 AI 소식