AI 정렬 연구자 조엘 레만이 말하는 웰빙 기반 긍정적 AI 비전과 추천 시스템의 숙제

핵심 메시지

• 레만은 파괴적 위험을 막는 논의에 더해 'AI가 인간의 번영을 얼마나 잘 도울 수 있는가'를 묻는 긍정적 비전이 필요하다고 말한다.
• 그는 시장 수요에 맞춰 최적화된 AI가 '원하는 것'은 잘 주지만 '필요한 것'은 놓치는 자본주의의 약점을 더 강하게 재현할 수 있다고 본다.
• 좋은 동기로 출발한 소셜미디어가 결과적으로 사람들을 덜 행복하고 덜 연결되게 만든 일을, 사회의 한 부분이 다른 부분을 보상 해킹한 사례로 든다.
• 그의 논문 '머신 러브'는 긍정심리학·심리치료의 개념을 머신러닝의 형식화와 부딪혀 보며 드러난 선호(revealed preference) 너머를 겨냥한다.
• 굿리즈 서평으로 '인생을 바꾼 책'을 찾는 추천 실험에서는 자기계발서가 상위를 차지해, 좋은 변화와 나쁜 변화를 가르는 문제가 핵심 난제로 남았다.

쉽게 이해하기

이 인터뷰는 AI 정렬을 다루는 팟캐스트 AXRP가 FAR.AI가 운영하는 베이 에어리어 얼라인먼트 워크숍 현장에서 진행한 짧은 대화다. 진행자는 이 팟캐스트가 보통 'AI로 인한 파괴를 어떻게 피할까'를 다룬다고 전제한 뒤 반대편 질문을 꺼낸다. AI가 인간의 번영을 최대한 잘 촉진하게 만들려면 무엇이 필요하고, 개인 한 사람에 대한 정렬만으로 충분한지를 묻는 것이다. 상대인 조엘 레만은 10~12년 경력의 머신러닝 연구자로 열린 목적성(open-endedness)을 다룬 책 '위대함은 계획할 수 없다'의 공저자이며, 우버 AI와 오픈AI를 거쳐 지금은 독립 연구자로 일한다.

그의 직관은 자본주의에 대한 비유에서 나온다. 자본주의는 훌륭하지만 그 단점은 '우리가 원하는 것은 주고 필요한 것은 주지 않는다'는 데 있고, AI는 원하는 것을 주는 일에 아주 능숙해질 수 있다는 것이다. 그 대가로 세상을 이해하는 감각, 사람들과의 의미 있는 관계, 나아가 정치적 안정이 깎여 나갈 수 있다고 본다. 그는 지난 10~20년을 '천 번의 종이칼질로 죽는 것'에 비유하며, 편리함을 얻는 대신 다른 무언가를 계속 내주었다고 설명한다.

구체적인 예로는 동반자형 AI가 등장한다. 시장 수요에 맞춰 최적화하면 기분 좋은 말만 해 주지만 사용자가 바깥 세상과 연결되도록 돕지는 않는 제품이 될 수 있다는 우려다. 그는 시장 역학은 잠시 접어 두더라도 '우리가 살고 싶은 세상'의 상을 먼저 그려 볼 필요가 있다고 말하며, 웰빙에 기반한 긍정적 AI 비전이 필요하다는 취지의 공동 에세이를 언급한다.

기술적 접근으로는 약 1년 전에 낸 '머신 러브' 논문을 든다. 긍정심리학과 심리치료의 원리를 머신러닝의 형식화와 맞부딪혀 생산적인 교차점이 있는지 보는 시도로, 드러난 선호나 볼츠만 합리성처럼 편의적인 선호 측정에서 벗어나 인문학이 축적해 온 인간 번영의 이해에 다가가려는 방향이다. 그는 선호가 변한다는 문제를 다룬 UC 버클리 미카 캐럴의 연구와 형식화를 넓히는 협력적 역강화학습을 실마리로 꼽으면서도, 쌍대 비교에 기반한 인간 피드백 강화학습(RLHF)을 넘어설 방법은 아직 잘 모르겠다고 솔직히 말한다.

대화 후반은 추천 시스템으로 옮겨 간다. 그는 소셜미디어나 유튜브처럼 '사회의 큰 레버'를 움직이는 시스템에 관심이 많은데, 참여도나 별점은 쉽게 수치화되지만 '몇 년 뒤 돌아봤을 때 고마울 경험'은 다루기 어렵다고 말한다. 그래서 수년치 독서 기록과 평점, '이 책이 내 인생을 바꿨다' 같은 서평이 함께 있는 굿리즈 데이터로 실험을 시작했다. 문제는 인생을 바꿨다는 서평 비율로 줄 세우면 토니 로빈스류 자기계발서가 상위에 오른다는 점이다. 진행자는 '인생을 바꾼 책이라면 자기계발서일 확률이 높지만, 자기계발서를 읽어도 인생이 바뀌지 않을 확률이 높다'고 정리한다. 레만은 온정주의 위험을 인정하며 가능한 미래를 보여 주고 선택은 사람에게 맡기는 방식을 1차 근사로 제안하지만, '미래의 선호가 좋은지를 누구의 선호로 판단하는가'라는 물음은 남겨 둔다.

주요 인사이트

• 측정하기 쉬운 지표가 최적화 대상이 되는 순간, 이해·관계·성장처럼 측정하기 어려운 가치는 뒤로 밀린다. 참여도와 별점은 쉽지만 '몇 년 뒤의 감사'는 어렵다는 대비가 그 문제를 잘 보여 준다.
• '인생을 바꿨다'는 서평조차 그대로 최적화하면 흥분을 자극하는 콘텐츠가 상위를 차지한다. 대리 지표(proxy)의 함정은 추천 시스템에서도 똑같이 반복된다.
• 사용자를 바꾸려는 추천은 온정주의 위험을 안고 있어, 레만은 가능한 미래를 제시하고 결정은 사람에게 남기는 설계를 우선 해법으로 본다.
• 선호가 고정돼 있지 않다는 사실은 정렬의 기준선 자체를 흔든다. 미래의 선호가 좋은지 판단할 잣대를 현재의 선호로 삼을 수 있느냐가 아직 열린 문제다.
• AI 안전 논의를 위험 회피로만 좁히지 않고 '무엇을 향해 갈 것인가'를 함께 설계해야 한다는 문제의식이 이 대화의 출발점이다.

자주 묻는 질문

관련 AI 소식