IASEAI 2026: 정렬 기법 심층 방어와 LoRA 프라이버시, ChatGPT 메모리가 만드는 알고리즘적 자화상

핵심 메시지

• 정렬 기법을 여러 겹 쌓는 '심층 방어'는 기법들이 서로 다른 조건에서 실패할 때만 효과가 있다. 분석 결과 혼자서 모든 실패 유형을 막는 기법은 하나도 없었다.
• RLHF는 사람이 충분히 정확한 피드백을 줄 수 있다는 가정 위에 서 있어, 초인간 수준 시스템에서는 그 가정 자체가 실패 조건이 된다는 지적이 나왔다.
• 파인튜닝 실험에서 LoRA는 프라이버시·성능·효율 세 지표 모두에서 좋은 결과를 냈고, 프라이버시 전용 기법인 DP-SGD는 계산 비용과 성능을 크게 희생했다.
• ChatGPT의 메모리 기능은 서로 다른 대화에서 흘러나온 조각들을 이어 붙여 사용자의 '알고리즘적 자화상'을 만들며, 무엇을 저장할지의 주도권이 사용자보다 시스템 쪽에 있었다.
• 정신건강 챗봇의 위험은 임상·상황·언어라는 세 층이 겹치며 사실상 무한한 경로로 번지므로, 다중 턴 시뮬레이션 기반 레드팀이 필요하다는 제안이 나왔다.

쉽게 이해하기

IASEAI 2026의 이 분과 세션은 '인간과 AI의 상호작용에서 위험을 어떻게 찾아내고 측정할 것인가'를 주제로 여섯 명의 연구자가 발표했다. 정렬 기법의 실패 조건 분석, 파인튜닝과 프라이버시, 대화형 AI의 개인화와 기억, 스티어링 벡터의 부작용, 정신건강 챗봇 평가, 자율주행 코너 케이스 생성까지 폭이 넓었다.

본 대학교 소속 플로리안 마이는 정렬 기법을 겹쳐 쌓는 '심층 방어'가 언제 통하는지를 따졌다. 여러 기법이 똑같은 조건에서 무너진다면 몇 겹을 쌓아도 결국 뚫린다는 것이다. 그는 일곱 가지 정렬 기법과 일곱 가지 실패 조건을 교차 분석해 세 무리로 나눴다. 지금 최전선 시스템 대부분이 쓰는 값싸고 손쉬운 기법들은 실패 조건이 많았고, AI 토론과 표현 공학은 서로를 보완하며 상당 부분을 덮었으며, 요슈아 벤지오가 제안한 '과학자 AI'처럼 현재 학습 방식과 크게 다른 방법은 이론상 넓은 범위를 막지만 도입 비용이 매우 높다고 정리했다.

막스플랑크 연구소의 쇼미 다스는 대규모 언어모델을 특정 분야에 맞추는 파인튜닝 단계에서 민감정보가 모델에 암기되는 문제를 다뤘다. 전체 파인튜닝, 프라이버시 전용 기법인 DP-SGD, 어댑터만 학습하는 LoRA를 프라이버시·성능·효율 세 축으로 비교했더니 LoRA가 셋 다 좋았다. 원본 모델을 건드리지 않고 소수의 파라미터만 갱신하기 때문에 일종의 암묵적 정규화가 생겨, 학습 자료에서 드물게 등장하는 민감정보가 잘 외워지지 않는다는 설명이다.

같은 연구소의 아비셰크 다시는 ChatGPT의 메모리 기능을 분석했다. 그는 '휴가지로는 산보다 해변이 좋다'고만 말했는데 모델이 '워라밸을 중시하는 성향과 잘 맞는다'고 답하는 걸 보고 저장된 메모리 목록을 열어봤고, 전혀 다른 대화에서 추론돼 저장된 항목을 발견했다. 연구팀은 실제 사용 기록을 분석해 메모리 갱신의 주도권이 시스템 쪽에 크게 기울어 있다는 점, 성격 특성처럼 오래 남는 심리 정보와 법적으로 민감한 정보가 포함돼 자사 정책과 어긋나는 사례가 있다는 점을 지적했다. 다만 저장된 내용 자체는 대체로 사용자 발화에 충실했다. 문제는 부정확성이 아니라 정확한 조각들이 알고리즘적으로 쌓여 초상이 된다는 데 있다는 것이다.

이어 UC 버클리의 네이선 헨리는 신경망 내부 표현에 특정 개념 벡터를 더해 행동을 조종하는 스티어링 기법이 인접한 개념까지 함께 흔드는 '얽힘' 현상을 보고했다. 후반부에서는 정신건강 챗봇 평가와 자율주행 코너 케이스 생성 연구가 이어졌고, 마지막에는 OpenAI가 GPT-4o를 물리면서 벌어진 복귀 요구 캠페인을 두고 사람들이 챗봇에 정서적으로 얽매이는 현상을 어떻게 다룰지에 대한 논의로 마무리됐다.

주요 인사이트

• 안전 기법은 몇 개를 쌓았느냐보다 실패 조건이 서로 겹치지 않느냐가 중요하다. 겹쳐 쌓기가 안전을 보장한다는 직관은 조건부로만 성립한다.
• 효율을 노리고 만든 LoRA가 프라이버시를 덤으로 개선했다는 결과는, 안전 속성이 반드시 안전 전용 기법에서만 나오지는 않는다는 점을 보여 준다.
• 개인화의 위험은 기억이 틀려서가 아니라 정확한 기억이 축적되고 다른 에이전트로 전달될 수 있다는 데서 온다. 발표자들은 사용자가 한 서비스에 준 동의가 다른 시스템까지 덮지 않는다는 점을 문제로 짚었다.
• 사고 사슬을 안전하게 조종하면 그 사슬이 모델의 실제 계산을 충실히 반영하지 않게 될 수 있다. 감시 가능성과 정렬 개입 사이에 긴장이 있다는 지적이다.
• 규제 문안이 'AI는 결코 해로운 말을 해서는 안 된다' 수준에 머물면 구현 전략이 없어 실효를 갖기 어렵다는 현장 경험도 공유됐다.

자주 묻는 질문

관련 AI 소식