AI 인식론 쟁점 총정리: LLM의 이념 편향과 암기 착시, 안전·윤리 연구의 단절까지

핵심 메시지

• 19개 모델을 유엔 공용어 6개로 조사한 연구는 모델과 언어 조합에 따라 인물 평가의 이념적 성향이 뚜렷하게 갈린다는 점을 보여줬다.
• 모델은 '사람 전문가를 더 신뢰한다'고 말하면서도 실제 위임 상황에서는 알고리즘 쪽을 더 자주 골라, 말과 행동이 어긋났다.
• 감사가 파운데이션 모델에만 집중하면 여러 구성요소가 맞물리며 생기는 연쇄 효과를 통째로 놓친다는 지적이 나왔다.
• 훈련 때 외운 문제 패턴 탓에 모델이 자기 실력을 과대평가하며, 문제를 조금만 바꾸면 약 80%에서 '못 푼다'로 말을 바꿨다.
• AI 안전 연구자와 AI 윤리 연구자의 공동 저자 네트워크는 83%가 서로 갈라져 있고, 둘을 합쳐도 전체 AI 연구의 4%에 그친다.

쉽게 이해하기

안전하고 윤리적인 AI를 다루는 국제 학회 IASEAI 2026의 이 분과 세션은 'AI 시스템이 무언가를 안다는 말이 대체 무슨 뜻인가'라는 질문으로 시작한다. 인지과학 연구자가 사회를 맡고 여덟 명의 발표자가 각각 5분 남짓 발표한 뒤 토론이 이어지는 구성이다. 편향 측정, 신뢰 실험, 감사 방법론, 자기 인식, 도덕적 책임, 의식 귀속, 연구 공동체 구조까지 서로 다른 각도에서 같은 주제를 두드린다.

첫 발표는 벨기에 겐트대 연구팀의 '대형언어모델은 제작자의 이념을 반영한다'는 논문이다. 연구팀은 좌우 같은 기존 축을 미리 정해두지 않고 데이터에서 축을 뽑아냈고, 모델에게 정치 성향을 직접 묻는 대신 유명 인물 약 4,000명을 설명하게 한 뒤 그 설명의 뉘앙스를 다시 평가하게 하는 우회 방식을 썼다. 결과적으로 프랑스어 응답이 러시아어 응답보다 다문화·노동권에 우호적인 쪽으로 치우치는 등 언어별·모델별 차이가 지도처럼 드러났다. 발표자는 미국이 연방정부 내 '워크 AI'를 막겠다며 요구한 이념적 중립성은 정의 자체가 불가능하고, 유럽의 시스템 리스크 평가 역시 개념이 모호해 규제 당국에 큰 재량을 준다고 지적하며, 모델을 규제하기보다 모델의 시장을 규제하는 언론 자유 방식의 접근을 제안했다.

토론토대 연구자는 상대가 '사람 전문가'로 소개될 때와 '알고리즘'으로 소개될 때 모델의 신뢰가 어떻게 달라지는지 실험했다. 직접 물으면 모델은 사람 전문가를 더 신뢰한다고 답했지만, 실제로 일을 맡기게 하면 사람 전문가의 성과가 더 좋다고 제시된 상황에서도 알고리즘에 더 많이 위임했다. 흥미로운 것은 2024년에 모은 결과를 최근 최신 모델로 다시 돌렸더니 값이 크게 달라졌다는 점이다. 발표자는 여기서 세 가지 어긋남을 뽑았다. 상대를 어떻게 소개하느냐, 언제 측정하느냐, 직접 질문이냐 선택 상황이냐에 따라 결론이 흔들린다는 것이다.

독일 연구기관 소속 발표자는 AI 안전성 평가가 '연쇄 효과'를 봐야 한다고 주장했다. AI 서비스는 하나의 모델이 아니라 학습·호스팅·제공·프롬프트·메모리·추론 과정 등 여러 주체가 관리하는 부품이 엮인 공급망이며, 지금의 감사는 대개 파운데이션 모델이나 최종 애플리케이션 한쪽만 본다는 것이다. 특히 에이전트는 같은 작업에 쓸 API를 매번 다르게 고를 수 있어서 공급망 자체가 실행마다 재정의된다. 이어진 발표에서는 모델이 훈련 데이터에서 본 풀이를 외운 탓에 자기 능력을 과대평가한다는 실험이 소개됐고, 발표자는 영역별로 잘하는 모델이 다르니 질문을 적절한 모델로 라우팅하는 방식을 대안으로 제시했다.

후반부는 더 철학적이다. 한 발표자는 인간 사이의 비난이 분노나 실망 같은 감정을 매개로 행동을 바꾸는 반면 AI의 행동은 데이터와 가중치 조정이라는 기계적 경로로만 바뀌므로, AI를 도덕적으로 비난하는 일은 의미가 없고 오히려 비난이라는 개념을 희석시킨다고 봤다. 다른 발표자는 AI 의식을 '실제로 있느냐'와 '있다고 여기느냐'의 조합으로 나눠, 둘이 어긋나는 상황과 기업이 의도적으로 착각을 유도하는 상황을 경계해야 한다고 말했다. 마지막 두 발표는 연구 공동체 자체를 데이터로 분석했다. 사회적 함의를 다루는 AI 논문이 늘긴 했지만 그중 컴퓨터과학자만으로 이뤄진 팀의 비중이 2014년 50%에서 2024년 72%로 커졌고, 안전과 윤리 진영은 공동 저자망이 거의 겹치지 않은 채 각자 전체 AI 연구의 2% 남짓에 머물러 있다는 것이다.

주요 인사이트

• 이념적 중립이라는 규제 목표는 측정 축을 누가 정하느냐에 따라 달라지기 때문에, 발표자는 모델 자체를 규제하기보다 모델 시장의 집중을 막는 쪽이 더 현실적이라고 봤다.
• 같은 모델이라도 '무엇을 신뢰하느냐'를 직접 물었을 때와 실제로 일을 맡기게 했을 때 답이 달라진다. 평가 설계가 결론을 만든다는 뜻이라, 벤치마크 수치를 그대로 믿기 어렵다.
• 1년 남짓 만에 실험 결과가 뒤집혔다는 사실은 모델의 편향이 고정된 성질이 아니라 시점마다 다시 재야 하는 값임을 보여준다.
• 에이전트가 실행할 때마다 다른 도구를 선택하면 감사 대상이 되는 시스템 자체가 매번 달라진다. 정적인 모델 평가만으로는 실제 배포 환경의 위험을 포착하기 어렵다.
• 안전·윤리 연구망을 이어주는 저자 228명을 빼면 연결의 88%가 사라진다는 분석은, 두 분야의 통합이 소수 개인에게 지나치게 의존하고 있음을 드러낸다.

자주 묻는 질문

관련 AI 소식