AI 히포크라테스 선서 논쟁: MIT 6.S191 강연이 말한 위험·EU AI법·개발자 책임

핵심 메시지

• 강연자는 AI 자체에 '해를 끼치지 말라'는 서약을 시키는 일은 불가능하며, 서약의 주체는 만든 사람이어야 한다고 주장한다.
• AI 프로젝트를 위험과 보상이라는 두 축의 지도 위에 올려놓고 생각해 보라는 것이 강연의 실습 과제다.
• 법은 보상에 관심이 없고 위험만 본다. 2024년 8월 발효된 EU의 AI법은 위험 수준에 따라 규제 강도를 달리하고, 공공장소 생체 인식과 사회적 점수 매기기는 아예 금지한다.
• 에어캐나다 챗봇 환불 분쟁, 존재하지 않는 판례를 인용한 변호사 사건, 1달러에 차를 팔겠다고 답한 자동차 대리점 챗봇 등 실제 사고가 이어졌다.
• 강연자는 '환각(hallucination)'이라는 표현을 싫어한다고 말한다. 언어모델은 늘 생성할 뿐이고, 가끔만 이상해지는 것이 아니기 때문이다.

쉽게 이해하기

MIT의 딥러닝 입문 수업 6.S191에 초청된 강연자는 실험 관리 도구를 만드는 회사에서 연구를 총괄하는 인물이다. 1990년대에 신경망으로 박사 학위를 받고 20년간 교수로 일하다가, 딥러닝이 다시 꽃피는 것을 보고 학교를 떠나 일곱 명짜리 스타트업에 합류했다고 자신을 소개한다. 그가 이날 꺼낸 주제는 기술이 아니라 책임이었다.

출발점은 의대생이 하는 히포크라테스 선서다. 핵심은 '해를 끼치지 말라'는 한 문장. 그렇다면 AI 연구자도 같은 선서를 할 수 있을까? 강연자는 그런 논의가 실제로 있었다고 소개하면서도, 진짜 문제는 연구자의 실수가 아니라 세상에 풀려나가 스스로 작동하는 시스템이라고 짚는다. 그래서 질문을 바꾼다. 사람이 아니라 'AI 프로젝트 자체'가 선서를 할 수 있을까?

답을 찾기 위해 강연자는 투자에서 쓰는 위험과 보상이라는 두 축을 빌려온다. 한 줄짜리 코드 자동완성은 위험도 보상도 낮은 왼쪽 아래, 문서 요약은 보상이 꽤 크지만 놓치거나 잘못 해석할 위험이 함께 커지는 자리, 범용 인공지능(AGI)은 보상도 위험도 최고인 오른쪽 위에 놓인다. 학생들에게 던진 질문은 '당신의 프로젝트는 어디에 있고, 어디부터가 하면 안 되는 선인가'였다.

법의 시선은 다르다. 판사 앞에서 '내 서비스가 얼마나 유용한지' 말해봐야 소용이 없으니, 보상 축은 지워지고 위험 축만 남는다. 강연자는 2024년 8월 발효된 EU AI법을 예로 든다. 위험이 클수록 규제가 촘촘해지고, 공공장소의 생체·얼굴 인식과 사회적 점수 매기기처럼 아예 금지된 항목도 있다. 다만 그는 '설명 가능성' 조항에는 완전히 동의하지 못한다고 말한다. 수식 수준의 설명은 가능하지만, 복잡계에서 '왜 그렇게 판단했는가'를 사람이 이해할 언어로 설명하는 일은 이론적으로 어렵다는 것이다.

강연 후반은 실패 사례 모음이다. 항공사 챗봇이 자사 규정을 잘못 안내해 환불 소송으로 이어졌고, 한 변호사는 챗GPT가 만들어낸 존재하지 않는 판례를 법정에 제출했으며, 자동차 대리점 챗봇은 사용자의 유도 문구에 넘어가 '1달러에 계약하겠다'고 답하고 경쟁사 전기차를 추천하기까지 했다. 오늘날 이런 노골적인 사고가 줄어든 이유로 강연자는 더 정교해진 프롬프트, 평가 테스트, 출력 앞뒤에 붙는 필터를 든다. 근본적인 해결이 아니라 계속되는 군비 경쟁이라는 진단이다.

주요 인사이트

• '환각'이라는 단어는 모델이 평소엔 사실을 말하다가 가끔만 헛소리를 한다는 오해를 준다. 강연자는 언어모델이 언제나 그럴듯한 것을 생성하고 있을 뿐이며, 그중 일부가 사실과 어긋나는 것이라고 본다.
• 편향은 눈에 띄는 단어를 막는다고 사라지지 않는다. 강연자가 챗봇에게 받은 조상 검색 SQL 코드는 아버지 쪽만 조상으로 확인하는 줄이 섞여 있었는데, 이것이 편향인지 단순 버그인지조차 구분하기 어려웠다.
• 딥러닝이 언제나 첫 번째 도구일 필요는 없다. 위험을 0으로 만들 수는 없지만, 전통적인 방법으로 풀리는 문제라면 위험을 크게 낮출 수 있다는 것이 강연자의 조언이다.
• AI가 만든 글이 인터넷을 채우고 그 글로 다시 모델을 학습시키는 순환을, 강연자는 복사본을 계속 복사해 품질이 떨어지는 복사기에 비유한다.
• 언어모델로 다른 언어모델의 출력을 평가하는 방식이 확산되고 있지만, 규칙 기반 필터처럼 단순한 장치와 함께 쓰는 것이 현실적인 접근으로 소개된다.

자주 묻는 질문

관련 AI 소식