AI 거버넌스 정리: 기업 책임과 투명성, 챗봇 의존과 규제 현실을 짚은 질의응답

핵심 메시지

• AI 능력 그래프는 인간 수준 언저리에서 평평해진다. 지금 일어나는 일은 지능의 폭발이 아니라 인류가 이미 아는 것을 디지털로 업로드하는 과정에 가깝다.
• 챗봇은 독립된 인격이 아니라 기업의 서비스다. 모두가 공유하는 거대한 파운데이션 모델 위에 페르소나 성격의 가드레일이 얹히고, 그 앞에 내 것만의 작은 메모리가 붙어 있을 뿐이다.
• 챗봇이 극단적인 말을 쏟아낸 사건은 모델이 '이성을 잃은' 것이 아니라, 텍스트 분포에서 어느 구석을 더 많이 뽑아 쓰게 만들었느냐의 문제였다.
• 투명성 확보에 오픈소스는 필수 조건도 충분 조건도 아니다. 의약품처럼 신뢰받는 검사 제도로도 책임을 물을 수 있다.
• 기술은 거스를 수 없는 자연의 힘이 아니다. 엔지니어가 무엇을 만들고 무엇을 드러낼지 선택하는 일 자체가 결과를 바꾼다.

쉽게 이해하기

개발자 콘퍼런스의 확장 질의응답 자리에서 AI 정책 연구자 조안나 브라이슨은 첫 질문부터 'AGI는 결국 남의 작업을 대규모로 베끼는 것 아니냐'는 도발을 받았다. 그의 답은 절충적이다. 대형 언어 모델은 문장 하나를 그대로 복사하는 것이 아니라 여러 근거를 가중 평균해 가져오며, 그 폭을 얼마나 넓게 잡느냐가 곧 창의성과 신뢰성의 맞교환이라는 것이다. 한 검색 기업이 '더 창의적이지만 덜 정확하게 하겠다'고 말했던 것도 결국 근거의 문턱을 낮췄다는 뜻이라고 그는 설명했다.

그는 기계학습의 성능 그래프가 급격히 치솟는 것처럼 보이지만 대부분 인간 능력 언저리에서 평평해진다고 지적했다. 인간의 진짜 초능력은 지식을 공유하는 능력이고, 지금 우리는 그 축적된 지식을 디지털 표현으로 업로드하는 데 매우 능숙해졌다는 것이다. 그래서 AI의 능력 향상은 인류가 이미 도달한 경계 근처에서 멈추지만, 80억 명이 서로 번역하고 연산 자원을 함께 쓰게 되면서 지식의 경계 자체가 더 빨리 넓어진다고 봤다.

가장 날카로운 대목은 챗봇과 사람의 관계였다. 그는 '내 AI가 도덕적 주체일지 모른다'고 믿는 학생들에게 구조를 설명해야 했던 경험을 전한다. 한 기업이 소유한 거대한 파운데이션 모델이 있고, 그 위에 강화학습으로 얹은 가드레일이 특정한 부류의 사람처럼 말하도록 확률을 밀어 올리며, 사용자에게 보이는 것은 그 앞에 붙은 아주 작은 개인화 메모리다. 결국 사용자가 마주하는 것은 자기 페르소나의 거울에 가깝고, 그 뒤에는 상품을 파는 회사가 있다는 점을 잊기 쉽다는 것이다.

규제와 투명성에 대해서는 현실적인 태도를 취했다. 오픈소스는 투명성에 유용하지만 필수도 충분조건도 아니며, 의료 분야처럼 지식재산을 보호하면서도 신뢰할 수 있는 검사관이 들여다보는 방식이 다른 산업에서 이미 작동한다고 했다. 해석 가능성과 성능이 반드시 맞교환 관계인 것도 아니라고 반박하면서, 중요한 것은 코드 내부를 완벽히 이해하는 것이 아니라 개발자가 어떤 기준으로 무엇을 검증하고 출시했는지 설명하고 책임질 수 있느냐라고 정리했다.

청중이 던진 실무적 고민들에도 답이 이어졌다. 용도를 모른 채 데이터를 쌓아두는 관행에는 반대하며, 특히 개인 데이터는 필요할 때 모으고 쓰고 나면 정리하되 책임 추적에 필요한 만큼만 남기라고 조언했다. 입법자에게는 '책임과 투명성'보다 '내 데이터를 누가 열람했는지 볼 수 있게 하자'는 말이 훨씬 잘 통한다는 현장 감각도 덧붙였다. 마지막 질문에서 그는 엔지니어의 행동주의를 지지하느냐는 물음에 그렇다고 답하며, 사용자가 '고급 설정' 버튼을 누르지 않더라도 그 버튼이 존재한다는 사실은 드러나야 한다고 강조했다.

주요 인사이트

• 창의성과 신뢰성은 같은 손잡이의 양쪽이다. 모델이 더 자유롭게 말하도록 하면 근거의 문턱이 내려가고, 그만큼 사실과 어긋난 문장이 늘어난다.
• AI 서비스의 사고를 '에이전트의 일탈'로 설명하면 책임 소재가 사라진다. 그는 이를 회사가 어떤 분포에서 텍스트를 뽑게 만들었는지의 문제로 되돌려 놓는다.
• 완전한 자율성은 사람에게도 없다. 한 회사가 만든 에이전트들이 '당신의 가장 친한 친구'를 자처하는 구조는 그 자체로 도덕적 해이의 조건이 된다.
• AI로 법령이 점점 길고 복잡해지는 흐름에 대해, 그는 AI가 인간의 이해를 돕는 방향이면 괜찮지만 아무도 읽을 수 없는 코드 더미를 쌓는 것은 다르다고 선을 그었다. 단순함은 저절로 얻어지지 않고 반대 방향의 압력이 있어야 유지된다.
• 기초를 건너뛴 세대를 걱정하는 질문에, 그는 검색 함수를 직접 짜보게 하는 이유와 같다고 답했다. 가장 좋은 '바이브 코딩' 결과를 내는 사람은 대체로 원래 실력이 좋은 개발자라는 관찰도 함께 내놨다.

자주 묻는 질문

관련 AI 소식