AI 안전 커리어: 정치학 전공자가 오픈AI 레드팀을 거쳐 구글 딥마인드로 간 길

핵심 메시지

• 비기술 전공자도 AI 안전 분야에 들어갈 수 있으며, 결정적인 능력은 기술적 관점과 사회적 영향 관점을 양방향으로 번역하는 힘이다.
• 레드티밍은 보안 취약점 탐색보다 넓은 개념으로, 서로 다른 분야의 전문가 수백 명이 각자의 전문성으로 모델을 찔러 보는 작업이다.
• 가장 주목받는 회사를 떠나는 선택이 반드시 후퇴는 아니며, 관점의 폭을 넓히기 위한 이동일 수 있다.
• 조직 안에서 통하는 것은 '이건 위험합니다'가 아니라 상대의 목표 언어로 번역한 해결안이다.
• 월드 모델은 이미지·영상 생성 모델과 위험 구조 자체가 다르다.

쉽게 이해하기

인터뷰 주인공은 캐나다에서 정치학을 공부하고 런던정경대에서 사회·공공정책 석사를 마친 뒤, 현재 구글 딥마인드에서 AI 윤리·안전 관리자로 일하고 있다. 석사 진학 직전 세계 각지의 여성 90명과 함께한 연구가 방향을 바꿨다. 남수단이나 농촌 지역이라면 물리적 피해가 클 것이라는 가설로 시작했는데, 실제로 드러난 것은 디지털 공간의 피해였다. 다만 취업 과정은 순탄하지 않아, 석사 과정 동안 700곳에 지원했고 대부분 거절당했다. 첫 직장은 알고리즘 감사를 다루던 예측 AI 스타트업이었고, 여기서 2019년 무렵 네덜란드가 복지 관련 자동 판정 시스템을 도입해 여성과 저소득층, 인종적 소수자를 부정 수급자로 잘못 지목했고 그 결과 아이들이 가정에서 분리되는 일까지 벌어졌다는 사례를 접했다. 기술적으로 어떻게 작동하는지 따져 보고 견제 장치를 두는 단순한 해법이 빠져 있다는 문제의식이 이때 생겼다.

챗GPT 공개 이후 오픈AI가 정책 연구팀의 시간제 자리를 열자 지원했고, 채용 담당자에게 직접 연락해 이력서를 다시 봐 달라고 요청한 끝에 합류했다. 2023년 9월부터는 정규직으로 일하며 GPT-4부터 GPT-4o까지 모든 모델 출시 과정에 참여했다. 당시 오픈AI에서는 26개 분야의 전문가 수백 명으로 구성된 레드티밍 네트워크를 운영했는데, 의사는 의학적 관점에서, 심리학자는 음성 모드가 사용자에게 미칠 영향에서 모델을 시험하는 식이었다. 알려진 위험을 확인하는 것만이 아니라 아무도 예상하지 못한 문제를 찾아내는 것이 목적이었다.

구체적인 사례로는 이미지 모델 시스템 카드에 보고된 우회 기법을 든다. 정치적으로 민감한 이미지를 직접 요청하면 거부되지만, 특정 카메라 렌즈로 찍은 것처럼 표현을 바꾸면 훨씬 사실적인 결과가 나와 안전 필터를 비껴갔다는 것이다. 본인이 가장 걱정한 위험은 허위정보와 조작 정보, 그리고 나라마다 크게 다른 AI 문해력 격차였다. 멀티모달 음성 기능이 열리면서 심리적 영향과 중독 문제도 함께 떠올랐다.

1년 반 만에 오픈AI를 떠난 이유는 복합적이다. 영국에 있으면서 샌프란시스코 시간까지 맞추다 보니 소진됐고, 레드티밍이 커리어 전체를 걸 전문 분야인지 확신이 서지 않았으며 조직 문화도 변하고 있었다. 이후 컨설팅에서 기업이 AI를 실제로 어떻게 배포하는지 배웠고, 블루닷의 AI 거버넌스 강좌에서 조교로 여섯 개 반을 가르치며 다시 방향을 잡았다. 결국 가장 상류에서 영향을 미치고 싶다는 결론으로 랩으로 돌아갔고, 딥마인드에는 오랜 기간에 걸쳐 열다섯 번쯤 지원한 끝에 합류했다.

현재 업무는 모델 출시 전 책임성 검토다. 제미나이 3 출시를 앞두고 프런티어 안전 프레임워크의 일부인 해로운 조작 평가를 담당했고, 외부 평가 기관이 모델 카드의 해당 항목을 긍정적으로 언급하는 것을 보람으로 꼽는다. 월드 모델 쪽 책임성 전략도 맡고 있다. 월드 모델은 실시간으로 상호작용할 수 있는 시뮬레이션 환경을 만드는 기술이라, 출력물의 안전성만 보던 이미지·영상 모델과 달리 실시간 사용자 상호작용과 시뮬레이션 안에서 에이전트를 훈련하는 문제까지 함께 봐야 한다.

주요 인사이트

• '거절은 방향 전환'이라는 태도가 700번의 지원을 견디게 했다. 계획대로 됐다면 지금 자리에 오지 못했을 것이라는 회고가 뒤따른다.
• 비기술 전공자의 기준선은 직접 언어 모델을 짜는 것이 아니다. 개념을 이해해 아무것도 모르는 사람에게 설명할 수 있고, 동시에 매일 그 일을 하는 엔지니어와 대화할 수 있으면 충분하다는 것이다.
• 안전팀이 아닌 사람은 안전에 관심이 없다고 가정하는 순간 협업이 막힌다. 목표 지표가 다를 뿐이므로, 문제만 들고 가지 말고 예상 해법까지 함께 제시하라고 조언한다.
• 위험을 기술적 관점에서 이해했다면 사회적 영향 관점에서 다시 보고, 그 반대도 해 보는 훈련이 실무 감각을 만든다. 시스템 카드를 읽고 모델을 직접 만져 보는 것이 출발점이다.
• 본인에게 하는 조언은 기술 역량 습득을 더 일찍 최우선에 두라는 것, 그리고 다음 단계만 보지 말고 여기까지 온 것을 스스로 인정하라는 것이었다.

자주 묻는 질문

관련 AI 소식