AI 안전 연구자가 되는 길 — 해커톤에서 논문까지, 벤치마크 오염을 밝힌 연구자의 이야기

핵심 메시지

• 첫 직장에서 반년을 보낸 뒤 '내가 무엇을 중요하게 여기는가'를 돌아본 것이 진로를 바꾼 출발점이었다. 그 결과 기후변화와 AI 안전이 후보로 남았고, 최적화와 모델링이라는 자기 전문성에 맞는 쪽을 택했다.
• 분야가 아직 형성 중일 때 들어가면 그 분야의 기본 틀을 만드는 데 관여할 수 있어 영향력이 크다고 판단한 것이 2023년 초의 선택이었다.
• 연구팀의 논문은 벤치마크 문제와 정답이 학습 데이터에 섞여 들어가는 오염이 실제 성능 수치를 얼마나 부풀리는지를 측정했고, 그 영향이 무시할 수준이 아님을 확인했다.
• 논문은 한 번 거절당한 뒤 리뷰 의견을 반영해 다른 학회에 다시 냈다. 연구는 끝나는 것이 아니라 계속 나아지는 과정이라는 것이 본인의 정리다.
• AI 안전 분야는 경쟁이 치열하고 특정 도시에 기회가 몰려 있어, 기회가 굴러 들어오길 기다리기보다 스스로 만들어야 한다는 것이 그의 조언이다.

쉽게 이해하기

인터뷰 주인공은 미국 콜로라도 볼더에서 자라 대학도 그곳 한 곳만 지원해 진학했다. 기계공학 학부를 마치고 같은 학과에서 계산 모델링으로 석사를 받았는데, 초점은 최적화였고 컴퓨터과학을 부전공했다. 첫 직장은 의료 정보 시스템 분야였다. 사회에 도움이 되는 일이라는 점은 마음에 들었지만, 자기 기술을 더 쓸 수 있고 더 많은 일을 할 수 있겠다는 생각이 반년쯤 지나 들기 시작했다.

그때 그가 한 일은 이직 공고를 뒤지는 것이 아니라 회고였다. 무엇을 하고 싶고 무엇이 중요한지를 정리하자 세상 전체에 도움이 되는 일이라는 기준이 남았고, 자신의 전문성과 맞물리는 영역으로 기후변화와 AI 안전이 추려졌다. 2023년 초, 그는 AI가 막 도약하고 있지만 아직 초기라고 보았다. 지금 들어가면 만들어지는 분야의 규범을 정하는 데 참여할 수 있고 그 영향은 오래갈 것이라는 계산이었다.

계기는 우연에 가까웠다. 2023년 11월 온라인 행사에서 한 연구 조직 공동창업자의 발표를 들었는데, 발표 제목이 마침 그가 준비하던 프로젝트 이름과 사실상 같았다. 다음 주에 해커톤이 열린다는 안내를 듣고 참가했고, 네 명이 만든 결과물이 펠로우십 초청으로 이어졌다. 둘이 남아 해커톤 아이디어를 정식 연구 제안으로 다듬었고, 몇 달 뒤 학회에 투고했다. 해커톤 결과물과 학회 논문 사이에는 끌어내야 할 세부가 많더라는 것이 그의 회고다.

논문의 질문은 이랬다. 벤치마크의 문제와 정답이 대형 언어 모델의 학습 데이터에 흘러 들어간다는 사실 자체는 이미 많은 연구가 밝혔지만, 그 오염이 실제 점수에 얼마나 영향을 주는지는 분명하지 않았다. 전체 학습 데이터에서 차지하는 비중이 작으니 별 영향이 없을 것이라는 반론도 가능했다. 원래대로라면 아무도 보지 못하게 떼어둔 검증용 데이터와 비교해야 하는데, 기존 벤치마크에는 그런 데이터가 사실상 존재하지 않는다. 만들어 두는 것이 기술적으로는 가능해도 제작자에게 번거롭고 비용이 크기 때문이다. 연구팀은 이 빈자리를 사후에 메우는 방식으로 비교했고, 오염의 영향이 유의미하다는 결론을 얻었다.

이 경험은 조직의 프로그램 개편으로도 이어졌다. 해커톤에서 나온 결과물은 좋은 연구이긴 해도 공유하기에 적합한 상태는 아니다. 그래서 먼저 2주 정도를 들여 불확실성 분석을 붙이거나 모델을 추가로 돌려 다듬고, 이야기를 전달하는 그림을 만들어 블로그 글로 발행하게 했다. 여기서 멈춰도 되고, 여력이 있으면 이후 6주 동안 정식 연구 제안서를 쓰고 연구비에 지원한다. 발행된 글은 그 자체로 공유의 수단이면서, 다른 곳에 지원할 때 '내가 한 일'로 가리킬 수 있는 구체적 증거가 된다.

주요 인사이트

• 연구를 하는 이유가 다른 사람이 그 연구를 쓰게 하는 데 있다면, 접근 가능하게 만드는 일에 시간을 쓰지 않는 연구는 목적을 절반만 달성한 셈이다. 여러 플랫폼에 공유하고, 쉬운 언어로 쓰고, 그림이 데이터를 늘어놓는 대신 이야기를 전달하게 만드는 일이 여기에 포함된다.
• AI 안전 취업 현실에 대한 진단이 냉정하다. 베이 에어리어나 워싱턴에 있지 않고 옮길 생각도 없다면 어렵고, 그곳에 있어도 지속 가능한 자리를 잡기는 쉽지 않다. 결국 자기 기회를 만드는 수밖에 없다는 결론이었다.
• 그가 참여한 조직의 특징으로 꼽은 것은 '무엇을 연구하라'고 지시하지 않는다는 점이다. 연구를 밀고 나가는 것도, 연구 방법과 머신러닝 분야를 이해해 가는 것도 본인 몫이고, 조직은 그 기회를 스스로 만들도록 돕는 역할을 한다는 설명이다.
• 최근 논문 이야기 중 하나로 양자화를 언급했다. 큰 모델을 작게 줄이는 여지가 한계에 다다르고 있다는 결과인데, 사실이라면 사전학습에 연산을 더 붓는 확장 방식이 훨씬 어렵고 비싸진다는 뜻이다. 본인은 오히려 그 전망을 반겼다.
• 그는 연구 외에도 팟캐스트 두 편을 진행하고 미디어 활동을 하며, AI 거버넌스와 민주적 절차를 다루는 연구에도 참여하고 있다. 이 활동들 역시 남이 주지 않는 기회를 스스로 만든 결과라는 맥락에서 언급됐다.

자주 묻는 질문

관련 AI 소식