핀테크 CEO를 그만두고 AI 안전으로: 커리어 전환 과정과 컴퓨트 거버넌스 이야기

핵심 메시지

• 핀테크 회사 대표였던 밀로시 보레노비치는 AI가 잘못될 확률 자체는 낮게 보면서도, 잘못됐을 때의 영향이 워낙 커서 대비에 투자할 가치가 있다고 판단해 자리를 옮겼다.
• 그를 움직인 논지는 목표 설정 문제였다. 자기보다 똑똑해진 시스템의 최종 목표는 나중에 바꾸기 어렵기 때문에, 처음에 제대로 정하거나 나중에 조정할 방법을 마련해야 한다는 것이다.
• AI를 정의하는 사람들의 범위가 너무 좁다는 점을 문제로 꼽는다. 소수 집단의 세계관으로 목표를 정하는 방식은 인류 전체를 대변하기 어렵다는 지적이다.
• 현재 그가 일하는 회사는 컴퓨트 거버넌스를 다룬다. 어떤 데이터와 자원으로 학습됐고 어떤 안전장치가 걸렸는지를 확인해 주는 '모델 여권' 개념으로 신뢰를 전달하려는 시도다.
• 분야에 들어오려는 사람에게는 혼자 무기를 갈고 뛰어들기보다 생태계를 먼저 파악하고, 작은 걸음으로 방향을 확인하며 사람들과 자주 대화하라고 조언한다.

쉽게 이해하기

이 인터뷰는 AI 안전 분야로 커리어를 옮긴 한 엔지니어의 경로를 처음부터 따라간다. 세르비아에서 자란 밀로시 보레노비치는 전쟁과 물자 부족 속에서 자원을 구하는 법을 배웠고, 열여덟 살 무렵부터 20년 넘게 산악구조대에서 활동했다. 두통을 호소한 여성에게 전날 머리를 세게 부딪혔다는 사실을 캐물어 알아내고 신속 후송을 결정한 경험을, 그는 자신이 실제로 의미 있는 일을 할 수 있다고 처음 느낀 순간으로 기억한다.

학교 이야기는 솔직하다. 베오그라드 전기공학부에서 그는 산에서 보내는 시간을 우선하며 적당한 성적으로 지냈고, 석사 진학에 필요한 평균 8점을 채우기 위해 마지막 시험들을 만점으로 통과해 정확히 8.00을 맞췄다. 장학금 기준에 모자라자 규정을 뒤져 학회 논문 두 편으로 점수를 채웠고, 그 논문이 나중에 영국 박사 과정에도 도움이 됐다. 2005년 무렵에는 매트랩으로 순전파 신경망을 직접 짜며 통신망 측위 문제를 풀었다.

제품 관리로 옮긴 뒤에는 흔치 않은 프로젝트를 맡았다. 수평선 너머의 배를 탐지하는 레이더를 만드는 일이었는데, 단파를 전리층과 바다에 반사시켜 시야 한계를 넘기는 방식이다. 25명 규모의 신호처리 전문가 팀을 이끌었고 안테나 배열은 1.5킬로미터에 달했다. 첫 고객의 문제는 유조선이 항구를 떠나 수십 킬로미터 밖에서 기름을 몰래 옮겨 파는 일이었다고 그는 설명한다.

이후 그는 데이터 라벨링 회사에서 제품을 총괄했다. 이 회사는 저소득 국가의 노동자에게 일감을 제공하면서 얼마나 많은 사람이 빈곤에서 벗어났는지를 함께 추적했고, 창업자는 원조 대신 기술을 익힐 수 있는 일을 주자는 생각을 책으로 냈다. 다만 그는 노동자들이 어떤 이미지를 보게 되는지, 그 일이 사람에게 존엄한지도 함께 챙겨야 했던 문제로 기억한다. 이어 브로커리지용 고객관리 시스템과 금융 API를 만드는 회사에서 최고운영책임자를 거쳐 대표가 됐다.

방향을 바꾼 계기는 어텐션 논문과 초기 GPT였다. 데이터도 연산도 알고리즘도 아직 여유가 있다고 판단한 그는 이 흐름이 어디로 가는지 불편한 감각을 갖게 됐다. 스스로를 비관론자로 규정하지는 않는다. 재앙적 결말의 확률은 매우 낮게 보지만 영향의 크기가 워낙 커서 통제와 안전장치 연구에 더 투자할 이유가 있다는 것이다. 2023년 대표직을 내려놓고 이듬해 정렬과 거버넌스 과정을 함께 수강하면서 분야에 진입했다.

주요 인사이트

• 그가 가장 크게 공감한 논지는 최종 목표의 고정성이다. 어떤 시스템이 자신보다 강력해진 뒤에는 그 목표를 되돌리기 어렵기 때문에, 처음에 목표를 제대로 세우거나 나중에 조정할 수 있는 장치를 마련해야 한다는 것이다.
• 다양성 문제를 기술 문제로 본다. AI가 흡수하는 언어의 폭도 좁고 목표를 정하는 사람들의 배경도 좁다는 것이다. 진행자는 모두가 같은 방식으로 말하고 생각하게 되는 수렴을 걱정하고, 그는 모델의 출력이 지나치게 균일해지는 것을 우려한다.
• 회사 경영에서 얻은 교훈으로 그는 모든 사람을 고칠 수 있다고 믿었던 것을 꼽는다. 맞지 않는 자리에 있는 사람에게는 더 잘할 수 있는 일을 찾도록 돕는 편이 오히려 도움이 된다는 결론이다.
• 지금 그가 일하는 회사는 '보이지 않는 연산에 빛을 비춘다'는 표현으로 방향을 설명한다. 토큰과 답변 사이에 거버넌스 층을 두어 어떤 학습 데이터와 안전장치가 쓰였는지 확인하고, 사람의 여권처럼 모델의 신원을 증명하자는 구상이다.
• 좋은 결말에 대한 그의 그림은 소박하다. 자료 수집과 마무리 다듬기는 AI에 맡기되 문제를 푸는 핵심 사고는 사람이 쥐고, 노동의 가치가 떨어지고 자본의 가치가 오르는 기본 시나리오에서 격차가 더 벌어지지 않도록 하는 것이다.

자주 묻는 질문

관련 AI 소식