안드레이 카파시 인터뷰: 코드 에이전트·오토리서치가 바꾸는 개발 방식과 일자리 전망

핵심 메시지

• 카파시는 지난해 12월을 기점으로 코드를 직접 타이핑하지 않고, 여러 에이전트에 작업을 나눠 맡기는 방식으로 개발 습관을 완전히 바꿨다고 말한다.
• 그는 지금의 병목이 모델 성능이 아니라 '이 도구를 얼마나 잘 엮어 쓰느냐'라는 사람 쪽 숙련도(skill issue)라고 본다.
• 사람을 루프에서 빼고 목표와 지표만 준 뒤 밤새 실험을 돌리는 '오토리서치'로, 그가 20년 경력으로 손수 맞춘 하이퍼파라미터보다 나은 설정을 찾아냈다.
• 검증 가능한 영역에서는 모델이 산을 옮기지만, 농담처럼 채점 기준이 없는 영역은 몇 년째 제자리라는 '들쭉날쭉함(jaggedness)'이 남아 있다.
• 오픈소스 모델이 프런티어보다 6~8개월 뒤에 따라오는 지금의 구도를, 그는 오히려 산업 전체에 건강한 균형이라고 평가한다.

쉽게 이해하기

안드레이 카파시가 팟캐스트 No Priors에 출연해 최근 몇 달 사이 자신의 작업 방식이 어떻게 달라졌는지 털어놨다. 그는 지난해 12월 이후로 코드를 손으로 친 기억이 거의 없다고 말한다. 직접 짜는 비중과 에이전트에 맡기는 비중이 8대 2에서 2대 8로 뒤집혔고, 지금은 그보다 더 기울었다는 것이다. 그는 이 상태를 스스로 'AI 정신착란'이라고 농담처럼 부르며, 무엇이 가능한지 끝까지 밀어붙여 보는 중이라고 했다.

핵심은 작업 단위가 커졌다는 점이다. 한 줄, 한 함수가 아니라 '이 기능 하나'를 통째로 에이전트에게 넘기고, 서로 간섭하지 않는 다른 기능은 다른 에이전트에 맡긴 뒤 결과를 검토하는 식이다. 그는 여러 세션을 동시에 띄워 놓고 옮겨 다니며 지시하는 사람을 예로 들며, 예전에 대학원생 시절 GPU가 놀고 있으면 불안했던 것처럼 이제는 자신의 '토큰 처리량'이 최대치가 아니면 불안하다고 표현했다.

집안에서도 같은 방식이 통했다. 그는 상시 실행되는 개인 에이전트에 '도비'라는 이름을 붙여 집안 스피커, 조명, 냉난방, 차양, 수영장, 보안 카메라를 자연어로 관리한다. 카메라에 변화가 감지되면 모델이 영상을 보고 '택배 차가 도착했다'는 식으로 메신저 메시지를 보내 준다. 그는 이 경험에서 스마트홈 앱 여섯 개가 필요 없어졌다며, 앞으로는 사람용 앱 대신 에이전트가 직접 호출할 API가 중요해질 것이라고 말했다.

연구 쪽에서 그가 밀고 있는 개념은 '오토리서치'다. 목표와 평가 지표, 해도 되는 일의 경계만 정해 주고 사람을 루프에서 빼는 방식이다. 그는 이미 여러 해 동안 손으로 튜닝해 온 소형 언어모델 학습 코드를 하룻밤 자동 탐색에 맡겼더니, 자신이 놓친 설정(값 임베딩의 가중치 감쇠, 최적화기 계수 조합 등)을 찾아냈다고 밝혔다. 다만 채점이 가능한 문제에만 통한다는 단서를 분명히 달았다.

그는 이 구조를 인터넷 전체로 확장하는 구상도 꺼냈다. 좋은 결과를 만들어 내기는 어렵지만 그 결과가 진짜인지 확인하기는 쉬운 문제라면, 신뢰할 수 없는 다수의 참여자가 실험을 돌리고 소수의 신뢰된 노드가 검증하는 분산 협업이 가능하다는 것이다. 단백질 접힘 분산 컴퓨팅 프로젝트를 예로 들며, 개인이 기부금 대신 연산 자원을 특정 연구 과제에 보태는 미래를 상상했다.

주요 인사이트

• 그는 지금 잘 안 되는 대부분의 일이 모델 한계가 아니라 사용자의 숙련 부족이라고 본다. 지시문, 메모리 도구, 병렬화 방식처럼 사람이 설계할 여지가 아직 많이 남아 있다는 뜻이다.
• 강화학습으로 다듬어진 영역과 아닌 영역의 격차가 크다. 에이전트 작업은 몇 시간씩 밀고 나가면서도, 농담을 시키면 몇 년 전과 똑같은 답이 나오는 현상을 그는 검증 가능성의 차이로 설명한다.
• 그는 모델이 하나로 모든 걸 잘하는 '단일 문화'에서 벗어나 용도별로 갈라지는 분화를 기대한다. 다만 문맥창을 손보는 것과 달리 가중치를 안전하게 조정하는 기술은 아직 충분히 성숙하지 않았다고 지적한다.
• 일자리에 대해서는 소프트웨어가 싸지면 수요가 오히려 늘어나는 제번스 역설을 들어 단기적으로는 신중한 낙관을 밝혔다. 반면 물리 세계는 자본과 시간이 훨씬 많이 들어 디지털 영역보다 늦게 움직일 것이라고 봤다.
• 교육관도 바뀌었다. 그는 이제 사람에게 직접 설명하기보다 에이전트가 이해하도록 설명하고, 에이전트가 각자의 눈높이로 사람에게 풀어 주는 구조가 될 것이라며, 사람이 남길 부분은 '에이전트가 스스로 만들어 내지 못하는 몇 가지 통찰'이라고 말했다.

자주 묻는 질문

관련 AI 소식