제프 딘 YC 강연 정리 — 추론 하드웨어, 컨텍스트 엔지니어링, AI 창업 문제 고르는 법

핵심 메시지

• 창업 주제를 고를 때는 범용 모델이 이미 20% 정도 해내는 문제가 아니라, 0~1%밖에 해내지 못하는 문제를 찾아야 한다. 어중간한 성공률은 곧 범용 모델이 그 능력을 흡수한다는 신호다.
• 다음 하드웨어 경쟁의 초점은 학습이 아니라 추론이다. 에이전트를 더 많은 사람에게 제공하려면 지연시간이 결정적이고, 지연시간과 전력 효율은 범용 연산장치보다 전용 설계에서 크게 벌어진다.
• 연산 한 번보다 데이터를 가속기 메모리에서 연산 유닛으로 옮기는 데 드는 에너지가 약 1000배 크다. 배치 처리 같은 관행이 '모델 문제'가 아니라 이 데이터 이동 비용에서 비롯됐다는 점을 이해해야 한다.
• 에이전트가 열 번 남짓한 도구 호출 뒤 흔들리는 이유는 학습 분포에서 벗어나기 때문이다. 스킬과 가이드라인으로 익숙한 경로에 머무르게 하고, 여러 에이전트가 시도한 결과를 평가해 골라내는 방식이 실질적인 해법이다.
• 코드를 에이전트가 대신 쓰는 시대에 희소해지는 능력은 '무엇을 시킬지 고르는 안목'이다. 딘은 모델이 이 부분을 잘하게 되리라 보지 않는다고 말했다.

쉽게 이해하기

구글 수석과학자 제프 딘이 YC 스타트업스쿨 2026 무대에서 다이애나 후와 나눈 대담이 공개됐다. 맵리듀스와 빅테이블, 텐서플로, TPU를 만든 인물이지만 대담의 무게중심은 과거의 업적이 아니라 지금 무엇을 만들어야 하는가에 놓였다. 딘은 1년 전 자신이 내놨던 'AI가 주니어 엔지니어 수준'이라는 예측이 대체로 맞았다고 평가하면서, 자신이 과소평가한 것은 복잡한 작업을 처리하는 능력이 예상보다 빠르게 올라간 점이라고 덧붙였다.

그가 꼽은 다음 국면은 기계학습 시스템 자체의 자동화다. 아이디어를 잘게 쪼개 수많은 실험을 자동으로 돌리고 결과를 다시 합치는 순환을 빠르게 만들면, 모델 설계뿐 아니라 측정 가능한 목표가 있는 과학·공학 전반에서 진전 속도가 달라진다는 것이다. 딘은 여기서 평가 장치의 속도가 병목이라고 짚었다. 동료들이 양자화학 시뮬레이터의 입력과 출력을 학습시켜 신경망 근사 모델을 만들었더니 정확도는 거의 유지하면서 속도가 30만 배 빨라졌고, 하룻밤이 걸리던 검증이 점심시간 안에 끝나는 일이 됐다는 사례를 들었다.

하드웨어 이야기에서는 TPU의 탄생 배경이 다시 등장했다. 2013년 딥러닝 기반 음성인식이 오류율을 절반으로 줄이자, 딘은 사용자들이 하루 3분씩만 음성을 쓴다고 가정해도 서버 규모를 두 배로 늘려야 한다는 계산을 얻었다. 그 결과 나온 것이 저정밀도 밀집 선형대수만 처리하는 전용 칩이었고, 크롬이나 워드는 못 돌리지만 당시 CPU·GPU 대비 에너지 효율 30~80배, 지연시간 20~30배의 격차를 만들었다. 그는 지금 같은 종류의 기회가 추론 쪽에 남아 있다고 본다.

창업 관점의 조언은 구체적이었다. 구글은 거의 모든 것을 하는 범용 모델을 지향하기 때문에 특정 영역에 충분한 주의를 쏟지 못하고, 바로 그 틈에서 두세 명짜리 팀이 이길 수 있다는 것이다. 다만 그는 판별 기준을 함께 제시했다. 지금 범용 모델을 붙여봤을 때 완전히 실패한다면 좋은 신호이지만, 어설프게 절반쯤 해낸다면 그 능력은 이미 싹이 텄다는 뜻이므로 6개월에서 1년 안에 흡수될 가능성이 크다는 것이다. 접근 가능한 고유 데이터를 가진 제품이나, 알파폴드처럼 좁지만 정확도가 결정적인 영역에 특화된 모델을 유망한 형태로 들었다.

대담 후반은 사람이 남길 몫으로 향했다. 에이전트 수십 대를 다루는 일의 핵심은 결국 명확한 명세를 쓰는 능력이며, 사양이 분명할수록 결과가 좋다는 것이 딘의 설명이다. 그는 파이썬 코드를 Go로 옮기는 작업을 예로 들며, 기존 소프트웨어 전체가 곧 완벽한 명세이기 때문에 오늘날 모델이 이런 번역을 매우 잘한다고 말했다. 안목을 기르는 법으로는 앞으로 12개월 안에 중요해질 것 같은 목록을 적어두고 1년 뒤 되짚어보는 연습, 그리고 당연시되는 전제를 의심하는 사고실험을 권했다.

주요 인사이트

• '모델이 못 하는 일'을 찾으라는 조언은 흔하지만, 딘은 여기에 0~1%와 20%라는 눈금을 붙였다. 성공률 자체가 그 능력이 범용 모델의 사정거리 안에 들어왔는지를 알려주는 조기 신호라는 발상이다.
• 에너지를 단위로 삼아 시스템을 보면 문제의 정체가 달라진다. 곱셈 한 번보다 데이터를 옮기는 비용이 1000배 크기 때문에 배치 크기를 키워 이동 비용을 분산시켜야 하고, 낮은 지연시간이 필요한 추론에서는 이 전략이 잘 통하지 않는다.
• 딘은 컨텍스트 엔지니어링을 학습 데이터와 대비해 설명했다. 학습 데이터가 수많은 매개변수 속에 뒤섞여 흐릿해지는 반면, 컨텍스트에 직접 올린 정보는 모델에게 훨씬 또렷하게 전달된다는 것이다.
• 그와 산자이 게마와트는 마이크로벤치마크를 측정하고 코드를 고치고 다시 재는 자신들의 작업 절차를 그대로 스킬로 적어 모델에 넘겼다고 밝혔다. 사람의 방법론을 모델이 쓸 수 있는 형태로 옮기는 것이 성능 개선의 실체였다는 이야기다.
• 제프 힌턴 등과 쓴 증류(distillation) 논문이 '큰 영향이 없을 것 같다'는 평으로 학회에서 거절당했다는 일화도 나왔다. 딘은 심사위원을 탓하지 않으면서도, 그 기법이 오늘날 제미나이의 플래시 계열 모델을 만드는 데 쓰이고 있다고 말했다.

자주 묻는 질문

관련 AI 소식