젠슨 황 서울대 강연 정리: LLM과 하네스, 에이전트 스킬, 로봇공학과 한국의 조건

핵심 메시지

• 그는 자기 세대의 공식이 코드에 운영체제를 더한 것이었다면, 지금 세대의 공식은 대규모 언어 모델에 하네스를 더한 것이라고 정리했다.
• 운영체제가 하던 메모리 관리와 입출력, 스케줄링이 KV 캐시와 오케스트레이션 같은 새 이름으로 되살아났다는 설명이다.
• 에이전트는 스킬 파일에서 배우고 성공한 방법을 다시 기록하기 때문에 쓸수록 똑똑해지며, 그 에이전트가 몸을 얻으면 로봇이 된다.
• 한국은 클라우드와 모바일, 기계공학과 제조, AI를 동시에 잘하는 드문 나라라 로봇 산업의 조건을 갖췄다고 평가했다.
• 아무도 요청하지 않은 컴퓨터를 만들어 온 경험을 근거로, 시장이 없더라도 원리에서부터 미래를 따져 만들어 보라고 학생들에게 권했다.

쉽게 이해하기

서울대학교 AI연구원이 공개한 이 영상은 엔비디아 젠슨 황 CEO가 서울대 캠퍼스를 찾아 학생들 앞에서 진행한 강연을 담고 있다. 그는 청중에게 전공을 물으며 시작해, 여러분은 AI를 배우고 쓰고 다루는 법을 넘어 AI를 원하는 모습으로 빚어내게 될 것이라고 말한다. 그날 행사의 주제가 학생들이 직접 자신의 에이전트를 만들어 보는 것이었던 만큼, 강연의 중심도 지금의 AI가 어떤 구조로 작동하는지에 놓인다.

그가 반복해서 강조한 것은 하나의 공식이다. 자신의 시대에는 사람이 직접 타이핑한 코드에 운영체제를 더해야 컴퓨터가 쓸모를 얻었다면, 지금은 스스로 학습한 코드에 해당하는 대규모 언어 모델에 하네스를 더해야 AI가 된다는 것이다. 그는 모델만으로는 부족하다고 말한다. 메모리 관리와 입출력, 스케줄링이 있어야 하는데, 그 오래된 개념들이 KV 캐시나 오케스트레이션 같은 새 이름을 달고 되돌아왔다는 설명이다. 개념은 옛것이고 이름만 새것이라는 표현이 여러 번 나온다.

에이전트에 대한 묘사는 구체적이다. 에이전트는 맥락을 이해하고 스킬 파일에서 필요한 방법을 배우며, 장기 기억과 작업 기억을 갖고 다른 에이전트에게 도움을 청해 팀을 꾸린다. 추론하고 계획하고 도구를 쓰면서 될 때까지 시도하고, 성공하면 그 방법을 다시 기록해 둔다. 그래서 쓸수록 똑똑해진다는 것이다. 이 디지털 에이전트를 물리적인 몸 안에 넣으면 로봇이 된다는 것이 그가 이어 붙인 결론이다. 로봇은 모터와 센서를 어떻게 다루는지 매뉴얼과 스킬 파일을 읽어 스스로 익힌다.

개인의 경험담도 길게 이어진다. 그는 AI 혁명이 아무도 만들어 달라고 하지 않은 컴퓨터를 만들면서 시작됐다고 말한다. 고객도 시장도 없던 시절에 만든 세계 최초의 로보틱스 프로세서 이야기, 만들고 나서도 한동안 아무도 원하지 않아 결국 다시 만들기로 했다는 이야기가 나온다. 2016년에는 자신이 만든 첫 딥러닝 전용 시스템을 당시 작은 회사였던 오픈AI에 건넸고 그 회사가 그것으로 모델을 학습시켰다는 일화도 덧붙인다. 그가 학생들에게 전한 조언은 고집이 아니라 원리에서부터 미래를 따져 본 뒤 직접 만들어 보라는 것이었다.

새 제품 계획도 공개됐다. 그는 개인용 AI 컴퓨터로 만든 DGX 스파크를 소개하며, 개인의 에이전트가 살 곳이 필요하다는 이유로 이 제품을 설명한다. 여기 들어간 프로세서는 3년이 걸린 설계이며, 마이크로소프트와 함께 준비한 새 윈도우와 결합해 올가을 RTX 스파크라는 이름으로 나온다고 밝혔다. 그는 이 제품이 네이티브 CUDA를 갖춘 첫 윈도우 노트북이자 에이전트 시스템을 염두에 두고 설계된 운영체제를 얹은 기기가 될 것이라고 말했다.

한국을 향한 평가도 분명했다. 그는 클라우드와 모바일, 기계공학과 제조, 그리고 AI를 동시에 잘하는 나라는 세계적으로 드물다며, 이 네 가지를 모두 갖추지 못하면 미래의 로봇을 만들 수 없다고 말했다. 데이터센터가 클라우드의 공장이라면 로봇에게는 AI 팩토리가 그 역할을 한다는 비유도 덧붙였다. 지난 40년이 소프트웨어 엔지니어의 시간이었다면 지금은 다시 기계공학자의 시간이라는 말과 함께, 정교한 손과 가볍고 튼튼한 신체를 만들 새로운 소재 연구가 절실하다는 요청도 학생들에게 남겼다.

주요 인사이트

• 모델 자체보다 모델을 둘러싼 실행 환경이 승부처라는 관점이다. 하네스가 없으면 언어 모델은 쓸모를 얻지 못한다는 비유는 지금의 에이전트 개발 흐름과 정확히 겹친다.
• 컴퓨팅의 오래된 개념이 이름만 바꿔 돌아왔다는 지적은, 새 용어에 압도되기보다 그 밑에 있는 익숙한 문제를 보라는 실용적인 조언으로 읽힌다.
• 성공한 방법을 스킬로 기록해 다음에 더 잘하게 만든다는 구조는, 에이전트의 성능이 모델 교체가 아니라 축적된 기록에서도 올 수 있음을 보여 준다.
• 로봇을 몸을 가진 에이전트로 정의하면, 로봇 개발의 병목이 지능이 아니라 손과 소재 같은 물리적 요소로 옮겨 간다는 결론이 자연스럽게 따라온다.
• AI가 물리 법칙을 흉내 내는 방향의 연구는 기상 예측처럼 과거에는 엄청난 연산이 필요하던 문제를 훨씬 작은 장비로 옮겨 놓고 있다는 사례가 제시된다.

자주 묻는 질문

관련 AI 소식