온디바이스 AI 반도체 전략: 저전력 NPU와 한국 제조업의 물리적 AI 기회

핵심 메시지

• 메인프레임에서 PC로, PC에서 모바일로 넘어갈 때마다 저전력을 먼저 해낸 쪽이 주도권을 가져갔고, 온디바이스 AI에서도 같은 일이 벌어질 것이라는 관점이 제시됐다.
• 작은 스타트업이 글로벌 시스템 반도체 기업으로 크는 공식으로 '초저전력 기술'과 '원천 특허'를 꼽았고, NPU 관련 특허 400건 이상을 확보했다고 밝혔다.
• 2027년경이면 전력 부족으로 데이터센터를 원하는 만큼 짓기 어려워지므로, 연산의 상당 부분을 기기 쪽으로 내려야 한다는 논리를 폈다.
• 물리적 AI의 성패는 현실 세계에서 나오는 양질의 데이터에 달려 있고, 조선·철강·자동차·가전을 모두 가진 한국의 제조 기반이 그 데이터를 만들어낸다고 봤다.
• 정책 우선순위로는 산업별 수직 AI 플랫폼, 국방 데이터 주권, 그리고 국산 AI 반도체 생태계 육성이 제시됐다.

쉽게 이해하기

티타임즈TV 대담에 국내 AI 반도체 기업 디픽스(DeepX)를 이끄는 김 대표와, 반도체·AI 정책을 다뤄 온 저자 박 씨가 함께 나왔다. 대담의 출발점은 단순한 질문이다. GPU 시장에서는 엔비디아라는 절대 강자가 정해졌는데, 왜 온디바이스 AI에는 아직 그런 존재가 없는가.

김 대표의 답은 컴퓨팅 역사에 기대고 있다. 1970년대 메인프레임을 여러 사람이 나눠 쓰던 시대가 저물고 80년대 PC와 인텔 칩의 시대가 열렸으며, 다시 모바일로 넘어갈 때는 인텔이 아니라 영국의 작은 스타트업 ARM이 시대를 열었다. 당시 인텔의 CPU에는 저전력을 구현할 방법이 없었고, 그것이 오늘날 인텔이 겪는 어려움의 뿌리라는 것이다. 그는 온디바이스 AI 역시 필연적으로 저전력의 세계이므로 같은 종류의 교체가 일어날 것이라고 본다.

그가 말한 두 번째 공식은 특허다. 퀄컴이 작은 스타트업이던 시절 개념 특허 7건으로 CDMA 상용화에 참여했고, 이후 4000건의 구현 특허와 벌인 소유권 다툼에서 이겨 막대한 로열티를 받는 기업이 된 사례를 들었다. 그래서 자신도 NPU 관련 특허를 400건 넘게 쌓았고, 미국 등록 특허 기준으로 퀄컴·인텔·AMD·ARM·엔비디아보다 많다는 조사 결과가 있었다고 밝혔다.

대담의 절반은 한국 제조업과 AI의 결합에 할애됐다. 대만도 제조업이 있지만 대부분 IT 제조업인 반면, 한국은 조선·철강·자동차·가전을 모두 갖고 있다는 점이 강조됐다. 물리적 AI의 성패가 현실 세계의 양질 데이터 공급에 달려 있다면, 산업 기반이 없는 나라는 아무리 AI 공장 설비를 지어도 그 데이터를 뽑아낼 수 없다는 논리다. 김 대표는 현대 로보틱스 연구소와 물리적 AI 로봇을 개발 중이고, 포스코DX는 공장 100% 무인화를 목표로 하고 있다고 전했다.

메모리와 시스템 반도체의 차이를 설명한 비유가 특히 선명하다. 메모리는 셀 하나를 수십억 번 복제하는 일이라 '한 개를 잘 만들 수 있는가'로 귀결되지만, 시스템 반도체는 PLL·CPU·GPU·메모리 컨트롤러·버스가 전부 다르고 이 모두를 한 판 위에서 유기적으로 돌려야 한다. 그래서 '열심히 해서 품질을 높이자'는 제조업식 접근이 통하지 않고, 부분마다 사양을 맞추는 논리적 대화와 데이터 기반 검증 문화가 필요하다는 것이다.

마지막으로 회사의 다음 제품 이야기가 나왔다. 삼성 2나노 GAA 공정으로 준비 중인 DXM2는 생성형 AI와 에이전트형 AI를 기기에서 돌리기 위한 칩으로, 소비 전력 5W 미만을 목표로 한다. 5W를 넘어 40W나 100W가 되면 큰 기계에만 들어갈 수 있기 때문이다. 그는 이 칩으로 20B 파라미터 모델을 기본 지원하고 100B 규모까지 겨냥한다고 밝혔다.

주요 인사이트

• 전력이 AI 인프라의 병목이라는 지적이 구체적 숫자로 제시됐다. 원전은 완공까지 7~10년, 데이터센터는 3년이 걸리는데, GPU 전력 사용량은 2년 전 남아프리카공화국, 작년 프랑스, 올해 독일 수준으로 계속 올라가고 있다는 것이다.
• '데이터센터로 가는 트래픽의 80%는 기기에서 처리해도 된다'는 주장이 온디바이스 전략의 핵심 가설이다. 세계적 초지능이 필요한 질문은 생각보다 많지 않다는 판단에 기대고 있다.
• 기술만으로는 글로벌 기업이 되지 못한다는 점도 강조됐다. 창업 2년 차부터 200~300개 기업을 만나 요구사항을 배웠고, CES·컴퓨텍스·MWC 등 연 15~20개 행사에 참가하며 현지 회사처럼 움직였다는 이야기다.
• TSMC가 성장기에 리얼텍·미디어텍 같은 회사를 적극 지원했고 그 덕에 엔비디아도 위기를 넘겼다는 사례를 들며, 국내 파운드리와 팹리스의 협력 관계가 아직 그만큼 형성되지 못했다는 아쉬움이 나왔다.
• 정책 제언에서 국방 데이터 주권이 별도 항목으로 꼽혔다. 팔란티어가 사실상 미국의 국방 AI이자 그들의 주권 AI라는 점을 들며, 한국도 국방에 특화된 자율적 AI를 가져야 한다는 주장이다.

자주 묻는 질문

관련 AI 소식