AI 네이티브 물리 터미널 만들기: 듀얼 디스플레이와 로컬 LLM으로 만든 손안의 AI 기기

핵심 메시지

• 값비싼 컴퓨터가 아니라 소형 마이크로컨트롤러(ESP32)로 'AI 네이티브' 물리 터미널을 직접 설계해 만들었다.
• 빠른 OLED(동적 입력)와 전자종이(정적 렌더링)를 결합한 듀얼 디스플레이로 에너지 효율과 가독성을 함께 잡았다.
• 기기 뒤에는 1200억 파라미터 오픈소스 모델을 TensorRT로 서빙하고 OpenAI 스타일 API로 노출한 백엔드가 있다.
• 마이크로컨트롤러에서는 이미지를 1비트 행렬로 미리 메모리에 할당해 마크다운 엔진이나 동적 할당 없이 렌더링했다.
• 텍스트 기반 RPG 모드로 생성형 AI가 캐릭터·세계·지도를 만들어내, 같은 기기를 게임기처럼 쓸 수 있음을 보였다.

쉽게 이해하기

콜스택(Callstack) 소속의 물리학 박사 레흐 칼리노프스키는 지하실 청소 중 발견한 낡은 기기에서 영감을 얻었다는 이야기로 발표를 열었다. 그가 실제로 만들고자 한 것은 '미래에서 온 듯한', 물리적이면서 AI 네이티브한 기기였다. 출발점은 자신의 DGX Spark에서 돌아가는 에이전트(OpenClaw) 인스턴스를 원격 제어할 컨트롤러였다.

그는 LLM을 떠올릴 때 가장 먼저 생각나는 것이 '텍스트'라는 점에 착안해, 읽고 쓰기에 최적화된 디스플레이를 고민했다. 전자종이는 읽기에는 좋지만 동적 텍스트에는 느려서, 작은 단색 OLED(실시간 입력 표시)와 전자종이(엔터를 누르면 최종 렌더링)를 결합한 듀얼 디스플레이 방식을 택했다. 이렇게 하면 강력하면서도 전력 효율이 높은 터미널을 만들 수 있었다.

하드웨어는 ESP32 듀얼코어 마이크로컨트롤러, OLED, 키보드, 엔코더, 그리고 안정적인 전원 공급 장치로 구성했다. 마이크로컨트롤러 쪽에서는 페이지를 미리 할당된 메모리에 1비트 이미지로 저장하고, 마크다운 엔진이나 동적 메모리 할당 없이 렌더링하도록 설계했다. 기기 뒤에는 1200억 파라미터 오픈소스 모델을 TensorRT로 서빙하고 OpenAI 스타일 API(LLM 프록시)로 노출한 백엔드를 두었다.

개발 과정의 시행착오도 솔직히 공유했다. 소프트웨어 I2C 문제, 특정 GPIO 핀의 조용한 실패, 전원 레귤레이터가 디스플레이를 망가뜨려 부품 교체에 수 주가 걸린 일, 값싼 엔코더의 회전 노이즈 등을 겪었다. 그는 OLED·전자종이·키보드·엔코더·Wi-Fi·로컬 셸이 서로를 대체할 수 있게 설계해 어느 하나가 고장 나도 동작하는 '방탄' 구조를 만들었다.

가장 흥미로운 부분은 텍스트 기반 RPG 모드다. 그는 생성형 AI로 사이버펑크, 판타지, 깊은 우주 등 네 개의 세계와 NPC·분위기·지도를 만들어 조용한 환경에서 즐기는 텍스트 롤플레잉 경험을 구현했다. 약 3개월간 130번의 커밋, 16개 클래스, 단일 리튬 폴리머 셀로 동작하는 이 기기를 두고 그는 화려한 디스플레이가 필요 없는 '조용한 기기' 틈새시장을 보고 잠정 특허까지 출원했다고 밝혔다. 정작 3D 그래픽 없는 텍스트 게임이 세계 최강급 GPU(DGX Spark)를 쓴다는 점이 역설이라며, 결국 이것은 'LLM과 노는 게임보이'였다고 정리했다.

주요 인사이트

• 'AI 네이티브' 기기는 거대한 서버가 아니라 소형 마이크로컨트롤러와 잘 설계된 백엔드의 조합으로도 만들 수 있다.
• 디스플레이 특성(전자종이의 느린 갱신 vs OLED의 빠른 반응)을 이해하고 결합하면 전력 효율과 사용성을 함께 얻는다.
• MCU의 자원 한계 때문에 1비트 이미지·사전 메모리 할당 같은 제약 중심 설계가 필요하다.
• 생성형 AI는 텍스트 RPG의 세계·캐릭터·지도를 즉석에서 만들어내며, 화려한 그래픽 없이도 몰입형 게임을 가능하게 한다.

자주 묻는 질문

관련 AI 소식