OpenAI 빌더스 언스크립티드: Codex와 GPT-5.5로 아이디어를 앱으로

핵심 메시지

• GPT-5.5는 비전·다중 도구·에이전트 행동 등에서 큰 도약을 보였고, 과거 격자 오버레이 같은 우회 기법 없이도 화면을 이해한다.
• 스키라노는 새 모델을 지시 따르기, 과제 실행, 다른 에이전트를 지휘하는 능력 세 가지 기준으로 평가한다.
• Codex는 코딩뿐 아니라 파일 정리·메타데이터 수정·메모 작성 등 일상 전반의 비서로 쓸 수 있다.
• 그는 낡은 기기를 Codex에 연결해 펌웨어를 읽게 하고 게임이나 알림 장치로 되살리는 등 상상력의 한계를 시험한다.
• 미래의 일은 "직접 하는 것"보다 "에이전트를 감독하고 방향을 정하는 것"으로 옮겨가며, 이는 모두에게 빌더가 될 기회를 연다.

쉽게 이해하기

OpenAI의 인터뷰 시리즈 "빌더스 언스크립티드" 4화에 음악가이자 엔지니어, 디자이너, 창업자인 피에트로 스키라노가 출연했다. 그는 AI를 마젤란이나 마르코 폴로 같은 탐험가가 새로운 잠재 공간(latent space)을 항해하듯 다룬다고 말한다. "우리는 바다를 누비기엔 너무 늦게, 별에 닿기엔 너무 일찍 태어났다"는 문구처럼, AI라는 새 영역에서 무엇을 할 수 있는지 탐험하는 일에 흥분을 느낀다고 했다.

GPT-5.5에 대한 첫인상을 그는 "큰 폭의 도약"이라 표현했다. 과거 GPT 비전은 모델이 어디를 봐야 할지 알려 주려 이미지 위에 격자를 덧씌워야 했지만, 5.5는 그런 우회 없이 어디를 클릭하고 봐야 할지 스스로 추론한다. 그는 새 모델이 나올 때마다 다중 도구 동시 실행이나 다중 모달 능력 같은 자신만의 평가 항목을 돌린다.

그가 5.5로 처음 만든 것은 이미지를 그림에 어울리는 소리로 분해하고, 그 소리로 다시 이미지를 복원하는 앱이었다. 두 사람이 소리로 비밀스럽게 소통하는 일종의 암호 언어인데, 암호학과 음악 품질, 이미지의 Base64 변환이 얽힌 복잡한 과제임에도 Codex와 5.5가 거의 한 번에 구현해 그를 놀라게 했다. 그는 OpenAI 로고를 노래로 바꾸고 그 소리를 다시 로고로 되돌리는 과정을 시연했다.

스키라노는 모델을 지시 따르기, 과제 실행, 다른 에이전트를 지휘하는 능력으로 평가한다. 그는 "Spawn"으로 여러 에이전트를 띄우고, "agent"로 목표를 끝낼 때까지 멈추지 말라고 지시하며, 세션이 끝나면 버그·회귀·엣지 케이스를 모두 검토하게 하는 등 자신만의 단축 명령을 쌓아 왔다. 그는 모델이 점점 더 오래 자율적으로 일할 수 있게 되는 것이 진정한 변화이자 부의 분배라고 본다. 또 이미지를 코드로 바꾸는 다중 모달 흐름이나, 그리스 배와 깃펜이 그려진 앱 아이콘을 한 번에 만들어 주는 능력도 과거 포토샵으로 수 시간 걸릴 일을 단번에 해낸다고 했다.

그가 만든 글쓰기 도구 "오디세우스"는 글을 자동 완성하고, 실시간 음성 모델로 말한 내용을 즉시 받아써 "제2의 두뇌"처럼 작동한다. 그는 서랍 속 낡은 기기를 Codex에 USB로 연결해 펌웨어를 읽게 하고, 문서에 없던 세로 스크롤 동작까지 알아내 두들 점프 같은 게임을 만들거나, Codex 작업이 끝나면 진동으로 알리는 장치로 되살렸다. 그의 회사 MagicPath는 인간과 에이전트가 함께 디자인·구축하는 무한 캔버스로, 그는 PM·디자이너·엔지니어의 경계를 AI가 번역 계층처럼 허물고 있다고 말한다. 끝으로 그는 미래의 일이 직접 하기보다 에이전트를 감독하고 방향을 정하는 쪽으로 옮겨갈 것이며, 이를 통해 모두가 빌더가 되어 지능에 평등하게 접근하는 미래에 희망을 느낀다고 전했다.

주요 인사이트

• 모델 평가를 "지시 따르기·과제 실행·에이전트 지휘"로 나눠 보는 틀은 최신 모델일수록 무조건 낫다는 통념을 점검하게 한다.
• 단축 명령(Spawn, agent, PR, debug)을 미리 만들어 두는 것은, 모델에게 기대하는 행동을 표준화해 새 모델의 성능을 빠르게 가늠하는 방법이다.
• Codex를 코딩 도구가 아니라 파일 정리·메모·대시보드까지 다루는 "everyday assistant"로 쓰는 발상이 활용 폭을 크게 넓힌다.
• 낡은 하드웨어의 펌웨어를 읽혀 새 기능을 입히는 사례는, AI가 문서화되지 않은 영역까지 추론으로 메울 수 있음을 보여 준다.
• "하는 일"에서 "감독하는 일"로의 전환은 작은 팀이 수백 명 규모의 개발 역량에 접근하게 하는 동시에, 무엇을 만들지 절제하는 판단을 더 중요하게 만든다.

자주 묻는 질문

관련 AI 소식