ARC-AGI 3 쉽게 이해하기: 암기가 아닌 학습 능력을 재는 AI 벤치마크와 200만 달러 상금

핵심 메시지

• 기존 벤치마크는 모델이 새로 추론했는지, 학습 데이터에서 본 익숙한 패턴을 재현했는지 구분하기 어렵다는 한계가 있다.
• ARC는 지능을 '아는 정보의 양'이 아니라 '적은 단서로 새 기술을 얼마나 효율적으로 습득하는가'로 정의하고 2019년 시작됐다.
• 초기 ARC-AGI는 입력 격자와 출력 격자의 예시 몇 개만 보고 숨은 변환 규칙을 직접 알아내는 퍼즐 형식이었다.
• ARC-AGI 3는 정적인 퍼즐 대신 설명 없는 게임형 환경을 제시하며, 에이전트가 직접 움직여 보고 변화를 관찰해 목표를 찾아내야 한다.
• ARC 프라이즈 2026의 상금은 전체 200만 달러 규모이며, ARC-AGI 3 트랙에 85만 달러가 배정되고 100% 달성 시 70만 달러의 그랑프리가 주어진다.

쉽게 이해하기

새 AI 모델이 나올 때마다 가장 먼저 나오는 질문은 '얼마나 똑똑한가'이고, 벤치마크는 그 비교를 위해 존재한다. 수학이나 코딩, 소프트웨어 개발 능력을 점수로 견주는 방식이다. 하지만 대부분의 벤치마크 문제는 인터넷에 이미 존재하던 자료를 기반으로 만들어지기 때문에, 높은 점수가 추론 능력을 뜻하는지 익숙한 패턴을 알아본 결과인지 가려내기 어렵다.

ARC(추상화·추론 코퍼스)는 이 빈틈을 겨냥해 만들어졌다. 논문 '지능의 척도'에서 제시된 관점은 지능을 저장된 지식의 양이 아니라 새로운 기술을 습득하는 효율로 보자는 것이다. 적은 정보에서 출발해 처음 보는 과제의 숨은 규칙을 알아내고 그것을 다른 상황에 적용할 수 있는가를 묻는다.

2019년 시작된 첫 ARC-AGI 벤치마크는 작은 격자 퍼즐로 구성됐다. 입력 격자가 출력 격자로 바뀌는 예시 몇 개를 보여 주되 규칙은 알려 주지 않는다. 도형을 옮기는 것인지, 빠진 부분을 채우는 것인지, 물체를 분리하거나 중요한 부분만 복사하는 것인지는 응시자가 '무엇이 바뀌었고 무엇이 그대로인가'를 스스로 따져 찾아내야 한다.

최신판인 ARC-AGI 3는 여기서 한 걸음 더 나아가 상호작용을 도입했다. 에이전트는 아무 설명 없이 작은 게임 같은 환경에 놓이고, 직접 행동해 보며 무엇이 달라지는지 관찰하고 목표를 추정한 뒤 효율적으로 과제를 풀어야 한다. 처음에는 규칙을 모르니 잘못 눌러 환경이 바뀌기도 하고, 그때마다 추측을 수정해 가며 게임의 구조를 서서히 파악하게 된다. 탐색과 기억, 세계 모델 구축, 목표 발견, 계획과 적응이 한꺼번에 시험대에 오르는 셈이다.

이 과제들은 브라우저에서 누구나 직접 해 볼 수 있고, 개발자는 ARC-AGI 3 SDK로 자신의 에이전트를 만들 수 있다. 공식 성적으로 인정되는 제출은 대회를 통해 이뤄지며, ARC 프라이즈 2026은 트랙 전체에 200만 달러를 걸었다. 그중 85만 달러가 ARC-AGI 3에 배정돼 있고, 100%를 처음 달성한 자격 요건 충족 에이전트에게는 70만 달러가 돌아간다.

주요 인사이트

• 벤치마크 점수를 볼 때는 '무엇을 측정하도록 설계된 시험인가'를 함께 봐야 한다. 학습 데이터와 겹치는 문제로 잰 점수는 능력의 상한을 보여 주지 못한다.
• 정적인 문제 풀이에서 상호작용 환경으로 옮겨간 것은 평가 대상이 '정답 산출'에서 '탐색을 통한 규칙 발견'으로 이동했다는 뜻이다.
• 규칙을 모르는 상태에서 시도하고 틀리고 수정하는 과정은 실제 업무 환경에 투입되는 AI 에이전트가 마주할 상황과 닮아 있다.
• 거액의 상금이 걸려 있다는 점은 이 문제가 아직 풀리지 않았다는 신호이기도 하다. 많은 지식을 담은 모델이 낯선 규칙 앞에서는 여전히 어려움을 겪는다는 것이 이 벤치마크의 전제다.

자주 묻는 질문

관련 AI 소식