베수비오 챌린지 - AI로 탄 파피루스를 펼치지 않고 해독한 방법과 상금 대회 이야기

핵심 메시지

• 헤르쿨라네움 유적에서 나온 파피루스 문서는 화산재에 타서 강제로 펼치면 가루가 되기 때문에, 물리적으로 여는 대신 CT 촬영과 소프트웨어로 접근했다.
• X선 촬영본에서는 종이와 잉크가 잘 구분되지 않아, 이미지 조각마다 잉크 여부를 맞히는 단순한 분류 문제로 바꿔 딥러닝을 적용했다.
• 상금이 걸린 공개 대회에는 전 세계 개발자와 데이터 분석가 1만 명 이상이 참가했고, 일부 글자 해독이나 데이터 증강 노하우 공개로도 상금이 주어졌다.
• 우승 팀은 잉크 영역만 뽑아내는 세그멘테이션 문제로 재정의하고, 깊이 정보를 살려 영상처럼 다루는 모델을 조합해 목표치의 네 배인 2천 자를 읽어냈다.
• 생성형 AI 이야기에 가려져 있을 뿐, 이런 고전적인 판별 문제야말로 AI 모델이 확실한 성과를 내는 영역이라는 점을 보여준다.

쉽게 이해하기

약 2천 년 전 베수비오 화산이 폭발했을 때 폼페이만 묻힌 것이 아니었다. 잘 알려지지 않은 헤르쿨라네움이라는 도시도 20m가 넘는 화산재 아래 그대로 남았고, 최근 발굴된 대저택에서는 조각상과 함께 파피루스 고문서가 800개가량 나왔다. 문제는 이 문서들이 열기에 새까맣게 타 버려서, 억지로 펼치면 그대로 가루가 되어 부서진다는 점이었다.

연구는 켄터키 대학교 연구실에서 시작됐다. 사람 몸속을 들여다볼 때 CT를 찍듯, 덩어리처럼 굳은 두루마리도 우선 CT로 촬영했다. 그러면 단면 영상이 나오는데, 이는 종이를 가로로 잘게 파쇄해 놓은 것과 비슷한 상태다. 연구팀은 특정 부분을 선택하면 주변의 파쇄된 층을 이어 붙여 3D 메쉬로 만들어 주는 소프트웨어를 개발했고, 이를 2D 이미지로 펼쳐서 글자를 읽으려 했다.

그런데 X선으로 찍은 탓에 종이와 잉크의 밝기가 거의 구분되지 않았다. 그래서 딥러닝을 끌어들였다. 종이 이미지를 아주 작은 조각으로 잘라 '이 조각에 잉크가 칠해져 있는가'를 맞히는 분류 문제로 바꾼 것이다. 학습에 필요한 정답 데이터는 잉크가 비교적 잘 보이는 조각들을 이용해 만들 수 있었다. CNN 모델을 학습시켜 탄 종이 이미지를 넣어 보니 글자가 아주 많이 드러나지는 않았지만 가능성은 보였다.

그래서 연구진은 문제를 세상에 공개했다. 사진을 잔뜩 줄 테니 여기서 500자 이상을 읽어 내면 10억 원에 가까운 상금을 주겠다는 대회, 베수비오 챌린지다. 일론 머스크를 비롯한 후원자들이 상금을 댔고, 전 세계에서 1만 명이 넘는 개발자와 데이터 분석가가 참가했다. 글자 몇 개를 읽어내 4만 달러를 받은 사람도 있었고, 모두가 AI에 매달릴 때 혼자 육안으로 관찰해 잉크가 있던 자리에 종이가 갈라진 흔적이 많다는 사실을 처음 발견한 참가자는 1만 달러를 받았다. 데이터 증강 노하우를 공개해 상을 받은 한국인 참가자도 있었다.

우승은 목표였던 500자가 아니라 2천 자를 깔끔하게 읽어낸 대학생 팀에게 돌아갔다. 이들은 문제를 잉크 영역만 골라내는 세그멘테이션으로 재정의했다. 종이를 64×64 크기로 자르고 깊이 정보를 더해 3차원 데이터셋을 만든 뒤, 데이터를 비틀고 뒤집는 증강을 적용했다. 모델로는 셀프 어텐션으로 영상을 분석하는 TimeSformer와 3D ResNet을 함께 썼는데, CT 단면을 연속 재생하면 사실상 영상 데이터와 다를 바 없다는 발상에서 나온 선택이었다.

우승자들은 상금을 받은 뒤 이 프로젝트의 공식 연구원이 되어 연구를 이어 가고 있고, 그 덕에 두루마리 하나를 전부 해독하는 데까지 도달했다. 방사광 가속기 시설에서 두루마리를 더 정밀하게 촬영하는 식으로 입력 데이터도 개선됐다. 해독된 내용은 자기 자신에 대한 이해 없이 외부 지식만 좇는 것은 겉핥기에 불과하다는 취지의 철학적 성찰이었고, 제목과 저자까지 확인된 두루마리도 있었다. 아직 수백 개가 남아 있어 대회는 계속되고 있으며, 지금은 손으로 하고 있는 '가상 펼치기' 작업을 저렴하게 자동화하는 방법이 다음 과제로 남아 있다.

주요 인사이트

• 물리적으로 불가능한 문제를 측정 문제로 바꾼 것이 출발점이었다. 두루마리를 펼치는 대신 CT로 층 구조를 얻고, 이어 붙이기는 소프트웨어에 맡겼다.
• 딥러닝이 투입된 지점은 '글자를 읽는 것'이 아니라 '이 조각에 잉크가 있는가'라는 작은 이진 판단이었다. 어려워 보이는 과제를 학습 가능한 최소 단위로 쪼갠 전형적인 사례다.
• 학습 데이터를 만들 수 있느냐가 관건이었고, 잉크가 잘 보이는 조각을 정답지로 삼을 수 있었던 점이 프로젝트를 성립시켰다.
• 상금 대회라는 형식은 단일 연구실이 낼 수 없는 시도의 다양성을 만들어 냈다. AI에 지쳐 육안 관찰로 돌아간 참가자의 발견도 정식으로 보상받았다.
• 우승 팀의 결정적 전환은 분류에서 세그멘테이션으로의 재정의, 그리고 깊이 방향으로 쌓인 CT 단면을 영상처럼 다룬 관점이었다.

자주 묻는 질문

관련 AI 소식