AI 학습 데이터 시장 분석 - 검증 가능성 세 축이 코딩 다음 산업의 순서를 정하는 이유

핵심 메시지

• 데이터 시장의 무게중심은 이미지 라벨링 같은 단순 작업에서, 범용 모델을 전문가 수준으로 끌어올리는 고난도 데이터로 옮겨갔다. 강연자는 단순 라벨링 시장이 연 100억~150억 달러 규모지만 가장 흥미롭지 않은 영역이라고 평가했다.
• 모델 성능은 컴퓨팅·데이터·인재 세 축의 균형에서 나오는데, 지금 가장 저평가되고 투자가 부족한 축이 데이터라는 것이 강연의 핵심 진단이다.
• 중요한 것은 최종 결과가 저장된 '상태 데이터'가 아니라, 전문가가 백지에서 완성물까지 가는 과정의 판단 흐름을 담은 '과정 데이터'다.
• '검증 가능성'의 세 축 — 단계로 쪼갤 수 있는가, 무엇이 정답인지 합의가 있는가, 검증된 사례가 계속 공급되는가 — 이 어떤 분야가 먼저 성숙할지 예측한다. 코딩이 가장 먼저 뚫린 것은 깃허브가 이 셋을 한꺼번에 해결해 줬기 때문이다.
• 업계 벤치마크 상당수는 데이터 판매사가 직접 문제를 만들고, 그 벤치마크 점수를 올려 줄 데이터를 다시 파는 구조여서 신뢰하기 어렵다.

쉽게 이해하기

AI 산업의 관심이 컴퓨팅 자원과 모델 구조에 쏠려 있는 사이, 정작 모델의 실력을 좌우하는 학습 데이터가 어떻게 거래되는지는 잘 알려져 있지 않다. 한 AI 엔지니어 콘퍼런스에서 데이터 시장을 추적해 온 분석가가 이 불투명한 시장의 내부 사정을 공개했다. 그는 특정 회사를 대변하려는 것이 아니라, 아무도 정확히 알지 못하는 이 영역에서 실제로 무슨 일이 벌어지는지 그대로 전하겠다고 말문을 열었다.

그가 먼저 바로잡은 것은 '데이터 작업'에 대한 통념이다. 사람들은 데이터 시장이라고 하면 2019년쯤의 풍경, 즉 대규모 인력이 모여 이미지에 이름표를 붙이는 작업장을 떠올린다. 그 시장은 실재하고 규모도 작지 않지만, 이제는 가장 덜 흥미로운 부분이 됐다. 모델이 이미 충분히 잘 작동하는 지금 값이 매겨지지 않은 채 남아 있는 것은, 범용적인 능력을 진짜 전문성으로 끌어올리는 종류의 데이터다.

이를 설명하기 위해 그는 데이터를 두 갈래로 나눈다. 하나는 기업 시스템에 남은 최종 기록 같은 '상태 데이터'로, 결과만 있고 과정이 없으며 대개 개인정보 규제에 묶여 있다. 다른 하나는 전문가가 빈 화면에서 완성된 결과물까지 가는 동안 내린 판단의 궤적, 즉 '과정 데이터'다. 여기에 품질 축이 하나 더 붙는다. 실제 업무에서 그대로 건져 올린 데이터와, 전문가를 고용해 인위적으로 만들어 낸 데이터는 성격이 다르다. 후자는 모델이 초보 단계일 때 유용하지만, 실력을 중상위권까지 끌어올리는 것은 현실 업무에서 나온 전자라는 것이 그의 주장이다. 문제는 업계가 후자를 만들어 놓고 전자라고 파는 일이 흔하다는 점이다.

그렇다면 어떤 분야가 다음 차례일까. 그는 '작업을 검증하기 쉬울수록 모델을 학습시키기도 쉽다'는 원칙을 세 가지 축으로 풀어낸다. 작업을 확인 가능한 단계로 쪼갤 수 있는지, 무엇이 정답인지에 대한 합의가 존재하는지, 그리고 검증된 사례가 현실에서 계속 쏟아져 나오는지다. 코딩이 AI 응용의 첫 성숙 시장이 된 것은 우연이 아니다. 단위 테스트가 객관적 정오 판정을 주고, 작동하는 코드가 무엇인지 커뮤니티가 대체로 동의하며, 공개 저장소의 커밋 기록이 사실상 무한한 추론 흔적을 공짜로 제공했기 때문이다. 반면 지금 자금이 몰리는 생물학, 보안, 금융, 의료, 법률은 세 축 모두에서 점수가 낮고, 검증 사례가 기업 내부 업무 흐름에 갇혀 있다.

강연 후반부는 벤치마크에 대한 경고로 이어진다. 흔한 방식은 도메인 전문가를 고용해 문제를 만들게 하고, 모델이 틀린 것만 골라내 '어려운 기준점'으로 포장한 뒤, 그 점수를 올려 줄 데이터를 같은 회사가 파는 것이다. 측정 지표가 목표가 되는 순간 지표는 의미를 잃는데, 여기에 이윤 동기까지 붙은 셈이다. 게다가 이런 문제들은 하나씩 떨어진 질문만 시험할 뿐, 모델이 길게 이어지는 작업에서 판단을 유지하는지는 검증하지 못한다. 그는 실제로 금융 실무 과제를 직접 만들어 여러 최신 모델을 돌려 본 결과, 총점은 비슷해도 강점이 정반대로 갈리는 경우를 확인했다며, 하나의 점수는 아무도 측정하지 않은 분포에서 뽑은 표본 하나일 뿐이라고 정리했다.

주요 인사이트

• 데이터 공급망이 쪼개지는 것은 과도기가 아니라 구조적 변화라는 지적이 눈에 띈다. 예전에는 인력 조달부터 환경 구축, 보상 설계, 평가까지 한 회사가 다 해야 수지가 맞았지만, 지금은 단계별 전문 업체가 대형사를 이긴다. 품질이 물량에 비례하지 않는다는 사실을 알기에, 연구소들이 20~30곳의 공급사로 일부러 분산 발주하는 관행까지 생겼다.
• 데이터 구매 내역이 제품 로드맵의 선행 지표가 될 수 있다는 관점은 실용적이다. 강연자는 특정 연구소가 연초에 보안 관련 데이터를, 봄에 생물학 데이터를 집중적으로 사들인 뒤 두세 달 만에 해당 분야 제품이 나오는 흐름을 짚었다.
• 데이터셋은 프론티어가 이동하면 가치가 사라지는 자산이다. 그래서 지속 가능한 공급원은 문 닫은 스타트업이 남긴 코드 더미가 아니라, 지금도 돌아가는 실제 사업과의 제휴라는 결론이 나온다.
• 로봇공학은 반례로 제시된다. 데이터를 어떤 방식으로 모을지조차 정해지지 않은 분야에서는, 공급사 선택이 아직 풀리지 않은 연구 문제와 얽혀 버린다.
• 강연자는 인프라를 개척한 기업이 장기적으로 시장의 10% 이상을 쥔 사례가 없다는 역사를 들며, 클라우드 사업자가 인프라를 장악하고도 응용 계층은 갖지 못했다는 점을 상기시킨다. 다만 모델은 효율과 처리 방식이 제각각이라 전기처럼 대체 가능한 상품은 아니어서, 완전한 종속으로도 가지 않는다고 봤다.

자주 묻는 질문

관련 AI 소식