허깅페이스 파리 본사 인터뷰: 벤치마크 조작 대응과 로봇 데이터 수집, 오픈소스 문화

핵심 메시지

• 벤치마크가 공개되면 그 데이터로 학습해 점수를 올리는 문제가 생기는데, 허깅페이스는 데이터셋 접근에 신원 정보를 요구하는 게이팅과 2~6개월마다 갱신하는 롤링 데이터로 대응한다.
• 허브의 벤치마킹 도구는 전부 무료이며, 기업에 평가를 대행하고 돈을 받는 사업은 하지 않겠다는 것이 담당자의 설명이다.
• 회사의 수익 모델은 프리미엄 구독 방식으로, 더 많은 연산 자원 같은 추가 기능이 필요한 기업·전문가가 비용을 낸다.
• 로봇 데이터 쪽에서는 마이크에서 시작해 영상·깊이 카메라로 센서 종류를 넓히고 있고, 촉각 센서 벤치마크도 준비 중이다.
• 직원들이 꼽은 근무의 장점은 유연한 근무 시간과 파리 근무 환경, 그리고 '내가 하는 일을 친구에게 떳떳하게 말할 수 있다'는 가치 정렬이었다.

쉽게 이해하기

한국 개발자 채널이 허깅페이스 파리 본사를 찾아가 세 명의 직원을 인터뷰한 영상이다. 첫 번째로 등장한 평가 담당자는 3년째 오픈 모델의 벤치마킹과 평가 도구를 맡고 있으며, 누구나 평가를 이용하고 공유하고 재현할 수 있게 만드는 것이 목표라고 소개했다. 현재 허브에는 광학 문자 인식을 비롯해 여러 방식의 벤치마크가 올라와 있다.

가장 흥미로운 대목은 벤치마크 조작을 어떻게 막느냐는 질문이었다. 답은 두 가지다. 하나는 게이팅으로, 데이터셋을 받으려면 이름과 소속 같은 정보를 제출하게 해 봇이 무단으로 긁어 가지 못하게 한다. 다른 하나는 롤링 데이터로, 몇 달마다 모델이 아직 보지 못한 새 데이터로 갱신한다. 다만 그는 이것이 여전히 열린 문제라고 인정했다.

평가를 돈벌이로 만들 계획이 있느냐는 질문에는 분명히 선을 그었다. 과거 오픈 LLM 리더보드를 운영하던 시절부터 모든 것을 공개하고 재현 가능하게 만든다는 원칙을 지켜 왔고, 기업에서 평가 비용을 받는 방식으로는 수익을 내지 않겠다는 것이다. 대신 커뮤니티가 스스로 쉽게 평가하고 공유할 수 있게 돕는 쪽을 택한다고 했다.

두 번째 인터뷰이는 로봇 데이터 쪽을 담당한다. 처음에는 마이크 데이터를 다루다가 지금은 영상과 깊이 카메라로 범위를 넓혔고, 녹화와 학습 속도를 높일 인코더·디코더를 찾는 일도 하고 있다. 그는 연속적인 시계열을 다룰 수 있는 백엔드만 있으면 음성이든 촉각이든 관성 센서든 같은 틀로 기록할 수 있다고 설명하며, 어떤 센서가 어떤 작업에 적합한지 알려 줄 촉각 벤치마크를 준비 중이라고 밝혔다.

세 번째 인터뷰이는 로봇 미들웨어를 러스트로 새로 만든 dora-rs의 개발자다. 성능과 안전성을 함께 잡고 공유 메모리 같은 개념을 더한 결과 기존 방식보다 빠른 경우가 많다고 말했다. 파리에서 소수의 오픈소스·로보틱스 인력이 모여 협업이 시작된 과정도 함께 소개했는데, 한국에서는 여전히 ROS를 배우는 학생과 기업이 많다는 진행자의 말에 자신들은 아직 훨씬 작은 프로젝트라고 답했다.

주요 인사이트

• 벤치마크 신뢰도 문제는 기술만으로 풀리지 않는다. 게이팅은 접근을 마찰 있게 만드는 사회적 장치이고, 롤링 데이터는 운영 비용을 계속 치르는 방식이다. 둘 다 근본 해법이 아니라 시간을 버는 수단에 가깝다.
• 같은 분야에서도 노선은 갈린다. 인터뷰에서는 공개로 시작했다가 기업 대상 유료 평가 서비스로 사업화한 사례가 언급되는데, 허깅페이스는 그 방향을 택하지 않겠다고 선을 그었다.
• 월드 모델처럼 새로 뜨는 분야는 평가 방법 자체가 미성숙하다. 담당자는 다른 모델로 결과를 심판하게 하는 방식을 떠올려 볼 수 있지만 아직 충분히 익지 않았다고 했다.
• 저가 서보 모터는 접근성과 내구성을 맞바꾸는 선택이다. 문서에 제대로 적히지 않은 설정 하나를 찾느라 며칠을 쓰는 일이 실제로 벌어지지만, 누구나 살 수 있는 로봇을 만들려면 감수해야 한다는 것이 현장의 판단이었다.
• 세 사람 모두 채용이나 제품 홍보 대신 기여 방법을 안내했다. 오픈소스가 좋으면 기여해 달라, 인사만 하러 와도 좋다는 식의 개방적 태도가 회사 문화를 그대로 보여 준다.

자주 묻는 질문

관련 AI 소식