축구 영상 액션 스포팅 실험: 비전·언어 모델과 씬 그래프의 F1 점수 비교와 한계

핵심 메시지

• 액션 스포팅은 긴 영상에서 어떤 선수가 언제 어떤 동작을 했는지 찾아내는 과제로, 팀·등번호·동작 종류를 모두 맞히고 시간까지 좁은 오차 안에 들어와야 정답으로 인정된다.
• 선행 연구 가운데 가장 좋은 프레임워크의 성적이 F1 46%일 만큼 난도가 높은 문제다.
• 비전·언어 모델 방식은 처음 3%에도 못 미쳤지만, 시간 구간별 토큰 설계와 LoRA 학습, 별도 분류기를 붙여 12%까지 올라왔다.
• 선수 사이의 관계를 그래프로 명시한 씬 그래프 방식은 18.9%로 비전·언어 모델보다 나은 성적을 냈다.
• 가장 큰 병목은 추론 능력이 아니라 화면 해상도였다. 와이드 앵글에서 등번호를 잘못 읽는 순간 답 전체가 틀린 것으로 처리됐다.

쉽게 이해하기

축구 중계 영상은 한 경기가 한 시간을 훌쩍 넘는다. 발표팀이 잡은 과제는 이런 장편 영상과 전술 데이터를 입력받아, 구간마다 어떤 선수가 어떤 동작을 취했는지 자동으로 뽑아내는 '액션 스포팅'이다. 출력은 프레임 번호와 좌우 팀 구분, 선수 등번호, 0번 노 액션부터 8번까지 매겨진 동작 코드, 그리고 확신도로 이뤄진다. 채점은 팀과 등번호, 동작 코드가 모두 맞고 시간 오차까지 아주 좁게 들어와야 정답을 인정하는 방식이라 까다롭다.

첫 번째 접근은 비전·언어 모델이었다. 발표팀은 언어를 처리하는 갈래와 이미지·영상을 처리하는 인코더 갈래로 나뉜 오픈소스 모델을 기준으로 삼았다. 인코더는 화면을 작은 픽셀 패치로 자른 뒤 공간에서 인접한 패치를 묶고, 시간축에서 다시 두 단위를 묶어 토큰 하나로 만든다. 이렇게 만든 영상 토큰을 언어 토큰과 합치고 멀티모달 위치 인코딩으로 시공간 정보를 함께 표현하는 구조다.

처음 성적은 3%에도 미치지 못했다. 한 클립에서는 6번 선수의 패스와 17번 선수의 크로스가 연달아 나왔는데, 모델은 17번 선수가 드리블을 했다는 답을 반복하며 나머지 동작을 놓쳤다. 추론 과정을 열어 보니 화면에서 등번호가 가장 잘 보이는 선수를 근거로 끌어다 쓰는 버릇도 드러났다. 발표팀은 원인을 한 구간에 동작 하나만 출력하려는 성향, 등번호 인식 실패, 축구에 특화된 분류기의 부재 세 가지로 정리했다.

개선은 세 갈래로 이뤄졌다. 시간 그룹마다 동작 토큰과 등번호 토큰을 따로 넣고 마스크를 적용해 그룹별로 독립된 답이 나오게 했고, 직전 24초의 추론 결과와 전술 데이터를 텍스트로 요약해 다음 추론에 넘기는 방식으로 30초짜리 문맥을 슬라이딩하며 유지했다. 영상 갈래와 언어 갈래를 모두 학습시키면 메모리가 부족해 언어 쪽은 LoRA로 우회하고, 대신 고해상도 입력을 지켰다. 그렇게 최종 F1 12%까지 올라왔지만 목표로 삼은 대회 기준에는 못 미쳤다.

두 번째 접근은 장면을 그래프로 바꾸는 방식이다. 선수마다 화면을 잘라내 얻은 시각 특징에 팀·포지션 같은 전술 정보와 위치·움직임을 담은 기하 특징을 붙여 노드를 만들고, 임베딩 사이 거리를 기준으로 가까운 세 명씩 이어 엣지를 만든다. 이 그래프를 그래프 합성곱 신경망으로 처리해 어떤 동작이 일어났는지 찾고, 그 동작의 주인공으로 가장 점수가 높은 선수를 고른다. 이 방식의 F1은 18.9%로 비전·언어 모델 쪽보다 높았다.

주요 인사이트

• 텍스트로 과거 문맥을 이어 붙이는 방식은 초장편 영상에서 한계가 뚜렷했다. 메모리에 담을 수 있는 문맥이 길지 않은 상태에서 요약과 화면 글자 인식에만 기대다 보니, 등번호를 맞히는 일이 가장 큰 걸림돌이 됐다.
• 선수 사이의 관계를 그래프로 명시해 주는 쪽이 같은 정보를 문장으로 풀어 쓰는 쪽보다 유리했다. 발표자는 선수의 속도 같은 수치는 언어 모델로 표현하기 어려운 반면 그래프에서는 자연스럽게 담긴다고 설명했다.
• 오류의 상당수는 모델의 판단력보다 화질에서 나왔다. 와이드 앵글에서 26번이 76번으로 보이거나, 크로스를 올릴 때 공이 머리 위로 지나가는 옆 선수를 헤딩한 선수로 착각하는 식이었다.
• 학습 자원의 제약이 설계를 좌우했다. 두 갈래를 모두 풀어 학습하면 메모리가 부족해지자, 언어 쪽만 LoRA로 가볍게 학습시키고 남는 여유를 고해상도 입력에 배분했다.
• 다음 시도로는 중계 해설 음성 트랙을 함께 넣는 방안이 거론됐다. 해설자가 '지금 드리블을 하고 있습니다'라고 말하는 정보가 그대로 단서가 되기 때문이다.

자주 묻는 질문

관련 AI 소식