스마트폰 영상 기반 러닝 관절 모멘트 예측: 2D 키포인트 대신 3D 표현을 거치면 정확도가 오른다

핵심 메시지

• 관절 모멘트는 관절에 걸리는 회전 부하로, 케이던스나 보폭 같은 지표와 달리 어느 관절이 얼마나 부담을 지는지를 직접 보여준다.
• 정확한 관절 모멘트 계산에는 모션 캡처와 지면 반력 측정 장비, 통제된 실험실이 필요해 현장에서 바로 쓰기 어렵다. 스마트폰 영상은 그 대안으로 검토되고 있다.
• 핵심 질문은 희소한 2D 키포인트에서 곧바로 모멘트를 회귀할 것인가, 아니면 3D 키포인트 표현을 한 번 거칠 것인가였다.
• 3D 정답 데이터 없이 두 카메라 시점으로 되투영한 오차와 사람마다 분절 길이가 일정해야 한다는 제약만으로 3D 키포인트를 만들었다.
• 2D 기반 베이스라인의 상관계수 0.918, 정규화 오차 14.2%에서, 제약을 건 3D 모델은 0.948과 12.5%로 개선됐다.

쉽게 이해하기

서울대학교의 머신러닝 수업 팀 프로젝트 발표입니다. 체육교육과, 데이터사이언스, 심리학 전공 학생 세 명이 팀을 이뤄, 스마트폰으로 찍은 영상만으로 달리는 동안 하지 관절에 걸리는 모멘트를 예측하는 문제를 다뤘습니다. 관절 모멘트는 관절에 걸리는 회전 부하로, 토크와 비슷한 개념입니다. 달릴 때 엉덩관절과 무릎, 발목이 충격을 흡수하고 몸을 지지하며 추진력을 만드는 과정에서 각 관절이 얼마나 큰 부하를 감당하는지를 나타냅니다. 발표자가 지적한 대로, 케이던스나 보폭 같은 시공간 지표는 전체적인 달리기 패턴은 보여주지만 어느 관절에 얼마나 부담이 가는지는 알려주지 못합니다.

문제는 이 값을 정확히 구하려면 실험실 장비가 필요하다는 점입니다. 모션 캡처로 3차원 움직임을 측정하고 지면 반력과 압력 중심을 함께 재서, 역기구학과 역동역학을 거치는 근골격 시뮬레이션을 돌려야 합니다. 정확하지만 고가 장비와 통제된 환경, 그리고 마커 라벨링과 필터링, 동기화 같은 전처리가 따라붙습니다. 그래서 스마트폰 영상이 확장성 있는 대안으로 거론되는데, 자세 추정이 잘 된다고 해서 생체역학적으로 타당한 값이 나온다는 보장은 없습니다. 특히 달리기는 발이 땅에 닿아 있는 구간이 짧고 큰 힘이 걸리기 때문에, 작은 키포인트 오차나 분절 방향 오차도 결과에 영향을 줍니다.

팀이 세운 가설은 이렇습니다. 2D 픽셀 좌표에서 곧장 회귀하는 방식은 단순하고 실용적이지만 3차원 기하를 명시적으로 보존하지 않습니다. 실제 사람의 다리 길이는 한 사람 안에서 거의 일정해야 하는데, 2D 픽셀 거리는 카메라 각도와 깊이 방향 움직임 때문에 계속 달라집니다. 그렇다면 해부학적 제약을 건 3D 표현을 중간에 한 번 거치는 편이 낫지 않겠느냐는 것입니다. 데이터는 참가자 15명이 각자 선호하는 속도로 달리는 동안 수집했고, 속도 범위는 초당 약 1.8에서 3.4미터였습니다. 정면과 측면 스마트폰 영상을 모델 입력으로 쓰고, 모션 캡처와 스플릿벨트 트레드밀로 받은 3차원 마커 궤적과 지면 반력, 압력 중심으로 역동역학을 돌려 계산한 관절 모멘트를 정답으로 삼았습니다. 수직 지면 반력 20뉴턴을 임계값으로 삼아 발이 닿고 떨어지는 시점을 잡고, 그렇게 나눈 접지 구간을 각각 101개 시점으로 정규화한 뒤 영상에서 52개의 해부학적 키포인트를 뽑아 썼습니다.

모델은 두 단계입니다. 첫 단계는 정면과 측면의 2D 키포인트를 시간 정보를 함께 쓰는 듀얼뷰 리프터에 넣어 표준화된 3D 키포인트를 만드는 일인데, 눈여겨볼 부분은 별도의 3D 정답 데이터를 쓰지 않았다는 점입니다. 대신 예측한 3D 자세를 두 카메라 시점으로 다시 투영했을 때 원래 2D 키포인트와 잘 맞도록 되투영 오차를 줄였고, 한 사람 안에서 분절 길이가 비현실적으로 변하지 않도록 하는 제약을 더했습니다. 두 번째 단계는 그렇게 얻은 3D 키포인트에서 관절 각도와 각속도, 각가속도 같은 운동학 특징을 계산해 시간 합성곱 신경망과 어텐션을 결합한 모델에 넣는 것입니다. 비교 대상인 베이스라인은 기존의 스마트폰 영상 기반 관절 부하 추정 모델을 이 연구 조건에 맞게 고쳐 썼습니다. 관성 센서 데이터가 없어 지식 전이 단계는 빼고 영상만으로 끝까지 학습했고, 예측 대상도 이 연구의 관절 모멘트 파형으로 다시 정의했습니다.

평가는 학습 8명, 검증 3명, 테스트 3명으로 참가자를 고정 분할해 진행했고 테스트 세트에는 917개의 보행 스텝이 들어갔습니다. 정규화 평균 제곱근 오차는 예측 오차의 크기를, 피어슨 상관계수는 예측 파형이 정답 파형의 모양을 얼마나 잘 따라가는지를 봅니다. 2D 베이스라인이 상관계수 0.918에 오차 14.2%였던 데 비해, 제약을 건 3D 모델은 0.948에 12.5%였습니다. 관절별로 보면 무릎과 발목은 2D와 3D 양쪽에서 비교적 잘 맞았는데, 옆에서 본 시상면 움직임과 강하게 연결되어 영상에서 잘 드러나기 때문입니다. 반면 엉덩관절 모멘트가 가장 어려웠고 3D 표현으로 얻는 이득도 여기서 가장 컸습니다. 발표자는 이 관절이 골반 방향이나 몸통처럼 여러 분절의 움직임과 맞물려 있기 때문일 것으로 추정했습니다.

주요 인사이트

• 중간 표현을 잘 설계하면 정답 데이터를 늘리지 않고도 성능을 올릴 수 있다는 사례다. 3D 정답 없이 되투영 오차와 해부학적 제약만으로 만든 표현이 2D 좌표보다 유용한 정보를 담았다.
• 발표자는 이 방법이 역동역학을 대체하는 것이 아니라고 분명히 선을 그었다. 정답은 여전히 모션 캡처와 지면 반력 기반 계산에서 나오고, 만들어낸 3D는 캘리브레이션을 거친 진짜 3D가 아니라 유사 3D다.
• 남은 한계도 솔직하게 정리됐다. 분절 길이 제약을 모션 캡처 데이터에서 얻었기 때문에 실제 영상 환경에 바로 적용하기에는 간극이 있고, 중간 표현에는 정답이 없어 그 자체의 정확도를 직접 평가하지 못했다.
• 질의응답에서 나온 관점이 흥미롭다. 달리기는 발이 닿았다 떨어지기까지가 1초도 안 되는 짧은 순간이라 그 구간의 데이터를 잡아내기 자체가 어렵고, 그래서 오차를 줄인 것만으로도 의미가 있다는 설명이었다.
• 다음 단계로는 영상이나 정지 자세에서 분절 길이를 추정하는 방법, 더 큰 데이터셋과 교차 검증, 그리고 이미 상용화된 모델과의 수치 비교가 제시됐다.

자주 묻는 질문