머신러닝이 어려운 진짜 이유: 튜토리얼 지옥에서 벗어나 문제를 쪼개는 사고법 익히기

핵심 메시지

• 모델을 구현하는 일은 오히려 쉬운 축에 속한다. 파이토치와 텐서플로가 무거운 계산을 대신해 주기 때문이다.
• 정말 어려운 것은 통계적 이해, 비즈니스 문제를 머신러닝 과제로 바꾸는 문제 정의, 데이터 파악, 그리고 왜 이 모델인지 설명할 수 있는 근거다.
• 튜토리얼은 깨끗한 데이터와 기본 설정만 보여 주기 때문에, 정확도가 무작위 추측보다 못 나오는 순간이나 새벽까지 이어지는 디버깅은 가르쳐 주지 못한다.
• 튜토리얼 지옥에서 벗어나는 방법은 예제 코드를 일부러 깨뜨려 보는 것이다. 데이터를 더 지저분한 것으로 바꾸고 손실 함수를 직접 짜 보는 식이다.
• 큰 문제를 이미 해 본 것과 거의 같아 보일 때까지 잘게 쪼갠 뒤 다시 합치는 훈련이 기술 면접에서도 요구되는 능력이다.

쉽게 이해하기

머신러닝을 '라이브러리를 불러와 학습 함수 한 줄을 호출하는 일'로 여기는 오해는 여전히 흔하다. 하루 20분 모델을 손보고 나머지 시간은 카페에서 보내는 영상이나 3개월이면 고연봉 엔지니어가 된다는 홍보가 그 오해를 부추긴다. 이 영상의 출발점은 정반대다. 그 일이 정말 쉬웠다면 누구나 했을 것이고, 보수가 높은 이유는 쉽지 않기 때문이라는 것이다.

구현이 쉬운 부분이라면 어려운 부분은 무엇일까. 확률 분포와 가설 검정 같은 통계적 이해, 회사의 문제를 머신러닝이 풀 수 있는 형태로 옮기는 문제 정의, 데이터가 어떤 성질을 갖고 있는지 파악하는 능력, 그리고 모든 문제에 트랜스포머가 필요하지는 않다는 판단력이다. 때로는 규칙 기반 시스템이 신경망보다 낫고, 때로는 얻는 효과가 복잡도를 정당화하지 못한다.

영상은 데이터 사이언티스트를 탐정에 비유한다. 법전과 표준 절차를 통째로 외운 사람은 교과서에 없는 현장 앞에서 멈추지만, 수백 건을 겪은 탐정은 어떤 단서를 좇아야 하는지, 어떤 패턴이 중요한지, 무엇보다 그것이 왜 중요한지 안다. 부트캠프가 도구 사용법은 가르쳐도 이 직관만은 대신 만들어 줄 수 없는 이유다.

구체적인 처방은 '튜토리얼을 깨뜨려 보라'로 요약된다. 예제의 깨끗한 데이터셋을 캐글 데이터로 바꿔 보고, 다시 더 지저분한 실제 데이터로 바꿔 보고, 어디서 무너지는지 확인해 고친다. 손실 함수를 바꾸거나 직접 짜서 다른 유형의 문제에 맞춰 보고, 마지막에는 예제 코드 없이 완전히 새로운 문제를 푼다. 문제를 해결해 주는 사람이 옆에 있는 한 문제 해결력은 자라지 않는다.

문제를 쪼개는 방법도 예시로 보여 준다. 과거 행동과 거래 데이터로 고객 이탈을 예측하라는데 정답 컬럼조차 없다면, '이탈을 어떻게 정의할까'로 한 단계 내리고 그것도 어려우면 '우리가 가진 데이터가 무엇인가'까지 내린다. 거래 시각, 구매 금액, 구매 간격, 구독 상태, 문의 티켓 수, 이메일 평균 응답 시간, 앱 사용 빈도를 확인하고 나면 '3개월간 거래가 없으면 이탈'처럼 정의를 세울 수 있고, 그 순간 목표 변수가 만들어진다. 영상은 끝으로 실무 역량을 짚는데, 데이터 정제는 결측값을 지우는 일이 아니고 피처 엔지니어링은 업무 이해가 있어야 가능하며 데이터 검증과 데이터셋 버전 관리는 선택 사항이 아니라는 것, 모델 쪽에서는 제약에 맞는 알고리즘 선택과 격자 탐색을 넘어선 하이퍼파라미터 조정, 상황에 맞는 교차 검증, 블랙박스로 남기지 않는 모델 해석이 꼽힌다.

주요 인사이트

• 가장 어려운 부분은 코드 바깥에 있다. 무엇을 예측할 것인지 정의하는 일이 모델을 고르는 일보다 먼저이고 더 어렵다.
• 베이스라인을 우습게 만들수록 좋다. 항상 같은 값을 예측하는 모델부터 시작해야 이후의 개선이 진짜 개선인지 알 수 있다.
• 설명할 수 없으면 이해한 것이 아니다. 경사하강법을 전문 용어 없이 설명해 보고 막히는 지점이 곧 자신의 구멍이다.
• 튜토리얼 자체가 문제가 아니라 거기서 나오지 못하는 것이 문제다. 깨끗한 데이터와 기본 하이퍼파라미터에만 머무는 순간 학습이 멈춘다.
• 포트폴리오는 결과물이 아니라 사고 과정을 보여 주는 문서다. 예제를 따라 한 프로젝트 모음은 고용주에게 인상을 남기지 못한다.

자주 묻는 질문

관련 AI 소식