Weights & Biases 사용법: CMU 딥러닝 수업이 알려주는 학습 로깅과 크래시 복구 실습

핵심 메시지

• Weights & Biases는 학습·평가 실행을 추적하고 시각화해 정리해 주는 머신러닝 운영 플랫폼으로, 하이퍼파라미터와 모델 구조, 시스템 자원 사용량을 한곳에서 비교할 수 있게 해 준다.
• 가장 유용한 기능은 실시간 지표 로깅이다. 숫자만 보고 있으면 모델이 덜 학습된 것인지 과적합인지 판단하기 어렵지만, 에포크마다 손실과 정확도가 그려지면 학습이 진행되지 않는 실행을 일찍 끊을 수 있다.
• 실행이 중간에 죽어도 실행 페이지의 run path 마지막 부분을 run ID로 가져와 resume 옵션을 설정하면 그 지점부터 이어서 학습할 수 있다.
• 실행 이름을 직접 정하지 않으면 무작위 이름이 붙어 나중에 찾기 어려워진다. 프로젝트 이름과 실행 이름, config에 담을 하이퍼파라미터를 처음부터 상세히 지정하는 것이 권장된다.
• 무료 플랜의 저장 용량은 100GB이며 아티팩트로 모델을 저장할 때 이 한도를 신경 써야 한다. 여러 명이 함께 쓰는 팀이라면 더 빨리 소진된다.

쉽게 이해하기

카네기멜런대 딥러닝 수업의 리사이테이션 0.18은 수강생이 학기 내내 쓰게 될 도구인 Weights & Biases를 소개한다. 발표자는 이 도구를 머신러닝 운영 플랫폼이라고 소개하면서, 여러 하이퍼파라미터로 실험을 돌리기 시작하면 무슨 설정에서 어떤 결과가 나왔는지 관리하는 일 자체가 문제가 된다고 짚는다. W&B는 지표와 바꾼 하이퍼파라미터, 시도한 모델 구조, 학습에 쓰인 시스템 자원을 함께 기록하고 실시간으로 그려 준다. 파이토치와 텐서플로, 케라스 등 널리 쓰이는 워크플로에 그대로 붙는다는 점도 언급된다.

시작은 계정과 API 키다. 가입 후 프로필 설정의 API 키 항목에서 새 키를 만들면 긴 문자열이 발급되는데, 발표자는 이 키를 절대 어떤 플랫폼에도 공유하지 말고 안전한 곳에 보관하라고 강조한다. 노트북에서 키를 쓰는 방법은 여러 가지다. 코드에 직접 붙여 넣을 수도 있고, 구글 코랩에서는 로그인 명령만 실행하면 입력 창이 뜨며, 코랩의 시크릿 기능에 저장해 두고 불러 쓸 수도 있다. 그다음은 프로젝트 생성이다. 프로필의 프로젝트 메뉴에서 새 프로젝트를 만들 수 있고, 팀을 만들면 여러 사람의 실행이 같은 프로젝트에 모인다. 다만 예전에는 조교가 학생의 실행을 들여다볼 수 있도록 공개 설정을 쓸 수 있었지만 최근 무료 플랜에서 공개 가시성이 없어져 팀 구성원만 볼 수 있다는 변경 사항도 안내된다.

핵심 기능으로는 세 가지가 강조된다. 첫째는 실시간 성능 로깅이다. 스크립트 출력의 숫자만으로는 모델이 학습을 못 하고 있는지 과적합으로 가고 있는지 판단하기 어렵고, 보통은 따로 후처리를 해야 한다. W&B는 에포크마다 손실과 정확도의 변화를 곧바로 그려 주기 때문에 아무것도 배우지 않는 모델에 시간을 낭비하는 일을 줄일 수 있다. 둘째는 크래시 복구다. 실행이 예기치 않게 죽는 일은 준비되지 않은 시점에도 일어나는데, 중단된 지점부터 이어 가는 절차가 마련돼 있다. 셋째는 협업이다. 팀을 꾸려 하이퍼파라미터를 나눠 맡고 각자의 실행을 한 화면에서 훑어보며 가장 좋은 설정을 함께 찾는 방식이 수업에서 권장된다.

학습을 시작하기 전 마지막 단계는 실행 설정이다. 이번 실행에서 무엇을 하는지 알려 주는 run config에 모델 이름, 옵티마이저, 학습률, 배치 크기, 에포크 수 등을 담는다. 발표자는 여러 사람이 같은 워크플로를 쓸 때 누가 돌린 실험인지 알 수 있도록 이름을 함께 넣는 습관을 권한다. 그다음 W&B를 초기화하며 실행을 보낼 프로젝트를 지정하는데, 여기에 이름을 비워 두면 무작위 단어가 붙어 나중에 그 실행을 다시 찾기 어려워진다. 실행 이름 역시 상세하게 붙이라는 조언이 반복된다. 실행이 쌓일수록 무작위 이름 사이에서 원하는 결과를 찾는 일이 힘들어지기 때문이다. 초기화까지 마치면 학습 결과가 자동으로 기록되기 시작한다. 발표자는 자신의 대시보드에서 세 번의 실행을 예로 보여 준다. 첫 실행은 그럭저럭이었고, 두 번째는 도중에 죽었으며, 세 번째는 하이퍼파라미터를 바꿔 더 나아졌다. 죽은 실행을 이어 가려면 해당 실행 페이지의 overview에서 run path를 열어 마지막 슬래시 뒤의 값을 run ID로 복사한 뒤, 노트북에서 resume 관련 옵션을 켜고 같은 프로젝트 이름으로 다시 실행하면 된다. 마지막으로 하이퍼파라미터 스윕이 간단히 소개된다. 탐색 방식을 순차나 무작위, 베이지안 방식 중에서 고르고 손실 최소화나 정확도 최대화 같은 목표를 정한 뒤 옵티마이저와 학습률, 배치 크기 등을 조합해 자동으로 훑는 기능이다. 발표자는 이 기능이 조금 더 고급 주제라 이번 시간에는 깊이 들어가지 않지만 익숙해지면 매우 강력하다고 덧붙인다.

학습을 시작하기 전 마지막 단계는 실행 설정이다. 이번 실행에서 무엇을 하는지 알려 주는 run config에 모델 이름, 옵티마이저, 학습률, 배치 크기, 에포크 수 등을 담는다. 발표자는 여러 사람이 같은 워크플로를 쓸 때 누가 돌린 실험인지 알 수 있도록 이름을 함께 넣는 습관을 권한다. 그다음 W&B를 초기화하며 실행을 보낼 프로젝트를 지정하는데, 여기에 이름을 비워 두면 무작위 단어가 붙어 나중에 그 실행을 다시 찾기 어려워진다. 실행 이름 역시 상세하게 붙이라는 조언이 반복된다. 실행이 쌓일수록 무작위 이름 사이에서 원하는 결과를 찾는 일이 힘들어지기 때문이다. 초기화까지 마치면 학습 결과가 자동으로 기록되기 시작한다.

주요 인사이트

• 실험 관리 도구의 가치는 기록 자체가 아니라 '중단 결정'에 있다. 에포크마다 손실 곡선이 보이면 아무것도 배우지 않는 실행을 끝까지 돌리는 낭비를 막을 수 있다는 것이 발표자가 첫손에 꼽은 이유다.
• 실행 이름과 프로젝트 이름을 대충 두면 나중에 자기 실험을 찾지 못한다는 조언은 사소해 보이지만, 실험 수가 수십 건을 넘어가는 순간 재현성의 실질적인 병목이 된다.
• 크래시 복구가 run ID라는 식별자 하나로 성립한다는 점은, 학습 파이프라인을 설계할 때 '어디까지 진행됐는가'를 외부에서 참조 가능한 형태로 남겨야 한다는 원칙을 보여준다.
• 무료 플랜 100GB라는 제약이 팀 단위로는 훨씬 빠르게 소모된다는 지적처럼, 아티팩트로 모델을 전부 올리는 습관은 비용 문제로 되돌아온다. 로컬 체크포인트와 원격 백업의 역할 분담이 필요하다.
• 수업이 도구 사용법을 별도 리사이테이션으로 떼어 다룬다는 사실 자체가, 딥러닝 실습에서 실험 관리가 부가 기능이 아니라 기본 소양으로 취급된다는 신호다.

자주 묻는 질문

관련 AI 소식