타이니토치: 파이토치를 직접 만들며 배우는 20개 모듈 오픈소스 교육 커리큘럼 발표 정리

핵심 메시지

• 타이니토치는 파이토치를 가져다 쓰는 대신 텐서 클래스부터 직접 만들어보게 하는 20개 모듈짜리 오픈소스 교육 커리큘럼이다.
• '임포트하지 말고 직접 만들라'는 원칙 아래, 학습자가 작성한 코드로 신경망 역사 속 이정표를 차례로 재현한다.
• 문법은 파이토치를 그대로 따라가기 때문에 교육용 구현에서 실무 프레임워크로 넘어갈 때 배운 것이 버려지지 않는다.
• 발표자는 데이터센터 전력 소비 증가를 근거로, 내부 동작을 이해하는 엔지니어를 길러야 효율적인 시스템을 만들 수 있다고 주장한다.
• 머신러닝 경험은 필요 없고 파이썬과 선형대수 기초만 있으면 되며, 아직 강의실에서 검증되지 않은 초기 단계라 기여와 피드백을 받고 있다.

쉽게 이해하기

파이토치 컨퍼런스 발표에서 소개된 타이니토치는 머신러닝 프레임워크를 직접 만들어보게 하는 교육용 프로젝트다. 하버드의 비제이 자나파 레디 교수가 시작했고, 이날 발표는 이탈리아 제노바 대학의 안드레아 마티아 가라바뇨가 맡았다. 핵심 철학은 한 문장으로 요약된다. 임포트하지 말고 직접 만들어라.

발표자는 오늘날의 머신러닝 교육이 이미 만들어진 부품을 조합해 학습 스크립트를 짜는 데서 멈춘다고 지적한다. 쉽고 빠르지만, 왜 특정 옵티마이저가 더 많은 메모리를 요구하는지, 역전파 호출이 내부에서 무슨 일을 하는지는 끝내 알 수 없다는 것이다. 그래서 타이니토치는 텐서 클래스와 자동미분, 레이어와 학습 루프를 학습자가 직접 구현하게 한다.

커리큘럼은 네 단계로 나뉜다. 먼저 텐서·오토그래드·레이어·학습 루프로 기초를 쌓고, 다음으로 합성곱 신경망과 어텐션, 트랜스포머, 생성형 사전학습 모델까지 구조를 다룬다. 셋째 단계는 측정과 프로파일링을 배운 뒤 메모리와 연산량을 줄이는 최적화이며, 마지막은 한 학기를 마무리하는 종합 과제로 이어진다.

진행 방식은 명령줄 도구와 주피터 노트북을 결합했다. 각 모듈은 개념 설명과 골격 코드로 시작하고, 학습자가 빈 부분을 채우면 단위 테스트가 즉시 정답 여부를 알려준다. 통과한 코드는 실제로 자신이 만들어가는 프레임워크에 반영되고 통합 테스트까지 거친 뒤 진행률이 올라간다. 몇 개 모듈을 끝낼 때마다 '이정표'가 열려, 자신이 짠 코드로 초기 신경망 같은 역사적 실험을 재현하게 된다.

발표자는 이 프로젝트를 에너지 문제와 연결한다. 데이터센터 전력 소비가 향후 몇 년간 크게 늘어날 전망인데, 프레임워크 내부를 아는 사람이 늘어야 더 효율적인 시스템을 설계할 수 있고 결과적으로 비용도 낮출 수 있다는 논리다. 그는 1968년 나토 과학위원회가 소프트웨어 공학이라는 직군을 정립했던 사례를 들며, 지금은 신뢰성과 확장성을 책임질 'AI 엔지니어'를 길러야 할 시점이라고 주장했다.

주요 인사이트

• 교육용 구현체를 만들 때 가장 큰 걱정은 배운 것이 현업에서 쓸모없어지는 것인데, 타이니토치는 파이토치 문법을 그대로 채택해 이 간극을 줄였다.
• 단위 테스트로 정답을 확인하고 통과한 코드만 본체에 반영하는 구조는, 강사 없이 혼자 공부하는 사람에게도 즉각적인 피드백을 준다는 점에서 실용적이다.
• 생성형 모델 단계에서는 학습자가 직접 만든 코드로 텍스트 순서를 뒤집는 소형 모델을 학습시키고, KV 캐시를 구현해 실행 속도를 크게 끌어올리는 경험까지 다룬다.
• 발표자가 강조한 대비는 분명하다. 프레임워크를 쓰는 사람은 아주 많지만 프레임워크를 만드는 사람은 극소수이며, 그 격차가 신뢰성과 효율의 병목이 되고 있다는 것이다.
• 아직 강의실 검증을 거치지 않은 초기 단계이며 다음 겨울 학기에 시험 도입할 계획이라고 밝혔다. 오픈소스이므로 버그 제보와 코드 기여를 열어두고 있다.

자주 묻는 질문

관련 AI 소식