AI 모델 개발 5단계 정리: 데이터 준비부터 학습, 검증, 튜닝, 배포까지 파운데이션 모델 워크플로

핵심 메시지

• 예전에는 특화 AI 모델을 만들 때마다 데이터 수집과 라벨링부터 전부 다시 시작해야 했지만, 파운데이션 모델은 이 방식을 바꿨다.
• AI 모델 제작은 데이터 준비, 학습, 검증, 튜닝, 배포의 다섯 단계로 나뉜다.
• 가장 오래 걸리고 비용이 큰 사전 학습은 한 번만 치르면 되고, 이후에는 파인튜닝으로 몇 시간에서 며칠 만에 특화 모델을 만들 수 있다.
• 데이터 파일과 모델 카드를 버전으로 관리하는 것이 AI 거버넌스의 실체다.
• 4단계부터는 AI 전문가가 아닌 애플리케이션 개발자가 직접 모델을 다룬다.

쉽게 이해하기

딥러닝은 고객 상담 챗봇이나 은행 사기 탐지처럼 특정 업무에 최적화된 AI 모델을 가능하게 했다. 다만 조건이 있었다. 충분한 데이터를 모으고, 라벨을 붙이고, 그것으로 학습과 배포를 마쳐야 했다. 문제는 제조업 예지 정비처럼 새로운 분야의 모델이 필요해질 때마다 데이터 선별과 라벨링, 모델 개발, 학습, 검증을 처음부터 되풀이해야 했다는 점이다.

파운데이션 모델은 이 구조를 뒤집었다. 여러 팀이 각자 모델을 처음부터 만드는 대신, 역량을 모아 하나의 기반 모델을 만들어 두고 그것을 파인튜닝해 특화 모델로 바꾼다. 프로그래밍 언어 번역 모델이 필요하다면 기반 모델에 프로그래밍 언어 데이터를 붙여 조정하는 식이다. 영상은 이 과정을 다섯 단계로 나눠 설명한다.

1단계는 데이터 준비다. 학습에는 수십 개 영역에 걸쳐 페타바이트 규모의 데이터가 필요하고, 공개 데이터와 자체 보유 데이터를 함께 쓴다. 이 데이터는 어떤 것이 영어이고 독일어인지, 어떤 것이 자바 코드인지 분류되고, 혐오 표현과 욕설, 저작권이 걸린 자료, 민감한 개인정보, 중복 데이터가 걸러진다. 그렇게 남은 결과물이 '베이스 데이터 파일'이며, 여기에 버전과 태그를 붙여 두면 무엇으로 학습했고 어떤 필터를 적용했는지 나중에 증명할 수 있다.

2단계는 학습, 3단계는 검증이다. 생성형 모델인지 인코더 전용 모델인지, 경량 모델인지 파라미터가 많은 모델인지 용도에 맞춰 기반 모델을 고른 뒤 데이터를 토큰으로 쪼갠다. 데이터 파일 하나가 수조 개 토큰이 되기도 하고, 대규모 모델은 수천 대의 GPU로 몇 달이 걸린다. 학습이 끝나면 벤치마크로 성능을 측정하고, 그 결과를 모델 카드에 기록한다. 여기까지는 주로 데이터 과학자의 몫이다.

4단계 튜닝부터는 애플리케이션 개발자가 등장한다. 이들은 AI 전문가일 필요가 없고, 좋은 답을 끌어내는 프롬프트를 만들거나 자체 데이터를 추가해 모델을 다듬는다. 처음부터 모델을 만드는 것과 달리 몇 시간에서 며칠이면 끝난다. 5단계는 배포로, 퍼블릭 클라우드의 서비스로 띄우거나 네트워크 말단에 가까운 애플리케이션에 심어 놓고 계속 개선해 나간다. 영상은 마지막에 이 다섯 단계를 지원하는 자사 플랫폼 왓슨x와 그 세 구성 요소를 소개한다.

주요 인사이트

• 비용 구조가 바뀌었다는 점이 핵심이다. 수천 대 GPU와 수개월이 드는 부담은 기반 모델을 만드는 쪽이 한 번 감당하고, 그 뒤를 잇는 조직들은 튜닝 비용만 치른다.
• 필터링은 성능 문제가 아니라 책임 문제에 가깝다. 저작권물과 개인정보를 걸러 낸 기록이 데이터 파일에 남아야 나중에 학습 과정을 설명할 수 있다.
• 모델 카드와 데이터 카드는 형식적인 문서가 아니라, 어떤 데이터로 무엇을 만들었는지 추적하는 거버넌스의 뼈대다.
• AI 전문가만 모델을 다룰 수 있다는 전제가 4단계에서 깨진다. 조직 입장에서는 인력 병목이 줄어드는 대목이다.
• 다만 이 설명은 IBM이 자사 플랫폼의 구성을 전제로 정리한 흐름이라는 점은 감안해서 볼 필요가 있다.

자주 묻는 질문

관련 AI 소식