LLM으로 다음 직업 예측하기: 스탠퍼드 GSB 수전 애시가 40년 경력 데이터를 이력서로 바꿔 파인튜닝한 연구

핵심 메시지

• LLM의 다음 단어 예측 구조를 경력 데이터에 적용하면, 직업의 연속도 단어의 연속처럼 다룰 수 있다.
• 연구팀은 40년간 축적된 노동자 경력 설문을 이력서 형태의 글로 번역해 오픈소스 LLM에 학습시켰다.
• 이렇게 만든 모델은 개인의 다음 직업을 기존 어떤 모델보다 정확하게 예측했다.
• 성능의 핵심은 파인튜닝이다. 범용 모델은 많이 알지만 특정 영역의 세밀한 예측에는 약하기 때문이다.
• 같은 접근은 전자상거래의 고객 여정이나 의료의 검사·치료 순서처럼 순서를 가진 데이터 전반에 적용될 수 있다.

쉽게 이해하기

스탠퍼드 경영대학원의 수전 애시 교수는 오랫동안 기업과 과학자, 정부 기관에 데이터로 정책과 의사결정의 경제적 영향을 분석하는 방법을 조언해 왔다. 이 영상에서 그는 대규모 언어 모델이 데이터 과학 자체를 바꿔 놓았다고 말한다. 숫자를 계산하는 대신 글을 받아 글을 내놓는 모델이, 통계 모형에 넣을 수 있는 정보의 폭을 크게 넓혔다는 것이다.

출발점이 된 질문은 단순하다. 다음 단어를 예측하는 그 구조로 단어 말고 다른 것도 예측할 수 있을까. 애시 교수팀은 스탠퍼드 GSB의 골럽 캐피털 소셜 임팩트 랩에서 ChatGPT 같은 성과를 만든 것과 같은 아키텍처를 직업 예측에 맞게 바꿔 보기로 했다.

방법은 데이터의 형태를 바꾸는 것이었다. 연구팀은 40년에 걸쳐 노동자들의 경력을 물은 설문 데이터베이스를 가져와, 설문 응답을 이력서 형태의 글로 번역했다. 그리고 이 글로 된 이력서를 오픈소스 대규모 언어 모델에 넣어 모델을 맞춤화했다. 결과적으로 이 모델은 개인의 다음 직업을 다른 어떤 모델보다 정확하게 맞혔다.

여기서 결정적인 단계는 파인튜닝이다. 애시 교수는 거대 기업들이 인터넷의 모든 언어를 이해하는 모델을 만들기 위해 수억 달러의 컴퓨팅과 전력을 쓰지만, 그 결과물이 특수한 주제에서 우리가 원하는 지점까지 데려다주지는 못한다고 설명한다. 파인튜닝은 그들이 멈춘 자리에서 시작해, 필요한 전문 영역을 추가로 학습시키는 방식이다.

이 차이는 예측의 성격을 바꾼다. 파인튜닝을 거친 모델은 '엔지니어 다음에는 엔지니어링 매니저가 오기 쉽다'는 사실만 배우는 것이 아니라, 엔지니어로서 경력이 쌓일수록 엔지니어링 매니저가 될 확률이 어떻게 변하는지를 배운다. 애시 교수는 30년 경력에도 지금은 놀이터의 아이가 된 기분이라고 말하며, 파인튜닝한 LLM과 규칙 기반 의사결정, 전통적 머신러닝을 결합하는 시스템을 가장 흥미로운 흐름으로 꼽았다.

주요 인사이트

• 이 연구의 창의성은 새 모델을 만든 데 있지 않고 데이터의 형태를 바꾼 데 있다. 설문 응답을 이력서라는 글로 번역하는 순간, 경력 예측 문제가 언어 모델이 잘하는 문제로 바뀐다.
• 직업 전환 예측은 학문적 호기심을 넘어선 쓸모가 있다. 소매업이나 제조업이 위축되거나 AI가 일자리를 대체할 때를 대비해야 하는 정부, 직원의 경력 경로를 설계하거나 해고된 직원을 지원해야 하는 기업 모두에 필요한 정보다.
• 범용 모델의 크기가 곧 성능이 아니라는 점이 분명하다. 세밀하고 맞춤화된 예측이 목표라면, 수억 달러가 투입된 범용 모델보다 그 위에서 파인튜닝한 오픈소스 모델이 앞설 수 있다.
• '사람들이 한 번도 텍스트 문제라고 생각하지 않았던 문제'가 텍스트 문제로 재정의될 수 있다는 것이 핵심 메시지다. 전자상거래의 고객 여정, 환자가 거치는 검사와 치료의 순서가 모두 같은 틀에 들어간다.
• 애시 교수는 이런 맞춤형 데이터 과학이 널리 퍼지면 소규모 사업자를 포함한 기업들이 더 효율적으로 일하게 될 것으로 본다. 동시에 과학적 발견의 과정 자체가 뒤집혀, 최선이라 알던 방법들을 다시 의심하게 됐다고 말한다.

자주 묻는 질문

관련 AI 소식