파인튜닝 쉽게 이해하기: 전이학습으로 이미 학습된 신경망을 새로운 작업에 재사용하는 원리와 구현 방법

핵심 메시지

• 파인튜닝은 이미 어떤 작업을 위해 학습된 모델을, 비슷한 다른 작업에 맞게 조금씩 조정해 재활용하는 방법이다.
• 이는 전이학습(transfer learning), 즉 한 문제를 풀며 얻은 지식을 관련된 새 문제에 적용하는 개념과 밀접하게 연결된다.
• 모델을 처음부터 만들면 층의 종류·순서·개수, 규제, 학습률 등을 시행착오로 정해야 하지만, 파인튜닝은 이미 학습된 특징을 그대로 활용해 이 부담을 크게 줄인다.
• 구현은 원래 모델을 불러와 마지막 층(들)을 떼어내고 새 작업용 층을 붙인 뒤, 기존 층의 가중치는 동결하고 새 층만 학습시키는 방식이다.
• 신경망 앞쪽 층은 가장자리·모양·질감 같은 일반적 특징을, 뒤쪽 층은 원래 작업에 특화된 특징을 학습하므로 두 작업의 유사도에 따라 떼어낼 층 수가 달라진다.

쉽게 이해하기

이 영상은 신경망을 직접 만들고 학습시킬 때 활용할 수 있는 '파인튜닝(fine-tuning)'의 개념을 설명한다. 파인튜닝은 전이학습과 아주 가깝다. 전이학습은 한 문제를 풀며 얻은 지식을 관련된 새 문제에 적용하는 것으로, 예컨대 자동차를 인식하도록 배운 지식을 트럭 인식 문제에 활용하는 식이다. 파인튜닝은 그 전이학습을 구체적으로 실현하는 한 방법이다.

파인튜닝이 매력적인 이유는 처음부터 모델을 만드는 일이 그 자체로 큰 작업이기 때문이다. 밑바닥부터 설계하려면 층을 몇 개 쓸지, 어떤 종류의 층을 어떤 순서로 놓을지, 각 층에 노드를 몇 개 둘지, 규제와 학습률은 얼마로 할지를 모두 시행착오로 정해야 한다. 반면 우리 작업과 조금이라도 비슷한 문제를 이미 잘 풀어낸 모델이 있다면, 그 모델이 학습한 것을 가져와 우리 작업에 적용할 수 있다.

물론 두 작업이 다르면 원래 모델이 배운 정보 중 일부는 새 작업에 맞지 않고, 새로 배워야 할 정보도 생긴다. 자동차만 학습한 모델은 트럭의 짐칸을 본 적이 없으니 그런 특징은 새로 익혀야 한다. 하지만 가장자리·모양·질감, 나아가 헤드라이트·문손잡이·앞유리·타이어처럼 자동차에서 배운 특징 상당수는 트럭 분류에도 그대로 도움이 된다.

기술적 구현은 이렇게 이뤄진다. 먼저 자동차 문제에 쓰던 원래 모델을 불러온 뒤, 예를 들어 마지막 층만 떼어낸다. 그 마지막 층은 이미지가 자동차인지 아닌지를 분류하던 층이었다. 이를 제거하고 트럭인지 아닌지를 분류할 새 층을 붙인다. 작업이 많이 다르면 마지막 한 층이 아니라 여러 층을 떼어내고 여러 층을 새로 붙일 수도 있다.

구조를 바꾼 다음에는 원래 모델에서 가져온 층들을 '동결(freeze)'한다. 동결이란 새 데이터로 학습할 때 그 층들의 가중치가 갱신되지 않도록 고정하는 것이다. 즉 새로 추가·수정한 층의 가중치만 학습되고 나머지는 그대로 유지된 채 새 데이터로 다시 학습하면 파인튜닝이 완성된다.

주요 인사이트

• 파인튜닝의 본질은 '재사용'이다. 유사한 작업을 잘 해낸 모델이 이미 학습해 둔 특징을 빌려 오면, 밑바닥부터 설계·검증하는 막대한 수고를 피할 수 있다.
• 신경망은 층 위치에 따라 학습하는 특징의 성격이 다르다. 앞쪽은 가장자리·모양·질감 같은 일반 특징을, 뒤쪽은 원래 작업에 특화된 특징을 담기 때문에 두 작업의 유사도가 떼어낼 층 수를 좌우한다.
• 가중치 '동결'은 파인튜닝의 핵심 장치다. 기존 층을 고정해 이미 익힌 지식을 보존하면서, 새 층만 학습시켜 새 작업에 필요한 부분만 효율적으로 익히게 한다.
• 자동차→트럭 예시처럼, 원래 작업에 없던 요소(트럭 짐칸)는 새로 배워야 하지만 공유되는 시각적 특징이 많을수록 전이의 이득이 커진다.

자주 묻는 질문

관련 AI 소식