인공지능 가창 합성과 자동 안무 생성: 목소리를 복원하고 춤을 만드는 기술의 원리와 한계

핵심 메시지

• 가창 생성 모델은 노래를 만들어내는 생성자와 오디션 심사위원처럼 점수를 매기는 판별자를 맞붙여 학습시키는 구조로 만들어졌다.
• 사람의 음색과 창법을 따로 떼어 다루는 것이 핵심으로, 이 분리 덕분에 적은 데이터로도 쓸 만한 품질의 가창을 얻을 수 있었다.
• 세상을 떠난 가수의 옛 녹음에서 목소리만 추출해 모델을 만들면, 그가 부른 적 없는 노래를 그의 목소리로 들을 수 있다.
• 안무 생성은 댄스 영상에서 골격만 추출해 음악과 동작의 관계를 학습시키는 방식으로, 처음 듣는 곡에도 안무를 붙여준다.
• 연구자는 작곡가와 안무가가 대체되느냐는 질문에 분명히 아니라고 답하며, 창의성과 '왜'라는 물음은 사람의 몫이라고 말한다.

쉽게 이해하기

강연은 인공지능이 노래를 부르게 만드는 연구에서 출발한다. 알고리즘은 크게 두 부분으로 나뉘는데, 하나는 가창을 만들어내는 생성자이고 다른 하나는 그 소리를 듣고 잘했는지 못했는지 판정하는 판별자다. 오디션 프로그램의 심사위원에 비유되는 이 판별자를 속일 수 있을 만큼 생성자가 좋아질 때까지 둘을 번갈아 학습시키면, 높은 점수를 받는 가창 모델이 만들어진다.

이 연구의 가장 큰 특징은 사람의 발성을 두 갈래로 나눠 다룬다는 점이다. 하나는 누가 들어도 그 사람의 목소리라고 알아챌 수 있는 음색이고, 다른 하나는 음정을 높거나 낮게 가져가는 방식, 바이브레이션의 세기 같은 가창 스타일이다. 이 둘을 독립적으로 분리한 덕분에 많은 데이터를 모으지 않고도 품질 좋은 가창을 만들어낼 수 있었다고 연구자는 설명한다.

실제 사례는 인상적이면서 동시에 생각할 거리를 남긴다. 세상을 떠난 김광석의 옛 녹음에서 음원 분리로 목소리만 추출한 뒤, 미리 훈련해둔 기저 모델에 파인 튜닝을 적용해 그의 목소리 모델을 만들었다. 강연에서 재생된 곡은 2009년에 발매된 김범수의 '보고 싶다'로, 그가 세상을 뜬 뒤에 나온 노래다. 같은 방식으로 백지영의 목소리로 재탄생한 방탄소년단의 '유포리아'도 소개된다.

확장은 언어로도 이어진다. 실제로는 외국어를 하지 못하는 가수라도 같은 목소리로 세 가지 다른 언어의 노래를 부르게 만들 수 있었고, 강연에서는 청중에게 이 사람의 모국어를 맞혀보라고 물은 뒤 일본어가 모국어라고 밝힌다. 해당 언어로 부른 가창 데이터만 확보되면 이런 변환이 여러 갈래로 가능해질 것이라는 전망도 함께 제시된다.

후반부 주제는 안무다. 케이팝뿐 아니라 발레, 한국 전통 공연, 피겨 스케이팅까지 춤과 음악은 떼어놓기 어렵다는 관찰에서 출발해, 연구팀은 유튜브에서 댄스 영상을 모아 골격을 추출했다. 머리 모양이나 옷 색깔은 동작과 관계가 없고 학습만 어렵게 만들기 때문에 뼈대만 남긴 것이다. 여기에 오디오를 붙여 음악과 동작의 관계를 학습시키면, 훈련에 쓰이지 않은 새로운 곡에도 안무가 생성된다.

예술에는 정답이 없어 평가가 까다롭다는 점도 솔직하게 짚는다. 100점과 70점을 가르는 정량 지표를 찾기 어려워 일반인 대상 정성 평가를 진행했고, 원곡에 원래 붙어 있던 안무가 가장 높은 점수를 받았지만 그다음이 제안한 알고리즘이었다. 마지막으로 연구자는 창작 직군이 사라지느냐는 단골 질문에 아니라고 답한다. 지금까지 보여준 결과물은 전문가들이 만들어낸 것을 정답 삼아 그와 비슷하되 없던 것을 만든 데 그치며, 예술이 높이 평가하는 새로움은 그것을 훨씬 뛰어넘는 창의성을 요구한다는 이유에서다.

주요 인사이트

• 음색과 창법을 분리한다는 발상은 데이터가 적은 상황을 정면으로 겨냥한 설계다. 목소리의 정체성과 부르는 방식을 한 덩어리로 학습시키면 훨씬 많은 자료가 필요하지만, 나눠서 다루면 확보 가능한 분량으로도 결과를 낼 수 있다.
• 세상을 떠난 가수의 목소리를 되살리는 사례는 기술의 성취인 동시에 질문을 남긴다. 강연에서 재생된 곡은 그 가수가 생전에 들어본 적조차 없는 노래이며, 이런 재현이 어디까지 허용되는지는 기술이 아니라 사회가 답해야 할 문제다.
• 안무 생성에서 골격만 남기고 나머지를 버린 선택은 문제를 푸는 방식 자체를 보여준다. 학습에 방해가 되는 정보를 과감히 덜어내 범위를 좁히는 것이 성능을 끌어올리는 실질적인 수단이었다.
• 생성 결과의 품질을 숫자로 매길 수 없을 때 사람에게 직접 물어 순위를 확인하는 정성 평가가 현실적인 대안이 된다. 원래 안무를 이기지는 못했지만 그다음 자리를 차지했다는 결과는 한계와 가능성을 동시에 보여준다.
• 연구자가 그리는 그림은 대체가 아니라 시간의 재배치다. 창작에 이르기까지 오래 걸리는 고된 작업을 기술이 줄여주면, 사람은 그만큼 창의성에 더 몰두할 수 있고 결과적으로 음악 생태계가 더 다양해질 수 있다는 기대다.

자주 묻는 질문

관련 AI 소식