음악 인공지능 연구 현황 정리: 자동 화성 생성부터 AI 피아니스트와 가창 합성까지

핵심 메시지

• 멜로디와 화성이 함께 적힌 악보 데이터를 대량으로 학습시키면, 멜로디만 주어져도 그에 어울리는 화성 진행을 만들어내는 인공지능을 만들 수 있다.
• 기존 자동 화성 알고리즘은 같은 코드를 반복해서 쓰는 경향이 있었지만, 학습 기반 모델은 원곡과 다른 코드를 고르면서도 작곡가들이 실제로 서로 바꿔 쓰는 대체 화음을 선택했다.
• 악보와 전공 연주자의 실제 연주를 짝지은 데이터를 특수 피아노 장치로 수집해 학습시키면, 처음 보는 악보도 사람이 친 것처럼 표현을 입혀 연주할 수 있다.
• 쇼팽 작품으로 진행한 블라인드 청취에서 청중 상당수가 인공지능의 연주를 사람의 연주로 지목했고, 강연자는 이를 음악판 튜링 테스트를 통과한 것에 빗댔다.
• 가창 합성은 문자열만 입력받는 음성 합성과 달리 멜로디라는 악보 정보를 하나 더 입력받아야 하며, 학습을 마치면 그 사람이 한 번도 부른 적 없는 노래도 그 목소리로 만들어낼 수 있다.

쉽게 이해하기

강연은 음악 창작을 크게 두 단계로 나눠서 인공지능이 각 단계에 어떻게 들어오는지를 설명한다. 앞 단계는 무에서 유를 만들어내는 과정, 즉 악보를 쓰는 일이고, 뒷 단계는 이미 있는 악보를 악기나 목소리로 실제 소리로 바꾸는 연주다. 첫 번째로 소개된 자동 화성 생성은 앞 단계에 해당한다. 서양 조성 음악에서 멜로디와 화성은 따로 노는 것이 아니라 깊게 얽혀 있는데, 누구나 멜로디는 흥얼거릴 수 있어도 거기에 어떤 화성을 붙일지는 훈련받지 않은 사람에게 쉽지 않기 때문이다.

연구팀은 멜로디와 화성이 함께 주어진 악보 데이터로 모델을 학습시킨 뒤, 멜로디만 입력했을 때 어떤 화성을 만들어내는지를 시험했다. 원곡이 원래 갖고 있던 화성 진행은 당연히 자연스러웠고, 기존 알고리즘의 결과는 음악적으로 틀렸다고 할 수는 없지만 같은 코드가 반복해서 나오는 경향이 뚜렷했다. 반면 학습 기반 모델은 원곡과 다른 코드 진행을 내놓으면서도 자연스러웠는데, 그 코드들이 실제 작곡가와 창작자들이 서로 바꿔 쓰는 대체 관계의 화음이었기 때문이다.

두 번째는 연주다. 바흐나 파가니니 같은 작곡가들은 뛰어난 연주자이기도 했지만 녹음 기술이 없던 시대에 활동해 그들의 연주를 들을 방법이 없다. 연구진은 이 문제의식에서 출발해, 카이스트와 서울대 연구자들이 함께 이른바 AI 피아니스트 연구를 진행했다. 우선 단조로운 악보에서 사람이 친 것 같은 연주를 만들어낼 수 있는지부터 확인하기 위해, 특수 피아노 장치로 악보와 전공 연주자의 연주를 짝지은 대량의 데이터를 모았다.

학습을 마친 모델에 쇼팽 작품의 악보를 주고 세 가지 음원을 만들어 청중에게 들려줬다. 하나는 악보를 기계적으로 정확히 재현한 것, 하나는 실제 사람의 연주, 나머지 하나는 인공지능의 연주였다. 정답은 두 번째였지만 세 번째를 사람의 연주로 지목한 청중이 많았고, 발표자는 사람과 알고리즘을 구별하지 못하는 상태라는 점에서 음악에서의 튜링 테스트를 통과한 셈이라고 표현했다.

마지막은 가창 합성이다. 내비게이션 안내 음성처럼 문자열을 사람 말소리로 바꾸는 것이 음성 합성이라면, 노래는 여기에 멜로디라는 입력이 하나 더 필요하다. 시연에서 들려준 목소리는 학습 데이터에 참여한 가창자의 것이었지만, 그 사람은 해당 노래를 한 번도 부른 적이 없었다. 모델이 만들어지고 나면 멜로디와 가사만 주어져도 얼마든지 노래를 계속 생성할 수 있다는 설명이다.

주요 인사이트

• 음악 AI를 평가할 때 정답과 얼마나 같은지를 따지는 것은 적절하지 않을 수 있다. 자동 화성 생성 사례에서 모델이 고른 코드는 원곡과 달랐지만, 음악적으로는 서로 교환 가능한 선택지였기 때문이다. 창작 영역에서는 정답 일치도보다 '허용 가능한 대안의 범위 안에 있는가'가 더 나은 기준이 된다.
• 기존 알고리즘의 약점이 '틀림'이 아니라 '단조로움'이었다는 점은 시사적이다. 규칙 기반 접근은 안전한 코드를 반복하는 쪽으로 수렴하기 쉬운 반면, 대량의 실제 악보에서 학습한 모델은 상황에 따라 다른 선택을 할 여지를 갖는다.
• 연주 재현 연구가 악보-연주 쌍 데이터 수집에서 출발했다는 점은 이 분야의 병목이 알고리즘이 아니라 데이터에 있음을 보여준다. 사람의 연주를 정밀하게 기록하려면 특수 피아노 장치 같은 하드웨어가 먼저 필요하다.
• 블라인드 테스트에서 사람과 AI 연주를 구별하지 못했다는 결과는, 뒤집어 보면 녹음이 남아 있는 명연주자들의 연주 특성을 모사하는 후속 연구의 문이 열렸다는 뜻이기도 하다. 강연자도 이를 다음 단계 과제로 언급했다.
• 가창 합성이 음성 합성보다 어려운 이유가 입력이 하나 더 늘어나기 때문이라는 설명은, 음악 AI의 난이도가 '무엇을 말할지'뿐 아니라 '어떤 높이와 길이로 말할지'까지 동시에 맞춰야 하는 데서 온다는 점을 분명히 한다.

자주 묻는 질문

관련 AI 소식