음악과 인공지능 강연 정리: 사연 맞춤 선곡부터 AI 작곡가까지 어디까지 가능해졌나

핵심 메시지

• 글로 표현된 사연의 맥락을 읽어 어울리는 곡을 고르는 일은 인공지능이 다룰 수 있는 문제다.
• 음악은 미술·조각과 달리 악보라는 중간 단계를 거쳐, 연주자의 해석을 통해서야 감상자에게 닿는다.
• 같은 악보라도 기계적으로 재생한 미디 음원과 사람 연주자의 음원은 전혀 다른 감동을 준다.
• 소니 플로우 머신스, 구글 마젠타, 뮤즈넷 등 주요 연구 그룹이 AI 작곡을 오래 다뤄왔다.
• 언어와 음악은 모두 체계적인 기호 체계라는 공통점이 있어, 같은 알고리즘이 양쪽에 쓰인다.

쉽게 이해하기

강연은 라디오 사연 같은 글에서 출발한다. 오래 사귄 연인과 헤어진 사람이 마음을 달랠 노래를 청한 사연에 세 곡을 들려주고 어느 것이 실제 신청곡인지 묻는 방식이다. 많은 청중이 정답이 아닌 곡을 골랐지만, 그 곡 역시 이별의 아픔과 남은 미련이라는 사연의 결에 잘 맞는 선택이었다.

여기서 발표자는 글의 맥락에 어울리는 음악을 추천하는 기술의 쓰임새를 제안한다. 매일 일기를 쓴다면 그 글에는 하루의 감정과 상황이 솔직하게 담기는데, 거기에 맞는 곡을 하루에 하나씩 골라주는 서비스가 가능하다는 것이다. 감상이 아니라 텍스트 이해의 문제로 음악을 다루는 관점이다.

강연의 중심에는 음악이 다른 예술과 구별되는 지점이 놓인다. 화가는 캔버스에 직접 붓을 대고, 조각가는 대리석을 직접 깎아 완성품을 만든다. 우리가 보는 것도 바로 그 결과물이다. 반면 작곡가의 착상은 대개 악보라는 중간 단계를 거친다. 악보 자체도 창작물이지만 일반 감상자는 악보를 보고 감동하지 않는다. 연주자가 그것을 소리로 바꿔 놓았을 때 비로소 음악이 된다.

이 차이는 같은 악보에서 나온 세 음원을 비교하며 분명해진다. 첫 번째는 악보의 음정과 악기 구성, 빠르기를 정확히 옮긴 미디 음원인데, 정확하지만 어딘가 부족하게 들린다. 나머지 둘은 사람 연주자가 친 음원이었다. 나아가 쇼팽의 곡을 마림바 두 대로 나눠 연주하거나 전자 기타로 즉흥 환상곡을 연주하는 사례처럼, 하나의 악보는 전혀 다른 방식으로 재해석될 수 있고 그 2차 창작에도 큰 비중이 실린다.

AI 작곡 이야기가 이어진다. 베토벤 250주년을 맞아 그가 구상하다 남긴 10번 교향곡을 인공지능으로 완성하려는 프로젝트가 기획됐고, 공연은 코로나19로 연기됐다. 소니의 플로우 머신스는 바흐의 건반 음악을 학습한 디바흐를 내놨고, 베토벤의 환희의 송가를 재즈나 삼바, 록으로 편곡하는 시도도 있었다. 구글 마젠타의 AI 듀엣은 사람이 건반을 치면 실시간으로 응답하듯 연주한다. 텍스트 생성 모델을 기반으로 만들어진 뮤즈넷은 언어와 음악이 모두 기호 체계라는 공통점을 이용한 사례다.

주요 인사이트

• 음악 추천을 취향 데이터가 아니라 글의 맥락 이해 문제로 재정의하면, 일기나 메모 같은 일상 텍스트가 새로운 입력이 된다.
• 악보와 연주의 분리는 음악에서 AI가 개입할 지점이 최소 두 곳임을 뜻한다. 작곡 단계와 연주·해석 단계는 서로 다른 문제다.
• 미디 음원이 정확한데도 부족하게 들린다는 사실은, 악보에 적히지 않은 해석이 감동의 큰 몫을 차지한다는 증거다.
• 언어와 음악이 공유하는 기호 체계라는 성질 덕분에, 글쓰기용으로 만든 알고리즘이 훈련 데이터만 바꿔 작곡에 쓰일 수 있었다.
• AI 작곡은 연구실 시연에 머물지 않고, 음악 저작권 단체에 등록되고 앨범을 내며 매출을 올리는 서비스 단계까지 왔다.

자주 묻는 질문

관련 AI 소식