작은 AI 음악 모델 활용법: MIT 미디어랩이 실시간 즉흥 연주에 AI를 붙이는 방식

핵심 메시지

• 세상의 모든 음악을 학습한 거대 모델이 아니라, 한두 시간 분량의 녹음만 학습한 아주 작은 모델을 쓴다. 어떤 소리를 낼 수 있는지 알기 때문에 창작 과정 어디에 놓을지 의도적으로 정할 수 있다.
• 상업용 AI 음악 도구는 통계적으로 가장 평균적인 결과물을 낸다. 모두가 같은 확률 분포에서 뽑아 쓰면 결과물도 서로 닮게 된다.
• 연구의 목표는 음악을 '풀어야 할 문제'로 보는 것이 아니라, 평생 훈련해온 연주자의 언어를 전에 없던 방식으로 확장하는 것이다.
• 실시간 무대에서 AI가 연주자의 즉흥에 반응한다. 미리 만들어 타임코드에 맞춰 재생하던 방식으로는 불가능했던 일이다.
• 음악은 완성된 결과물이라는 명사이자, 지금 이 순간 만들어지는 동사다. 청중은 음악이 만들어지는 장면 자체를 보고 싶어 한다.

쉽게 이해하기

MIT 미디어랩의 마나스위 미슈라는 이른 아침의 조용한 건물에서 소리를 내며 시연을 시작한다. 그가 쓰는 모델은 자기 목소리를 받아 물소리나 타악기 소리로 옮긴다. 특이한 것은 규모다. 이 모델은 전 세계 텍스트나 음악을 학습한 것이 아니라, 한두 시간 분량의 녹음만 학습했다. 그래서 지금 들리는 타악기의 음색 하나만 알고 있다.

작게 만드는 데는 이유가 있다. 모델이 어디에서 왔고 어떤 소리를 낼 수 있는지 알면, 창작 과정의 어느 지점에 그것을 놓을지 의도적으로 결정할 수 있기 때문이다. 반대로 상업용 AI 음악 도구는 통계적으로 가장 평균적인 결과를 낸다. 록 음악을 만들어 달라고 하면 가장 평균적인 록 음악이 나온다. 모두가 같은 도구를 쓰면 같은 확률 분포에서 표본을 뽑는 셈이라 작업물이 서로 비슷해진다는 것이 그의 진단이다.

그래서 연구팀이 만들려는 것은 음악가가 그 확률의 중심에서 벗어난 자리를 탐색하도록 돕는 도구다. 세대마다 자기 시대의 도구와 가치에 반응하며 새로운 음악을 만들어왔고, 하나의 알고리즘이나 매체로 음악이 해결되지는 않는다는 전제가 깔려 있다.

이 접근은 무대에서 검증된다. 목소리를 물이나 타악기로 바꾸는 알고리즘을 연주자의 손에 쥐여주고, 공연 중에 무엇을 어떻게 바꿀지 매핑을 함께 설계한다. 실제 공연에서는 작곡가이자 연구소를 이끄는 토드 마코버가 실내악단 세종솔로이스츠 앞에 서고, 연구자는 무대 위에서 연주자들의 마이크 입력을 받아 지휘를 따라가며 물소리의 흐름을 움직인다. 연주자들이 즉흥으로 연주하면 AI가 그에 반응하는데, 미리 만든 소리를 타임코드에 맞춰 재생하던 이전 방식으로는 할 수 없던 일이다.

그는 악기를 새로운 기술을 탐색하는 통로로 본다. 뼈에 구멍을 뚫어 만든 피리에서 어쿠스틱 악기, 금속과 청동, 전자 악기와 터치스크린까지 인류는 새 기술이 나올 때마다 그것으로 악기를 만들어왔다는 것이다. 물리학과 신호처리를 전공한 그는 엔지니어와 컴퓨터 과학자, 신경과학 연구자들과 함께 악기를 만들면서 동시에 전문 연주자와 형태를 다듬는다. 그리고 음악에는 완성된 대상으로서의 명사형과 지금 연주되고 만들어지는 동사형이 함께 있으며, 마지막 음에 도달해야 성공하는 것이 아니라 벌어지고 있는 그 순간이 중요하다고 말한다.

주요 인사이트

• 작은 모델의 장점은 성능이 아니라 통제 가능성이다. 학습 데이터가 무엇인지 알기 때문에 결과의 범위를 예측할 수 있고, 창작 과정에서 책임 있게 배치할 수 있다.
• 생성형 도구가 보편화될수록 결과물이 균질해지는 문제는 음악에만 해당되지 않는다. 같은 모델을 같은 방식으로 쓰는 사람이 많아질수록 산출물은 평균에 수렴한다.
• AI를 연주자의 대체재가 아니라 악기로 규정하면 설계 목표가 달라진다. 무엇을 자동으로 만들어줄 것인가 대신, 연주 중에 무엇을 어떻게 조절하게 할 것인가가 문제가 된다.
• 실시간성은 기술 사양이 아니라 예술적 조건이다. 즉흥 연주에 반응할 수 있어야 연주자와 AI가 같은 시간 안에서 함께 움직인다.
• AI가 학습 데이터를 그대로 복제하는 데 그치지 않고 실수하고 벗어나도록 허용하는 것이, 이 연구가 보는 가능성의 출발점이다.

자주 묻는 질문

관련 AI 소식