액체 신경망이란 무엇인가: 19개 뉴런으로 차를 모는 뇌에서 영감받은 작은 AI의 도전

핵심 메시지

• 딥러닝은 방정식의 미지수를 일부러 과도하게 늘려 더 나은 해를 얻는, 통계학의 직관과 어긋나는 접근을 택해 왔다.
• 모델을 키우면 일반화와 강건성은 좋아지지만, 소수 표본 성능 저하·추론 능력 정체·편향·막대한 탄소 발자국 같은 대가가 따른다.
• 액체 신경망은 동물 뇌의 뉴런과 시냅스 작동을 방정식으로 모델링해, 적은 수의 매개변수로 같은 특성을 노린 작은 신경망이다.
• 이 신경망은 학습이 끝난 뒤에도 들어오는 입력에 따라 스스로 적응하는 점이 특징이다.
• 단 19개의 뉴런으로 차선 유지 주행을, 30개의 뉴런으로 드론의 목표 접근 과제를 수행하며 판단 근거를 또렷이 추적할 수 있었다.

쉽게 이해하기

강연은 'n개의 방정식을 풀려면 n개의 미지수가 필요하다'는 익숙한 상식에서 출발한다. 그런데 딥러닝은 미지수를 오히려 과도하게 늘려 더 나은 해에 도달한다. 텍스트를 이미지로 바꾸는 AI에서, 3억 5천만 개 매개변수 모델은 요청을 제대로 못 그리지만 200억 개 모델은 캥거루가 후드티를 입고 시드니 오페라하우스 앞에 선 장면까지 충실히 그려낸다.

고전 통계학은 모델을 키우면 어느 지점까지 정확도가 오르다가 처음 본 데이터에서는 오히려 떨어진다고 봤다. 그러나 딥러닝 시대는 모델을 더 키우면 정확도가 다시 올라가는 '과매개변수 영역'을 보여줬다. 절대 정확도는 첫 정점과 크게 다르지 않지만, 이 영역에서 새로운 행동이 나타난다.

그 행동이란 같은 영역 안에서 학습하지 않은 새 과제까지 해내는 더 넓은 일반화, 그리고 입력을 흔들어도 출력이 잘 버티는 강건성의 향상이다. 다만 모든 게 좋아지지는 않는다. 소수로 대표되는 표본에서는 성능이 떨어지고, 논리를 찾아내는 추론 능력은 물리 시뮬레이터를 붙여주지 않는 한 규모를 키워도 그대로다. 여기에 편향과 공정성, 거대 모델의 탄소 발자국과 책임 있는 배치라는 숙제가 남는다.

발표자는 이 거대화의 공간에서 벗어나, 적은 매개변수로도 같은 특성을 갖추고 결정에 책임질 수 있는 시스템을 찾고자 했다. 방법은 근원으로 돌아가는 것, 즉 인간을 넘어 동물의 뇌까지 들여다보는 일이었다. 뇌의 계산 단위를 살펴 뉴런과 시냅스의 작동을 방정식으로 옮기고 이를 결합해 만든 것이 바로 액체 신경망이다. 이 신경망은 학습 후에도 들어오는 입력에 따라 스스로 적응한다.

실제 응용에서 액체 신경망은 카메라 입력으로 조향각을 만들어 차선을 유지하는데, 이 제어를 단 19개의 뉴런이 해낸다. 뉴런 수가 적은 덕분에 주행 결정을 내릴 때 각 뉴런이 무엇을 하는지 짚어낼 수 있고, 주의 지도를 보면 도로의 가장자리와 지평선을 본다. 입력에 잡음을 더해도 학습한 표상에 가깝게 주의를 유지하는데, 이는 다른 AI에서 보기 어려운 특성이다. 드론이 비정형 환경에서 목표 물체로 다가가는 과제에서도, 일반 딥러닝은 배치 후 행동이 흩어지고 조명에만 주의를 쏟은 반면, 30개 뉴런의 액체 신경망은 목표에 집중하고 나머지를 무시했다. 그는 '규모가 전부는 아니며, 더 똑똑한 설계가 답일 수 있다'는 말로 강연을 맺는다.

주요 인사이트

• 딥러닝의 성과는 '미지수를 과도하게 늘린다'는, 전통 수학·통계의 직관을 거스르는 선택에서 비롯됐다는 점을 강연은 분명히 한다.
• 규모를 키우면 일반화와 강건성은 오르지만 소수 표본 성능과 추론은 그렇지 않다는 사실은, 무작정 키우는 전략의 한계를 보여준다.
• 뉴런 수가 적다는 것은 단지 가볍다는 뜻을 넘어, 각 뉴런의 역할을 추적해 결정에 책임질 수 있는 해석 가능성으로 이어진다.
• 잡음이 섞여도 주의를 유지하고 조명이 아닌 목표에 집중한 사례는, 강건성과 해석 가능성이 큰 모델만의 전유물이 아님을 시사한다.

자주 묻는 질문

관련 AI 소식