콜모고로프-아르놀트 네트워크(KAN) 해설: MLP와의 차이·B-스플라인·해석가능성 정리

핵심 메시지

• MLP는 엣지마다 학습 가능한 '가중치'를 두지만, KAN은 엣지마다 학습 가능한 '함수'를 두고 노드에서 그 결과를 더한다.
• KAN의 각 함수는 B-스플라인(학습되는 제어점) 위에 고정된 기저 함수를 더한 형태이며, 실제로 학습되는 것은 제어점의 위치다.
• MLP의 이론적 근거가 보편 근사 정리라면, KAN의 근거는 다변수 함수를 단일 변수 함수들의 유한 합성으로 쓸 수 있다는 콜모고로프-아르놀트 표현 정리다.
• 구조를 바꾸지 않고 제어점 수만 늘리는 '그리드 확장'으로 특정 함수의 표현력을 국소적으로 키울 수 있다.
• B-스플라인의 국소 제어 성질 덕분에 KAN은 해석가능성과, 이전 지식을 덜 잊는 지속 학습에서 강점을 보인다.

쉽게 이해하기

이 영상은 2024년 공개된 콜모고로프-아르놀트 네트워크(KAN)를 다층 퍼셉트론(MLP)과 비교하며 기초부터 설명한다. 먼저 MLP는 각 층에서 입력을 가중치 행렬에 곱하고 편향을 더한 뒤 ReLU 같은 비선형 활성화를 적용한다. 비선형 활성화가 없으면 층을 아무리 쌓아도 결국 하나의 선형 관계로 무너져, XOR처럼 선형 분리되지 않는 데이터는 학습할 수 없다.

MLP의 이론적 근거는 보편 근사 정리다. 충분한 깊이·너비와 비선형 활성화가 있으면 임의의 함수를 원하는 오차 이내로 근사할 수 있다는 보장이다. 다만 이는 이론적 존재성일 뿐, 실제로는 연산량·데이터·하드웨어 정밀도·옵티마이저의 지역 최소값 같은 현실적 한계가 남는다.

KAN을 이해하려면 곡선 보간이 필요하다. 점 n개를 지나는 다항식은 차수가 높아지면 양 끝에서 심하게 요동친다. 이를 다스리기 위해 등장한 것이 베지에 곡선이며, 매개변수 t로 재귀적 선형 보간을 해 부드러운 곡선을 그린다. 베지에 곡선은 처음과 끝 점만 지나고 중간 제어점에는 가까이 다가갈 뿐이며, 각 제어점의 기여도는 기저 다항식으로 표현된다.

점이 많아지면 고차 베지에 곡선은 비싸지므로, 낮은 차수의 베지에 곡선 여러 개를 매듭(knot)에서 이어 붙인 것이 B-스플라인이다. 차수에 따라 C0·C1·C2 연속성을 얻고, 무엇보다 한 제어점을 움직이면 곡선의 국소 영역만 바뀌는 '국소 제어' 성질을 가진다. KAN은 콜모고로프-아르놀트 표현 정리를 근거로, MLP의 가중치 자리에 이런 학습 가능한 함수(B-스플라인+고정 기저)를 놓고 노드에서 더한다.

파라미터 관점에서 MLP가 n²·L개의 가중치를 갖는다면 KAN은 n²·L개의 함수를 갖고, 함수마다 제어점 위치에 해당하는 추가 파라미터가 붙는다. 대신 구조를 바꾸지 않고 제어점을 늘리는 그리드 확장이 가능하고, 학습된 함수를 살펴보면 사인·이차·지수 같은 원래 수식 구조를 복원해내 해석가능성이 높다. 또 국소 제어 덕분에 새 구간을 배울 때 해당 제어점만 움직여 이전에 배운 것을 덜 잊는다.

주요 인사이트

• KAN의 발상은 단순하다. '엣지의 가중치를 학습한다'를 '엣지의 함수를 학습한다'로 바꾼 것이며, 그 함수는 제어점만 움직이면 어떤 모양도 될 수 있는 B-스플라인이다.
• B-스플라인의 기저 함수는 제어점 수와 차수를 정하면 고정되므로, 실제 학습 부담은 오직 제어점의 위치에 집중된다.
• 구조를 건드리지 않고 제어점만 늘려 표현력을 키우는 그리드 확장은, 뉴런 수를 늘리면 다음 층까지 영향을 받는 MLP에는 없는 유연함이다.
• 규제로 활성값이 작은 함수를 잘라내면(프루닝) 네트워크가 데이터가 나온 원래 수식을 재현해, 의료처럼 설명 가능성이 필요한 분야에 유용하다.
• 새 데이터를 배울 때 국소 제어점만 움직이므로 이전 지식을 덜 잊는다는 점은, 파국적 망각에 취약한 MLP와 대비되는 KAN의 강점이다.

자주 묻는 질문

관련 AI 소식