스파이킹 신경망(SNN) 입문: 뇌를 닮은 3세대 신경망의 원리와 LIF 뉴런·학습 방법

핵심 메시지

• 스파이킹 신경망(SNN)은 연속값 대신 이산적인 '스파이크(발화)'로 정보를 주고받는 3세대 신경망이다.
• 이벤트 기반으로 동작해 에너지 효율을 노리며, 막전위 적분·임계값 발화·불응기라는 생물학적 원리를 따른다.
• 핵심 뉴런 모델은 누설 적분-발화(LIF) 뉴런으로, 저항-축전기(RC) 회로로 표현된다.
• 실수 데이터를 스파이크로 바꾸려면 레이트 코딩·레이턴시 코딩·델타 변조 같은 인코딩이 필요하다.
• 발화 함수가 미분 불가능해 대리 경사, STDP, ANN 변환, 포워드-포워드 같은 방법으로 학습한다.

쉽게 이해하기

신경망의 세대 진화부터 보자. 1세대는 1943년 MP 뉴런(논리 계산만 하고 매개변수는 사람이 지정)과 1957년 퍼셉트론으로, 계단 함수를 써서 비선형 문제를 풀지 못했고 계단 함수가 미분 불가능해 동적으로 학습하기 어려웠다. 2세대는 미분 가능한 활성화 함수로 역전파를 쓰고 은닉층으로 더 깊어져 비선형 함수를 근사하게 된 오늘날의 심층신경망(MLP, CNN 등)이다.

그러나 2세대는 뉴런의 구조는 흉내 내도 뉴런 사이 정보 전달의 실제 메커니즘은 모사하지 못하고, 시간 정보를 본래 담지 못하며, GPU로 기울기를 병렬 계산하느라 에너지를 많이 쓴다. 그래서 등장한 3세대가 스파이킹 신경망이다. 연속된 숫자 대신 이산적인 스파이크로 정보를 전달하고, 이벤트 기반이라 에너지 효율이 높으며 역전파에 의존하지 않는다. SNN은 막전위 적분, 임계값 초과 시 발화, 발화 후 불응기라는 세 가지 생물학적 원리에 기반한 누설 적분-발화(LIF) 뉴런을 쓴다.

스파이크가 핵심이므로 데이터를 스파이크로 바꾸는 인코딩이 필요하다. 이미 스파이크 형태가 아닌 픽셀 같은 실수 값은 세 방법으로 변환한다. 레이트 코딩은 값을 0~1로 정규화해 각 시간 단계에서 스파이크가 발생할 확률로 삼고, 레이턴시 코딩은 값이 클수록 더 빨리 발화시키며, 델타 변조는 연속한 값의 차이를 임계값과 비교해 양수면 켜짐 스파이크, 음수면 꺼짐 스파이크를 내는 방식으로 시계열 데이터에 적합하다.

LIF 뉴런은 저항과 축전기로 이뤄진 RC 회로로 설명된다. 막(축전기)에 전하가 쌓이고 채널(저항)로 새어 나가며, 막전위가 임계값을 넘으면 스파이크를 내고 불응기에 들어가 휴지 전위로 돌아간다. 이 회로 방정식을 이산화하면 이전 막전위와 현재 입력으로 출력이 정해지는, 일반 신경망과 닮은 형태가 된다. 문제는 발화 함수가 미분 불가능해 기울기가 0이나 무한이 되는 '데드 뉴런' 문제가 생긴다는 점이다. 이를 풀려고 순전파에선 원래 발화 함수를, 역전파에선 시그모이드처럼 미분 가능한 함수의 기울기로 근사하는 대리 경사를 쓰거나, 발화 순서에 따라 연결을 강화·약화하는 비지도 규칙 STDP(트레이스 기반으로 계산량을 줄인 개선판 포함), 잘 학습된 ANN을 SNN으로 바꾸는 변환법, 힌튼이 제안한 두 번의 순전파만 쓰는 포워드-포워드 등을 사용한다.

마지막으로 스파이크를 사람이 이해할 출력으로 되돌리는 디코딩이 있다. 스파이크 수, 첫 스파이크 시점, 스파이크 간격, 또는 가장 흔히 쓰이는 마지막 층의 막전위를 그대로 출력으로 삼는다. 하드웨어가 중요한데, 일반 CPU·GPU에서는 하나의 값을 표현하려고 여러 시간 단계로 펼쳐야 해 오히려 계산량이 늘어 SNN의 에너지 이점이 사라진다. FPGA 구현도 디지털 논리로 뉴런을 흉내 내는 수준이고, 뉴런과 시냅스를 전용 회로로 만들어 스파이크가 없으면 계산도 전력도 들지 않는 전용 뉴로모픽 칩에서야 비로소 SNN의 에너지 효율이 실현된다.

주요 인사이트

• SNN의 강점인 에너지 효율은 이벤트 기반 동작과 전용 뉴로모픽 하드웨어에서야 실현되며, 일반 CPU·GPU에서는 오히려 손해다.
• 미분 불가능한 발화 함수라는 근본 난점을 대리 경사·STDP 등 여러 우회로로 푼다.
• STDP는 발화의 선후 관계로 연결 강도를 조절하는 생물학적이고 비지도적인 학습 규칙이다.
• 같은 정보를 표현하려고 시간축으로 펼치기 때문에 일반 하드웨어에서는 계산량이 늘어난다.

자주 묻는 질문

관련 AI 소식