RNN·LSTM으로 이해하는 AI의 기억 — 순환 신경망이 시간을 다루는 원리
이미지 분류망은 프레임을 섞어도 눈치채지 못한다. 신경망에 기억을 심기 위한 순환 신경망, 그 한계, 그리고 망각 게이트가 등장한 과정을 풀었다.
핵심 내용 읽기 →
AI TOPIC
RNN 최신 뉴스와 핵심 해설
RNN 관련 핵심 뉴스와 활용 인사이트 9편을 최신순으로 모았습니다.
Mamba 아키텍처 원리: 선형 RNN으로 이해하는 상태공간모델과 선택적 기억
복잡한 수학 없이도 Mamba를 '선형 RNN의 확장'으로 이해한다. 병렬 스캔, 행렬 대각화, 안정 초기화, 입력 의존 선택 메커니즘까지 트랜스포머를 넘보는 원리를 쉽게 정리했다.
핵심 내용 읽기 →
MIT 6.S191 강의 정리: RNN·어텐션·트랜스포머가 시퀀스를 다루는 원리
MIT 6.S191 딥러닝 강의(에이바 아미니)를 바탕으로 시퀀스 모델링, RNN의 순환과 내부 상태, 시간에 따른 역전파, 기울기 소실 문제, 그리고 이를 넘어선 어텐션과 트랜스포머의 원리를 한국어로 정리했다.
핵심 내용 읽기 →
Titans 논문 쉽게 이해하기 - 테스트 시점에 기억을 학습하는 신경 메모리 구조
트랜스포머와 RNN의 장기 문맥 한계를 짚고, 추론 시점에 실시간으로 기억을 학습하는 Titans의 신경 메모리(surprise·momentum) 아이디어를 우마르 자밀의 강의로 풀어냈습니다.
핵심 내용 읽기 →
신경망 구조 이해하기: 뉴런·활성화 함수·CNN·RNN·오토인코더 딥러닝 기초
뉴런이라는 기본 단위에서 시작해 활성화 함수, 층을 쌓아 만드는 심층 신경망, 그리고 CNN·RNN·오토인코더까지 신경망 구조의 큰 그림을 쉽게 정리했습니다.
핵심 내용 읽기 →
신경망이란 무엇인가 — 노드·가중치·경사하강법 5가지 핵심 정리
신경망의 다섯 가지 핵심을 정리합니다. 노드 계층 구조부터 가중치와 선형회귀, 순전파, 비용함수와 경사하강법, CNN·RNN까지 입문자 눈높이로 설명합니다.
핵심 내용 읽기 →
트랜스포머 어텐션 원리와 한계: RNN과 비교로 쉽게 이해하기
트랜스포머가 문장 속 모든 단어 관계를 한 번에 계산하는 어텐션 방식으로 RNN을 넘어선 과정과, 이차 연산량·긴 문맥·추론 약점 같은 남은 한계를 쉽게 풀어 설명합니다.
핵심 내용 읽기 →
교사 강요(Teacher Forcing)란? RNN 시퀀스 학습과 정답 주입의 원리
순차 데이터를 다루는 RNN은 이전 출력을 다음 입력으로 쓰는데, 모델이 틀린 단어를 예측하면 오류가 누적된다. 교사 강요는 예측 대신 실제 정답을 다음 시점 은닉층에 직접 넣어 학습을 안정시키는 기법이다. 파라미터 공유와 함께 RNN 구조를 짚는다.
핵심 내용 읽기 →
LSTM 장단기 메모리 쉽게 이해하기: RNN 기울기 폭발·소실 문제와 망각·입력·출력 게이트
순환 신경망(RNN)에서 기울기가 폭발하거나 소실하는 문제를, 장기·단기 두 경로로 나눈 LSTM이 어떻게 푸는지 망각·입력·출력 게이트와 시그모이드·tanh 함수, 두 회사 주가 예측 예시로 차근차근 풀이한다.
핵심 내용 읽기 →