MIT 6.S191 시퀀스 모델링 강의 정리: 순환 신경망(RNN)의 원리와 한계, 그리고 어텐션과 트랜스포머가 등장한 이유
MIT 딥러닝 입문 강의가 퍼셉트론에서 출발해 순환 신경망과 시간에 따른 역전파, 단어 임베딩, 자기 어텐션까지 이어지는 흐름을 단계별로 설명한다. 기울기 소실이라는 한계에서 트랜스포머가 왜 필요했는지 기초부터 짚어준다.
핵심 내용 읽기 →
AI TOPIC
순환 신경망 최신 뉴스와 핵심 해설
순환 신경망 관련 핵심 뉴스와 활용 인사이트 6편을 최신순으로 모았습니다.
ChatGPT의 35년 전사: 순환 신경망에서 트랜스포머까지 언어 모델 계보 정리
1986년의 작은 순환 신경망 실험에서 셀프 어텐션과 GPT 계열까지, 언어 모델이 지금의 형태에 이르기까지 35년의 연구 계보를 따라간 다큐멘터리 해설 정리. 단어 경계 학습부터 감정 뉴런, 문맥 내 학습까지 짚는다.
핵심 내용 읽기 →
HRM 계층적 추론 모델 구조 해설 - 2,700만 파라미터로 스도쿠와 미로 풀기
거대 언어모델이 헤매는 스도쿠와 미로 문제를 2,700만 파라미터 모델이 예제 1,000개만으로 풀어낸다. 파라미터 대신 깊이를 사는 상위·하위 순환 모듈 구조와 학습 기법까지 계층적 추론 모델(HRM)의 원리를 정리했다.
핵심 내용 읽기 →
리저버 컴퓨팅 원리: 무작위 순환 신경망으로 복잡한 패턴을 만드는 법
머릿속에서 저절로 재생되는 멜로디처럼, 뇌는 외부 입력 없이도 복잡한 신경 활동을 만든다. 순환 신경망과 리저버 컴퓨팅이 이 문제를 어떻게 푸는지 쉬운 비유로 풀어본다.
핵심 내용 읽기 →
RNN·LSTM으로 이해하는 AI의 기억 — 순환 신경망이 시간을 다루는 원리
이미지 분류망은 프레임을 섞어도 눈치채지 못한다. 신경망에 기억을 심기 위한 순환 신경망, 그 한계, 그리고 망각 게이트가 등장한 과정을 풀었다.
핵심 내용 읽기 →
LSTM 장단기 메모리 쉽게 이해하기: RNN 기울기 폭발·소실 문제와 망각·입력·출력 게이트
순환 신경망(RNN)에서 기울기가 폭발하거나 소실하는 문제를, 장기·단기 두 경로로 나눈 LSTM이 어떻게 푸는지 망각·입력·출력 게이트와 시그모이드·tanh 함수, 두 회사 주가 예측 예시로 차근차근 풀이한다.
핵심 내용 읽기 →