연속 사고 기계(CTM) 쉽게 정리: 사카나AI가 트랜스포머 대신 시간을 넣은 이유
사카나AI의 연속 사고 기계(CTM) 논문 해설. 입력과 분리된 내부 시간축, 뉴런마다 붙은 작은 신경망, 뉴런 동기화로 만드는 잠재 표현, 확신도에 따라 사고를 멈추는 적응형 연산과 미로 실험 결과를 정리했다.
핵심 내용 읽기 →
AI TOPIC
신경망 구조 최신 뉴스와 핵심 해설
신경망 구조 관련 핵심 뉴스와 활용 인사이트 3편을 최신순으로 모았습니다.
DeepSeek mHC 해설: 잔차 연결·하이퍼커넥션을 넘어 안정적으로 깊은 신경망 훈련하기
ResNet의 잔차 연결에서 하이퍼커넥션, 그리고 DeepSeek의 다양체 제약 하이퍼커넥션(mHC)까지의 흐름을 정리했다. 여러 정보 통로를 열되 신호 폭주를 막는 버코프 다면체 제약의 아이디어를 살펴본다.
핵심 내용 읽기 →
트랜스포머 구조 완전 해설: 어텐션·멀티헤드·잔차연결이 존재하는 이유
2017년 등장한 트랜스포머 신경망의 인코더-디코더 구조를 부품 단위로 분해해, 토큰 임베딩부터 셀프 어텐션·멀티헤드·잔차 연결·마스킹·크로스 어텐션까지 각 요소가 왜 필요한지 설명한다.
핵심 내용 읽기 →