테스트 타임 컴퓨팅 스케일링 논문 리뷰: 다수결·베스트오브엔·빔서치 중 무엇이 유리한가
구글 딥마인드와 UC 버클리가 쓴 테스트 타임 컴퓨팅 논문을 야닉 킬처가 뜯어봤다. 추론 단계에 연산을 더 쓰는 방법들을 비교하고, 사전학습 확대와 어느 쪽이 유리한지, 저자들의 일반화 주장이 어디까지 믿을 만한지 짚는다.
핵심 내용 읽기 →
AI TOPIC
스케일링 최신 뉴스와 핵심 해설
스케일링 관련 핵심 뉴스와 활용 인사이트 7편을 최신순으로 모았습니다.
사라 후커 강연 정리: 사전학습 스케일링 포화와 프런티어 AI 진입장벽의 변화, 무엇이 달라지나
AI 연구자 사라 후커가 프런티어 모델을 대규모로 훈련할 줄 아는 사람이 전 세계에 5천 명 남짓이라고 말하며, 사전학습 규모 확대의 수익이 꺾인 지금 누가 최전선 AI를 만들 수 있는지가 달라지고 있다고 설명했다.
핵심 내용 읽기 →
다리오 아모데이 인터뷰 정리: 스케일링 가설, 데이터센터 속 천재들의 나라, 그리고 컴퓨트 베팅의 딜레마
앤스로픽 CEO 다리오 아모데이가 드워케시 파텔과 나눈 대담. 사전학습과 강화학습의 스케일링, 1~3년 안이라는 그의 예측, 매출 10배 성장 곡선과 컴퓨트 구매의 파산 위험, 규제와 미중 경쟁까지 정리했다.
핵심 내용 읽기 →
단백질 언어모델 스케일링과 크리스퍼 Cas9 설계: 버클리 BioML 세미나 정리
단백질 언어모델을 460억 파라미터까지 키우면 무엇이 달라질까. 버클리 BioML 세미나에서 공개된 ProGen3 스케일링 실험과, 이 모델로 설계해 실제 실험실에서 활성까지 검증한 새로운 크리스퍼 단백질 이야기를 정리했다.
핵심 내용 읽기 →
LLM 추론과 스케일링의 한계 — 비벡 굽타 교수 인터뷰 정리
애리조나주립대 비벡 굽타 교수가 팟캐스트에서 밝힌 LLM의 추론 능력과 취약성, 스케일링의 한계, 학계와 산업계의 역할 분담, 그리고 대학원생을 위한 조언을 자막을 바탕으로 정리했다.
핵심 내용 읽기 →
스케일링의 느린 죽음: 사라 후커가 짚는 거대 AI 모델의 한계와 적응형 지능의 부상
어댑션 랩스 공동창업자 사라 후커가 '무조건 큰 모델' 경쟁이 수익 체감 구간에 들어섰다고 진단한다. 작은 모델이 큰 모델을 앞서는 사례, 가중치 중복, 사후학습과 테스트타임 연산으로 옮겨가는 흐름을 근거로 적응형 지능의 시대를 설명한다.
핵심 내용 읽기 →
스탠퍼드 CS336 1강 정리 — 언어 모델을 바닥부터 배우는 이유와 효율성·스케일링
스탠퍼드 CS336 ‘바닥부터 만드는 언어 모델’ 1강 요약. 프롬프트만으로는 닿지 못하는 근본 이해, 효율성이 곧 성능이라는 관점, 그리고 언어 모델의 역사와 에이전트 시대까지의 흐름을 정리한다.
핵심 내용 읽기 →