YC 페이퍼 클럽 정리 — LLM 자기대국, 단백질 AI, Lean 형식 검증, 에이전트 코딩

핵심 메시지

• Y Combinator 페이퍼 클럽에서 단백질 AI, LLM 자기대국(self-play), 음성 AI용 스트림 RAG, Lean 형식 검증, 에이전트 코딩 등 다섯 편의 연구가 발표됐다.
• 생물학에서도 '쓰라린 교훈'이 통했다. 단백질 언어모델 ESM Cambrian은 손으로 만든 특징 없이 서열만 학습해도 알파폴드3에 근접하고 항체 설계에서는 앞서기도 했다.
• LLM 자기대국은 스스로 문제를 만들어 풀며 무한히 발전할 잠재력이 있지만, 그대로 두면 인위적으로 복잡한 쓸모없는 문제를 만들어 정체된다. 이를 '가이드' 역할로 교정한 SGS 기법이 소개됐다.
• Lean 같은 형식 검증 언어로 수학 증명은 물론 코드와 신경망까지 '증명 가능한 지능'으로 만들려는 흐름과, 에이전트 코딩을 실시간 전략게임처럼 다루는 실전 방법론도 다뤄졌다.

쉽게 이해하기

진행자는 여는 말에서 최근 1년 반 AI의 화두인 '메모리'와 자기개선을 짚었다. 인간이 만든 해답만 학습하면 도달 가능한 영역이 제한되며, 알파고가 사람의 기보에 편향된 쪽이라면 알파제로처럼 편향 없이 스스로 학습하는 방향이 더 지능적인 시스템으로 가는 길이라고 봤다. 그는 남은 두 큰 문제로 '표본당 지능'과 '와트당 지능'을 꼽으며, 문맥 내 학습(ICL)은 표본이 늘어도 성능이 단조 증가하지 않고 문맥 길이 한계에서 멈춘다고 지적했다.

첫 발표는 '쓰라린 교훈은 생물학에서 온다'는 제목으로 단백질 언어모델을 다뤘다. 단백질은 20종 아미노산의 문자열이 3차원 구조로 접히는 분자로, BERT식 마스킹 학습을 진화 서열에 적용한다. ESM Cambrian은 파라미터를 키울수록 구조 예측(장거리 접촉 정확도)이 로그-선형으로 개선됐는데, 정체됐던 이전 세대 ESM2와 달리 계속 상승한 비결은 훈련 데이터를 5,000만 개에서 메타지놈 서열을 끌어와 28억 개로 늘린 데이터 확장이었다.

쓰라린 교훈의 핵심은 손으로 만든 특징 없이도 이길 수 있느냐다. 알파폴드3는 진화적 사촌 서열을 모아 만든 다중서열정렬(MSA)에 의존하지만, 단일 서열만 쓰는 ESMfold2는 일반 단백질 복합체에서 알파폴드3에 약 3점 차로 근접했고, MSA가 부족한 항체 설계에서는 50 대 47로 앞섰다. 게다가 MSA 구축 시간이 없어 더 빠르다. 희소 오토인코더로 들여다보니 아미노산→모티프→도메인→기능부위로 이어지는 해석 가능한 계층이 비지도로 자연히 형성돼 있었다.

두 번째 발표(루크 베일리)는 LLM 자기대국을 다뤘다. 오늘날 후처리 학습(RL)은 사전학습에 맞먹는 연산을 쓰지만 과제를 사람이 손수 모아야 한다. 자기대국은 모델이 스스로 문제를 만들고(출제자) 푸는(해결자) 방식이다. 문제를 어렵게만 내도록 보상하면, 3,000개 Lean 형식 수학 문제에서 3쪽짜리 계산 문제처럼 인위적으로 복잡한 쓸모없는 문제를 양산해 일반 RL과 다를 바 없이 60%에서 정체됐다.

이를 고친 SGS(자기 안내 자기대국)는 두 가지를 더한다. 못 푼 문제와 '관련된' 새 문제를 내게 해 분포를 안착시키고, 모델이 세 번째 '가이드' 역할로 생성 문제가 원 문제와 관련 있고 과도하게 복잡하지 않은지 판정한다. 보상은 '어려움 × 가이드 점수'로 계산한다. 그 결과 70억 파라미터 모델이 8배의 자기대국 연산을 들여 6,700억급 큰 모델의 성능에 도달했다. 다만 100%에는 못 미쳐 갈 길이 남았다.

주요 인사이트

• 생물학은 ML에 좋은 무대다. 모델이 아직 젊고 데이터가 해마다 기하급수적으로 늘어난다. 인류는 알려진 단백질 다양성의 1%도 표본화하지 못했고, 진화는 40억 년간 훈련 데이터를 만들어 왔다.
• 세 번째 발표(아르납, Giga)는 음성 AI용 스트림 RAG를 소개했다. 질문이 끝나길 기다렸다 RAG를 돌리면 지연이 커 대화가 부자연스럽다. 사용자가 말하는 도중 단어를 분석해 RAG를 미리 돌리는 방식으로, 논문 기준 지연이 사람 음성에서 약 1.5초 줄고 정확도는 유지됐다.
• 네 번째 발표(로버트 조지, 칼텍)는 Lean 형식 검증을 통한 '검증된 지능'을 다뤘다. 정리 증명기는 속일 수 없고 Mathlib 같은 방대한 라이브러리가 있으며, GPT-f 이후 miniF2F 벤치마크에서 진전이 기하급수적이었다. Lean을 함수형 언어로 써서 코드와 신경망까지 검증하려는 Torch 같은 시도도 있다.
• '막연한 코딩(vibe coding)'에서 '검증 가능한 코딩'으로 옮겨가자는 제안처럼, 버그 비용이 큰 산업에서 보증이 필요한 코드를 형식적으로 증명하려는 흐름이 커지고 있다.
• 마지막 발표(루크 오스와인, channel AI)는 에이전트 코딩을 실시간 전략게임(RTS)에 비유했다. 오케스트레이터 에이전트가 여러 워커를 병렬로 돌리고, 각 워커는 최대한 멀리 진행해 PR까지 만든 뒤 사람이 교정한다. 지식베이스 문서화, 감사 가능성, 도구 호출 수를 APM처럼 추적하는 방식으로 팀의 인당 PR이 크게 늘었다고 전했다.

자주 묻는 질문

관련 AI 소식