단백질 언어모델 스케일링과 크리스퍼 Cas9 설계: 버클리 BioML 세미나 정리

핵심 메시지

• 단백질은 20종의 아미노산이 이어진 서열이어서, 문장을 다루듯 디코더 방식 언어모델로 확률 분포를 학습할 수 있다.
• 여러 공개 서열 데이터베이스를 원천부터 다시 정제해 약 30억 개 규모의 서열을 모았고, 중복을 줄이는 재가중 전략이 모델 품질을 눈에 띄게 바꿨다.
• 돌연변이 효과 예측 지표에서는 모델을 키울수록 성능이 꺾이지만, '생성' 능력만 놓고 보면 크기가 커질수록 자연 서열 공간을 더 넓게 덮는다는 반대 방향의 경향이 나타났다.
• 이 모델로 설계한 크리스퍼 단백질 209개 중 63%가 실제로 표적을 절단했고, 그중 선별한 OpenCRISPR-1은 기존 SpCas9 수준의 표적 활성에 비표적 절단은 크게 낮았다.
• 발표자는 언어모델의 강점을 '기능의 규칙을 몰라도 자연이 남긴 사례만으로 제약 조건을 학습한다'는 점에서 찾았다.

쉽게 이해하기

발표자는 단백질을 '자연이 만든 분자 기계'라고 소개하며, 인슐린이나 Cas9, 보톡스처럼 세상을 바꾼 단백질들이 대부분 설계된 것이 아니라 자연에서 발견된 것이라고 지적했다. 인공지능을 단백질 설계에 쓰는 목적은 이 발견 과정을 탐색이 아니라 공학으로 바꾸는 데 있다는 것이다.

모델링 방식은 자연어 처리와 닮았다. 아미노산 하나하나를 토큰으로 보고 앞선 서열이 주어졌을 때 다음 아미노산의 확률을 예측하게 한다. 단순히 아미노산 빈도를 세거나 바로 앞 글자만 보는 방식으로는 징크핑거처럼 15개 이상 떨어진 잔기들이 3차원에서 서로 맞물리는 구조를 잡아낼 수 없기 때문에, 긴 문맥을 다루는 디코더 방식 모델이 쓰인다.

데이터는 남이 정리해 둔 데이터셋을 믿는 대신 세계 각지의 원본 데이터베이스를 직접 모아 같은 기준으로 다시 처리했다. 이렇게 모은 원시 서열은 약 30억 개였고, 서로 30% 이하의 유사도만 남기도록 묶으면 약 1억 개 수준이 된다. 여기에 자주 채집돼 과대 대표된 서열을 눌러 주는 재가중을 적용했는데, 모든 클러스터를 동일하게 취급하는 기존 방식보다 클러스터 크기의 역로그로 가중치를 주는 쪽이 확실히 나은 결과를 냈다.

이렇게 만든 ProGen3는 전문가 혼합(MoE) 구조의 460억 파라미터 모델로, 서열을 양방향 어느 쪽에서든 생성하거나 중간을 채워 넣는 방식으로도 학습됐다. 흥미로운 지점은 평가 방식이다. 그동안 널리 쓰인 돌연변이 효과 예측 상관계수는 10억 파라미터 부근을 넘어서면 오히려 떨어지는데, 발표자는 이 지표가 안정성과 활성처럼 서로 반대로 움직이는 속성들을 평균 내는 탓에 애초에 만점이 불가능한 척도라며 사용을 권하지 않았다.

대신 '생성 품질'로 잣대를 바꾸자 그림이 달라졌다. 3억 파라미터 모델은 같은 아미노산을 반복하거나 끝맺지 못하는 실패를 자주 냈지만 460억 모델은 90% 가까이 정상 서열을 만들었고, 자연 데이터베이스에서 드문 계열까지 훨씬 넓게 생성했다. 실험실 발현 시험에서도 자연 단백질과 30% 남짓밖에 닮지 않은 설계물이 비슷한 비율로 발현돼, 넓어진 생성 범위가 허상이 아님을 보였다.

주요 인사이트

• 벤치마크가 모델의 발전을 가릴 수 있다. 같은 모델군이라도 '예측' 지표로는 스케일링이 실패처럼 보이고 '생성' 지표로는 성공처럼 보였는데, 실제 목적이 설계라면 후자가 답에 가깝다.
• 크리스퍼 설계에는 구조 기반 방법이 잘 통하지 않는다. Cas9는 표적 인식·불일치 검사·절단이 순서대로 맞물리는 다중 도메인 단백질이라 구조만 맞춰서는 기능이 살지 않는다. 실제로 구조 기반 설계 방식은 활성을 거의 없앴다는 비교 결과가 제시됐다.
• 제약을 모델 밖에서 거는 방식이 효과적이었다. 가장 예민한 PAM 인식 도메인을 고정한 채 나머지를 양방향으로 생성해 조합하는 방식으로, 언어모델에 말로 설명하기 어려운 요구사항을 우회했다.
• 설계 단백질이 자연 단백질보다 면역원성이 낮게 나온 점은 치료제 관점에서 실용적 이점이다. 사람 몸이 이미 겪어 본 세균 단백질과 덜 닮았기 때문이라는 설명이다.
• 적은 사례만으로 대응하기 위해 검색 증강(retrieval-augmented) 방식을 단백질 모델에 도입했고, 같은 파라미터 규모에서 접촉 예측과 돌연변이 효과 예측 모두 개선됐다.

자주 묻는 질문

관련 AI 소식