파이썬 타입 검사기 파이어플라이(Pyrefly) — 메타가 OCaml을 버리고 러스트로 다시 만든 이유

핵심 메시지

• 파이썬은 2015년 무렵부터 타입 표기를 지원했지만 인터프리터가 이를 검사하지 않기 때문에, 별도의 타입 검사기가 있어야 의미가 생긴다.
• 메타의 인스타그램 서버는 파이썬 코드가 2천만 줄이 넘고 하루에 3천 명 넘는 개발자가 파이썬을 만진다. 이 규모에서는 타입 검사기 없이는 큰 수정을 시도하기 어렵다.
• 2017년에 만든 이전 검사기는 OCaml로 작성돼 윈도우 지원과 병렬 처리, 외부 기여자 유입에서 어려움을 겪었고, 결국 러스트로 새로 만들게 됐다.
• 파이어플라이는 파일 하나를 코드·구문 트리·내보내기·바인딩·해답·인터페이스의 여섯 단계로 통과시키고, 이 과정을 빌드 시스템이 조율한다.
• 파이썬 코드베이스에는 수만 개 모듈이 서로를 참조하는 순환 구조가 흔한데, 이를 통째로 다시 검사하지 않고 인터페이스가 그대로라고 가정해 되도록 좁게 다시 검사한다.

쉽게 이해하기

발표자는 메타에서 파이썬 타입 검사기 파이어플라이를 아홉 달째 만들고 있는 개발자다. 그는 파이썬에 타입 표기가 들어온 지 십 년이 넘었지만 인터프리터는 그 표기를 그냥 지나칠 뿐이라고 설명한다. 그래서 표기를 실제로 쓰려면 실행 중에 값을 검사하거나, 실행 전에 프로그램 전체를 정적으로 검사하는 도구가 따로 필요하다.

파이썬의 타입 체계는 생각보다 훨씬 복잡하다. 제네릭과 리터럴 타입, 구조적 서브타이핑, 오버로드, 흐름에 따라 타입을 좁히는 기능이 모두 들어 있고, 키워드 인자까지 일반화해 다루는 표기도 있다. 발표자는 어떤 부분은 다른 정적 타입 언어보다도 까다롭다고 표현했다. 이미 존재하는 수십억 줄의 파이썬에 뒤늦게 타입을 얹어야 했기 때문에, 표준은 해마다 더 복잡해지는 방향으로 간다.

이전 세대 검사기가 어려움을 겪은 이유는 언어 선택만이 아니었다. 추상 해석 방식으로 시작해 코드를 잘게 풀어 헤친 탓에 심벌 테이블이나 유효 범위 해석 같은 기본 구성 요소가 없었고, 편집기 연동 규격이 자리 잡기 전에 명령줄 도구로 출발한 데다 처음부터 비공개였다. 사용자가 쌓인 뒤에 이런 설계를 되돌리기는 어려웠다.

그래서 새 검사기는 목표부터 다시 잡았다. 시간과 메모리를 아끼려면 변경분만 다시 계산해야 하고, 명령줄과 편집기, 사내 빌드 도구는 물론 에이전트 도구 연동까지 붙을 수 있어야 하며, 외부 사람이 손댈 수 있을 만큼 코드가 단순해야 한다는 것이다. 발표자는 스스로를 빌드 시스템을 만들던 사람이라고 소개하며, 결론은 결국 타입 검사기를 위한 빌드 시스템을 만드는 것이었다고 말한다.

성능의 핵심은 무엇을 버리느냐에 있다. 파일이 여섯 단계를 다 지나 인터페이스를 얻고 나면 구문 트리와 바인딩, 해답은 버린다. 편집기에서 열어 둔 파일만 예외적으로 전부 남겨 정의로 이동 같은 기능에 쓴다. 키를 한 번 누를 때마다 파일 하나가 통째로 무효가 되는 구조라서, 파일 하나를 몇 밀리초 안에 처리하는 것이 중요하다고 설명했다.

주요 인사이트

• 타입 검사기를 파이썬으로 만들 수 있었다면 가장 좋았겠지만 너무 느려서 포기했다는 대목이 눈에 띈다. 도구를 그 언어 자체로 만들어 직접 써 보는 이점과 성능 사이의 맞바꿈이 그대로 드러난다.
• 무효화 단위를 함수나 문장이 아니라 파일로 잡은 것이 규모를 감당한 열쇠다. 더 잘게 쪼개면 정밀해지지만, 2천만 줄에서는 관리해야 할 의존 관계가 감당하기 어려워진다.
• 순환 참조 처리 방식이 현실적이다. 바뀐 파일만 다시 검사해 보고 인터페이스가 그대로면 넘어가되, 반복이 다섯 단계쯤 깊어지면 포기하고 순환 전체를 다시 검사한다. 평균적으로 빠른 쪽을 택한 판단이다.
• 확장 방식에서도 선택이 갈렸다. 기존 검사기가 외부 플러그인으로 프레임워크를 지원한 것과 달리, 파이어플라이는 널리 쓰이는 라이브러리 지원을 아예 내부에 넣는 쪽을 골랐다. 규격이 계속 바뀌는 영역에 확장 규격을 노출하고 싶지 않았기 때문이다.
• 발표자는 대규모 언어 모델이 짜 준 코드를 검증하는 수단으로도 타입 검사기가 유용하다고 짚었다. 아무도 테스트하지 않는 예외 처리 구간의 오류를 미리 잡아 준다는 점도 함께 들었다.

자주 묻는 질문

관련 AI 소식