ACL 2025 다국어 LLM·코드 검색 연구 현장 정리 (CoRet, 전문가 뉴런)

핵심 메시지

• ACL 2025는 오스트리아 빈에서 열린 세계 최대 규모의 자연어처리 학회로 2,000편이 넘는 논문이 발표됐다.
• CoRet는 거대한 저장소에서 자연어로 설명된 문제와 관련된 코드 위치를 찾는 '코드 편집 검색' 문제를 함수·클래스 단위 표현, 호출 그래프·저장소 구조, 학습 방식의 세 축으로 접근한다.
• CoRet는 같은 저장소 내부에서 뽑은 부정 예시를 쓰는 우도(likelihood) 기반 학습으로 표준 대조학습보다 나은 검색 성능을 얻었다.
• 다국어 LLM 연구에서는 선형 프로빙으로 언어 식별 능력을 측정했는데, 사전학습 초기 체크포인트가 오히려 후기 체크포인트보다 언어를 더 잘 구분했다.
• 중간 층에서 '지진', '나무' 같은 개념을 담당하는 전문가 뉴런이 언어를 가로질러 겹치며, 학습이 진행될수록 개념이 원래 언어에서 분리돼 언어 독립적으로 일반화된다.

쉽게 이해하기

이 영상은 오스트리아 빈에서 열린 ACL 2025 현장을 짧게 둘러본 기록이다. ACL은 세계에서 가장 큰 자연어처리 학회로, 이번 행사에서는 2,000편이 넘는 논문과 함께 기조강연, 구두 발표, 포스터 세션이 이어졌다. 발표자는 그중 눈길을 끈 포스터 두 편과 저자 인터뷰를 소개한다.

첫 번째는 'CoRet'라는 코드 편집 검색 연구다. 버그를 고쳐야 하거나 낯선 저장소에서 문제 위치를 찾아야 할 때, 자연어로 된 요구를 실제 코드 조각과 연결하는 것은 쉽지 않다. 연구진은 이 문제를 세 부분으로 나눈다. 코드를 함수나 클래스처럼 의미 있는 단위로 표현하는 것, 저장소의 폴더 구조와 함수 간 호출 그래프 같은 구조를 검색에 함께 넣는 것, 그리고 이를 학습시키는 방법이다.

학습에서는 표준 대조학습이 잘 통하지 않았다고 한다. 대신 부정 예시를 서로 다른 저장소가 아니라 같은 저장소 안에서 뽑는 우도 기반 방식을 핵심으로 삼았고, 그 결과 소프트웨어 공학 검색 벤치마크에서 더 좋은 점수를 얻었다. 저자는 코드 자동완성에 강한 코파일럿과 달리, CoRet는 거대한 저장소 전체를 조망해 관련 부분을 찾는 데 초점이 있다고 설명한다.

두 번째는 다국어 언어 모델의 내부 표현에 관한 연구다. 연구진은 BLOOM 모델의 여러 사전학습 체크포인트에서 은닉 표현을 이용해 입력 문장의 언어를 맞히는 선형 프로빙을 수행했다. 놀랍게도 학습 초기 체크포인트는 거의 완벽하게 언어를 구분한 반면, 최종 모델에 가까운 후기 체크포인트는 이 단순한 과제를 오히려 더 못 풀었다. 언어 정보가 일부 층에서 가려지거나 버려지고 있다는 뜻이다.

연구진은 이를 언어에 얽매이지 않는 개념 공간이 생기는 신호로 해석한다. '지진'이나 '나무' 같은 개념은 언어와 무관하게 통한다는 점에 착안해, 특정 개념에 반응하는 전문가 뉴런을 찾아 언어 간 겹침을 분석했다. 스페인어 데이터에서 뽑은 '지진' 뉴런을 인위적으로 활성화하면 초기 체크포인트는 잡음만 냈지만, 학습이 진행되면 스페인어 지진 문장을, 더 후기에는 같은 뉴런인데도 영어 지진 문장을 생성했다. 개념이 원래 언어에서 분리돼 일반화된 것이다.

주요 인사이트

• 코드 검색을 잘하려면 텍스트 유사도만이 아니라 함수·클래스 단위 구획과 호출 그래프 같은 코드의 구조 정보를 표현에 함께 녹여야 한다.
• 대조학습에서 부정 예시를 어디서 뽑느냐가 성능을 좌우한다. 같은 저장소 안에서 부정 예시를 고르면 더 까다롭고 현실적인 구분을 학습시킬 수 있다.
• 사전학습이 더 진행됐다고 모든 능력이 단조롭게 좋아지는 것은 아니며, 언어 식별처럼 표면적인 정보는 학습이 깊어질수록 내부에서 오히려 흐려질 수 있다.
• 다국어 모델의 교차 언어 전이 능력은 중간 층에서 언어를 가로질러 개념이 공유되는, 언어 독립적 표현이 생겨나는 것과 관련이 있다.
• 개념의 언어 독립적 일반화는 저자원 언어 전이에 유용하지만, 문화마다 다른 개념까지 고자원 언어 기준으로 획일화될 위험이 있어 문화적 다양성 유지가 과제로 남는다.

자주 묻는 질문

관련 AI 소식