AI 에이전트 과학 연구 적용 사례: 화학 도구 결합 ChemCrow와 자기수정 물리 시뮬레이션 프레임워크

핵심 메시지

• 언어모델은 화합물 이름을 구조로 바꾸는 규칙 기반 작업에서 환각을 일으켰고, 이 지점이 외부 도구를 붙여야 하는 결정적 이유가 됐다.
• 화학 에이전트는 15개 과제 중 10개에서 전문가 선호를 얻었고, 특히 알려지지 않은 물질을 새로 설계하는 어려운 과제에서 격차가 컸다.
• LLM 심사자는 지침을 줬는데도 화학적 정확성 대신 문장의 유창함을 기준으로 평가해, 인간 전문가 평가와 결과가 엇갈렸다.
• 물리 시뮬레이션 프레임워크는 모호한 자연어 요청에서 지배방정식·경계조건·물성치를 스스로 채워 넣고, 실패하면 원인을 진단해 다시 시도한다.
• 두 연구 모두 안전 통제와 최종 검증에서 사람의 개입이 여전히 필요하다는 점을 한계로 남겼다.

쉽게 이해하기

서울대학교 산업공학과 DSBA 연구실의 에이전틱 AI 스터디 마지막 주차는 과학 연구에 에이전트를 붙인 논문 두 편을 다뤘다. 하나는 화학 도메인에 초기부터 본격적으로 적용된 사례이고, 다른 하나는 물리 시뮬레이션을 자연어 요청만으로 만들어 내는 최근 연구다. 발표에서 소개한 원 논문은 각각 2024년 네이처 머신 인텔리전스에 실린 'Augmenting Large Language Models with Chemistry tools'와 올해 npj Artificial Intelligence에 실린 자기수정 멀티에이전트 물리 시뮬레이션 논문이다.

첫 번째 연구가 도구를 붙인 이유는 단순한 성능 개선이 아니었다. 화학 문제를 풀려면 국제 명명법으로 적힌 물질 이름을 실제 구조 그래프로 바꿔야 하는데 이는 본질적으로 규칙 기반 변환이고, 확률적으로 다음 토큰을 고르는 언어모델은 이 단계에서 환각을 냈다. 연구진은 화학 계산과 문헌 검색, 안전성 검사를 아우르는 도구 18종을 붙이고 생각하고 도구를 쓰고 결과를 관찰해 다시 계획하는 순환을 반복하도록 설계했다. 도구는 문헌 검색과 코드 생성 같은 범용 도구, 단일 분자의 특성을 계산식으로 돌려주는 분자 도구, 반응 경로와 로봇 실행 코드를 만드는 반응 도구, 그리고 물질이 언급되기만 해도 자동 발동하는 안전 도구로 나뉜다.

평가는 15개 과제에서 단일 GPT-4와 비교하는 방식으로 이뤄졌고, 화학 전문가 역할을 부여한 LLM 심사자와 모델을 익명 처리해 채점한 인간 전문가 네 명이 함께 참여했다. 결과적으로 10개 과제에서 에이전트가 전문가 선호를 얻었는데, 암기로 답할 수 있는 과제에서는 차이가 미미했고 알려지지 않은 물질을 새로 합성하는 어려운 과제에서 격차가 뚜렷했다. 가장 눈에 띄는 대목은 인간 전문가가 화학적 정확성을 근거로 판단한 반면, LLM 심사자는 정확성을 보라는 지침을 받고도 문장의 유창함 위주로 평가해 두 결과가 엇갈렸다는 점이다. 실제 산출물로는 사람이 실험으로 검증한 발색단 합성과, 로봇이 자동으로 수행한 방충제와 유기촉매 3종의 합성 사례가 제시됐다.

두 번째 논문은 물리 시뮬레이션을 다룬다. 시뮬레이션을 돌리려면 현상에 맞는 편미분방정식과 경계조건, 밀도나 열전도 같은 물성치가 엄밀하게 지정돼야 하는데 비전문가는 이를 적을 수 없다. 제안된 구조는 모호한 요청을 명세로 구체화하는 에이전트, 그 명세로 코드를 짜는 에이전트, 실행하고 성패를 판정하는 에이전트, 성공 시 보고서를 쓰는 에이전트, 실패 시 원인을 진단해 요청을 다시 쓰거나 파라미터 힌트를 주는 에이전트로 나뉜다. 전 과정을 총괄하는 오케스트레이터가 프롬프트 이력과 로그를 기억해 같은 계산과 같은 오류의 반복을 막는다.

저자들이 직접 만든 12개 난이도별 벤치마크에서, 모든 에이전트가 갖춰졌을 때 비로소 12개 과제 전부에서 시뮬레이션 생성에 성공했다. 수렴 효율도 가장 어려운 12단계에서 10회를 돈 경우를 빼면 모두 5회 이하의 반복으로 끝났다. 무료 오픈소스 솔버로 돌린 결과가 산업계 상용 소프트웨어로 돌린 결과와 정성적으로 유사했고, 결과 보고서는 영어뿐 아니라 한국어·일본어·독일어로 제공된다. 다만 모델이 잘 모르는 신소재에서는 성능 한계가 있고 단일 모델보다 느리며, 안전이 중요한 분야로 확장할 때는 별도의 통제 장치가 필요하다는 점이 한계로 남았다.

주요 인사이트

• 도구를 붙이는 설계는 '모델이 못하는 일'을 정확히 특정하는 데서 출발한다. 이름을 구조로 바꾸는 규칙 기반 변환처럼 확률적 생성이 원리적으로 불리한 지점을 골라 외부 도구로 넘긴 것이 이 연구의 핵심이었다.
• LLM을 심사자로 쓰는 관행은 도메인에 따라 다시 검증돼야 한다. 정확성을 보라고 지시해도 유창성으로 기울었다는 관찰은, 전문 영역의 자동 평가 결과를 그대로 신뢰하기 어렵다는 구체적 근거다.
• 안전 장치는 아는 위험에만 작동했다. 이미 알려진 독성 물질이나 그와 구조가 비슷한 물질은 걸러 냈지만, 기존 물질과 유사도가 낮은 새로 설계된 독성 물질은 잘 잡아내지 못한다는 한계가 남았다.
• 자기수정 구조의 효율은 기억에서 나왔다. 요구사항 명확화부터 코드 생성, 실행 추적, 오류 수정까지의 기록을 모두 저장해 같은 오류를 반복하지 않은 덕분에 대부분 5회 이하의 반복으로 수렴했다는 것이 저자들의 해석이다.
• 두 연구 모두 자동화의 종착점을 사람 앞에 세워 뒀다. 합성이 제대로 됐는지는 고가의 분석 장비로 사람이 확인해야 하고, 안전이 중요한 분야로 확장할 때는 별도의 통제 장치가 필요하다는 것이 공통된 결론이다.

자주 묻는 질문

관련 AI 소식