AI 정렬 연구 가속 전략: 연구자를 대체하지 말고 증강하라는 해커톤 기조 발표 정리

핵심 메시지

• 생산성은 효율과 목표의 곱이라는 관점이 발표의 축이다. 잘못된 목표를 향해 달리는 연구자를 100배 빠르게 만들어 봐야 결과는 0이라는 것이다.
• 당장의 병목은 아이디어가 아니라 구현이다. 하루 만에 노트북으로 시제품을 만들 수는 있어도, 여러 모델과 데이터셋을 검증하는 논문 수준의 코드로 가기까지 몇 달이 걸린다.
• 발표자는 AI를 검색엔진이 아니라 먼저 말을 거는 연구 협력자로 볼 것을 제안한다. 좋은 지도교수처럼 지금 붙들고 있는 문제에 맞는 논문과 통찰을 먼저 건네는 방식이다.
• 인간 피드백으로 다듬은 모델은 엉뚱하지만 새로운 답을 덜 내놓는 경향이 있어, 아이디어를 벌릴 때는 다듬지 않은 모델을 사람이 골라내며 쓰는 방식도 고려할 만하다고 봤다.
• 훌륭한 도구가 쓰이지 않는 가장 흔한 이유는 성능이 아니라 마찰이다. 별도 웹사이트냐 매일 쓰는 편집기 안이냐가 사용 여부를 가른다.

쉽게 이해하기

AI 정렬(alignment) 연구자 자크 티보도(Jacques Thibodeau)가 Apart Research가 연 연구 증강 해커톤의 기조 발표에서 'AI 안전 연구 자체를 AI로 가속하는 방법'을 주제로 이야기했다. 그는 2년 반 전 인터넷에 흩어진 정렬 연구 문헌을 모아 데이터셋으로 만드는 일에서 출발했다고 밝혔다. 다만 당시 모델 성능으로는 쓸모가 제한적이라 판단해 잠시 접어두고, 해석가능성·확장 가능한 감독·평가 등 정렬 연구의 여러 갈래를 직접 해보며 어디가 막히는지를 익혔다고 한다.

그는 가속 방향을 세 갈래로 나눴다. 연구 과정 자체를 자동화하는 길, 연구자를 증강하는 길, 그리고 사람이 판단자로 남은 채 모델을 탐색 도구로 쓰는 길이다. 자동화에는 'AI 연구를 자동화할 수 있는 AI가 나올 때면 이미 늦다'는 오래된 반론이 있지만, 그는 그보다 훨씬 이르게 자동화할 수 있는 부분이 정렬 연구 안에 있다고 봤다. 다만 지금 모델은 사전학습에서 많이 본 개념을 설명하는 데는 강해도 최신 논문에서 나온 새 통찰을 내놓는 데는 약하므로, 당분간은 사람과 모델이 각자 잘하는 일을 나눠 맡는 편이 낫다는 것이 그의 판단이다.

발표에서 가장 여러 번 강조된 것은 도구를 고르는 기준이었다. 그는 생산성을 효율과 목표의 곱으로 놓고, 효율을 높이는 도구에는 사람들이 자연히 끌리지만 목표가 틀렸다면 그 곱은 0이 된다고 했다. 그래서 연구를 빠르게 하는 도구뿐 아니라 연구 방향 자체를 더 나은 쪽으로 미는 도구도 함께 필요하다고 봤다. 지도교수 없이 혼자 연구하는 이들이 세 달을 쏟은 뒤에야 방향이 잘못됐음을 깨닫는 일이 잦은데, 사흘짜리 축소판 실험으로 같은 판단을 내릴 수 있게 돕는 도구가 그 예다.

구체적인 병목으로는 구현 단계가 지목됐다. 아이디어가 부족한 것이 아니라 오히려 넘치는 경우가 많고, 하루 만에 노트북 수준의 시제품을 만드는 것도 어렵지 않다. 문제는 거기서 여러 모델과 데이터셋을 다루고 다중 GPU까지 감당하는 검증 가능한 코드베이스로 가는 데 몇 달이 걸린다는 점이다. 그는 이 구간을 줄여 주는 공용 코드베이스와, 연구자마다 다른 작업에 맞춰 미리 다듬어 둔 긴 프롬프트를 대안으로 제시했다. 프롬프트를 잘 쓰는 데 드는 시간과 부담 때문에 아예 모델을 덜 쓰게 되는 흐름을 끊자는 취지다.

만든 도구가 쓰이지 않는 이유도 따로 짚었다. 진짜 병목이 아닌 곳을 풀었거나, 성능이 부족하거나, 시작하는 데 마찰이 크거나, 존재를 모르거나, 당장의 이득이 눈에 보이지 않는 경우다. 그는 이미 좋은 생산성 도구가 많은데도 쓰이지 않는 현실을 들며, 별도 웹사이트로 만드는 것과 연구자가 매일 쓰는 코드 편집기 안에 넣는 것의 차이만으로도 사용 여부가 갈린다고 말했다. 마지막으로 그는 처음부터 새로 만드는지 여부는 중요하지 않고, 시장이 어차피 만들 물건을 몇 달에 걸쳐 따라 만드는 일만은 피하라고 조언했다.

주요 인사이트

• 효율과 목표를 곱으로 놓는 관점은 AI 도구 도입 전반에 적용된다. 어떤 일을 더 빨리 하게 만들지 정하기 전에, 그 일이 애초에 할 가치가 있는지를 묻는 도구가 따로 필요하다는 뜻이다.
• '연구를 대체할 것인가, 증강할 것인가'라는 이분법 대신 모델이 실제로 잘하는 일에서 출발하자는 태도가 실용적이다. 발표자는 모델이 답을 주는 쪽보다 질문을 쪼개고 과정을 설계하는 쪽에서 더 쓸모 있을 수 있다고 봤다.
• 인간 피드백 정렬이 모델의 답변을 안전하고 무난하게 만드는 대신 엉뚱하고 새로운 답의 폭을 줄인다는 지적은, 아이디어 발산이 필요한 작업에 기본 설정 그대로의 챗봇을 쓰는 것이 최선이 아닐 수 있음을 시사한다.
• 연구 도구의 성패를 가르는 것이 기능이 아니라 마찰이라는 관찰은 사내 도구를 만드는 어느 조직에나 그대로 적용된다. 브라우저를 새로 여는 순간 집중이 끊긴다는 이유만으로 좋은 도구가 버려진다.
• 이 발표는 2024년 중반 시점의 진단이라는 점을 감안해 읽어야 한다. 코드 편집기에 붙는 AI 도구와 에이전트의 성숙도는 이후 크게 달라졌지만, 병목을 찾고 목표를 고르는 기준에 대한 논지는 여전히 유효하다.

자주 묻는 질문

관련 AI 소식