프롬프트 지시 개수 한계 실험: 80개에서 완벽 준수율이 0이 되고 긴 맥락에선 답변 거부가 치솟았다

핵심 메시지

• 지시 개수를 늘리면 80개 부근에서 모든 지시를 다 지킨 응답의 비율이 사실상 0이 되며, 형식이나 배치를 바꿔도 이 바닥은 뚫리지 않았다.
• 마크다운이 더 나을 것이라는 통념은 어떤 모델에서도 일관되게 성립하지 않았고, 한 오픈웨이트 모델은 오히려 평문을 더 잘 따랐다.
• 같은 지시를 시스템 프롬프트에 두느냐 사용자 턴에 두느냐만 바꿔도 준수율이 달라졌는데, 방향이 모델마다 정반대였다.
• 긴 맥락에서 걱정하던 환각은 5,760회 시도에서 단 한 번도 일어나지 않았고, 대신 답변 거부율이 0퍼센트에서 최대 89.6퍼센트까지 치솟았다.
• 실무 지침은 명확하다. 어떤 형식도 시험 없이 기본값으로 두지 말고, 동시 지시 40개를 넘기면 조율이 아니라 재설계 시점으로 보라는 것이다.

쉽게 이해하기

프롬프트를 설계할 때 우리는 근거 없이 세 가지를 결정합니다. 어떤 형식으로 쓸 것인가, 지시를 몇 개까지 넣을 것인가, 맥락을 얼마나 길게 줄 것인가. 지난달 공개된 한 논문이 이 셋을 교차한 통제 실험 두 건으로 실제로 재봤습니다. 영상은 이 논문이 동료 심사를 거치지 않은 프리프린트이고 저자가 독립 연구소 소속 한 명이라는 점을 먼저 밝힙니다. 그럼에도 다룰 만하다고 본 근거는 두 가지입니다. 사전에 등록해 둔 가설 두 개가 모두 틀렸다고 논문에 그대로 적었고, 말뭉치 생성기와 원자료를 전부 공개해 바이트 단위로 재현할 수 있게 해뒀다는 점입니다.

측정에는 실제로 존재하지 않는 가상의 말뭉치를 만들어 썼습니다. 고유 개체가 8,780개 규모이고 고정 시드로 언제든 똑같이 재생성됩니다. 모델이 사전학습 단계에서 이 내용을 봤을 리가 없으니 오염이 원천적으로 차단됩니다. 모델은 다섯 종을 썼습니다. Claude Sonnet 5, Claude Haiku, Gemini Flash, 그리고 오픈웨이트 Qwen 27B와 35B입니다. 세 개 계열에 두 개 성능 등급을 섞어, 한 모델에서만 나타나는 현상인지 아닌지를 구분할 수 있게 설계했습니다.

첫 번째 실험은 지시 개수를 10개에서 160개까지 늘려가며 잽니다. 형식 네 가지(마크다운, 평문, 산문, 표)와 배치 두 가지(시스템 프롬프트, 사용자 턴)를 교차해 모델당 960회, 전체 4,800회를 채점했습니다. 결과는 단호했습니다. 모든 모델이 이른 구간부터 가파른 내리막에 들어서고, 80개 부근에서 완벽 응답률이 사실상 0에 닿습니다. 형식을 바꿔도 배치를 바꿔도 마찬가지였습니다. 논문은 이를 바닥 효과라고 부릅니다.

형식에 대한 통념도 깨집니다. 마크다운에 일관된 우위가 나타난 모델은 하나도 없었고, Qwen 35B는 오히려 평문을 더 안정적으로 따랐습니다. 형식 효과가 크게 나온 경우는 딱 하나, Gemini Flash가 산문과 표 형식에서 무너진 사례뿐입니다. 평문 대비 각각 18.1퍼센트포인트, 13.7퍼센트포인트 낮았습니다. 나머지 네 모델의 형식 간 차이는 2.5퍼센트포인트 안쪽으로 사실상 잡음 수준이었습니다. 더 흥미로운 쪽은 배치였습니다. 똑같은 지시 덩어리를 시스템 프롬프트에 넣느냐 사용자 턴에 넣느냐만 바꿨을 뿐인데, 다섯 중 네 모델에서 그 효과가 형식 효과와 맞먹거나 더 컸습니다. 그런데 방향이 모델마다 달랐습니다. 두 모델은 시스템 프롬프트가 도움이 됐고, 두 모델은 오히려 해로웠고, 한 모델은 차이가 없었습니다.

두 번째 실험은 맥락 길이를 2,000 토큰부터 51만2,000 토큰까지 늘리며 모델당 5,520회를 호출했습니다. 회상 정확도는 대략 6만4,000에서 12만8,000 토큰까지 천장을 유지하다가 그 뒤로 급격히 떨어집니다. 그리고 이 구간에서 갑자기 형식이 중요해집니다. 한 모델은 12만8,000 토큰 지점에서 형식에 따라 정확도가 48퍼센트포인트나 벌어졌습니다. 여기서 중요한 관찰이 나옵니다. 형식에 따른 차이는 절대 토큰 수가 아니라 그 모델 자신의 실질 상한에 얼마나 가까운지에 따라 커진다는 것입니다. 남의 모델에서 안전했던 길이가 내 모델에서도 안전하다는 보장이 없습니다.

주요 인사이트

• 긴 맥락의 위험을 환각으로만 이해하면 실제 실패를 놓칩니다. 말뭉치에 없는 사실을 묻는 방식으로 5,760회를 찔러봤지만 모든 모델, 모든 길이, 모든 형식에서 지어내는 일은 단 한 번도 없었습니다.
• 잘못된 전제에 동조하는 아첨 현상도 전 구간에서 8.3퍼센트 이하로 미미했습니다. 걱정하던 두 가지가 모두 빗나간 셈입니다.
• 실제로 급증한 것은 답변 거부였습니다. 0퍼센트에서 최대 89.6퍼센트까지 치솟았습니다. 틀린 답이나 맞장구만 감시하는 시스템은 컨텍스트 상한 근처에서 가장 흔한 실패, 즉 모델이 아예 답을 하지 않는 상황을 놓칩니다.
• 지시가 40개를 넘어가면 문장을 다듬거나 순서를 바꾸는 조율은 효과가 없습니다. 턴을 나누거나 도구로 빼거나 검증 단계를 따로 두는 재설계가 훨씬 확실합니다.
• 논문의 권고는 시스템 프롬프트와 사용자 턴 중 어느 쪽을 쓰라는 것이 아니라, 자기가 쓰는 모델로 직접 둘 다 시험해 보라는 것입니다. 프롬프트를 다듬는 시간의 일부를 직접 재보는 데 쓰는 편이 낫습니다.

자주 묻는 질문

관련 AI 소식