AI 슬롭은 왜 생기나: 측정 가능성과 평균으로의 붕괴, 디자인·글쓰기 같은 주관적 영역을 훈련하는 법

핵심 메시지

• 코드가 검증하기 쉬운 것은 모델의 성질이 아니라 코드의 성질이다. 코드는 쪼개지고 실행되며 정답을 확인할 수 있지만, 디자인과 글쓰기는 그렇지 않다.
• 능력은 측정 가능성을 따라간다. 측정 문제를 일부라도 풀면 주관적 영역의 상당 부분이 함께 풀린다.
• "좋은 디자인을 만들어라"는 훈련 과제가 되기 어렵지만, "이 브랜드에 맞게 만들어라"는 색·타이포그래피·모션·질감으로 쪼갤 수 있어 검증 가능한 형태가 된다.
• 모델은 가장 그럴듯한 다음 결과를 내놓고 그것이 최선이라고 가정한다. 수학에서는 맞지만 창작에서는 평균이 최선이 아니며, 이 '평균으로의 붕괴'가 슬롭의 정체다.
• 주관적 영역의 데이터는 양보다 질이다. 해당 분야의 안목을 가진 사람들이 만든 소량의 정밀한 데이터가 잡음 섞인 대량 데이터보다 낫다.

쉽게 이해하기

테이스트 랩스 창업자가 AI 엔지니어 행사에서 'AI 슬롭을 끝내는 법'을 주제로 발표했다. 출발점은 간단하다. AI는 코딩과 수학에서 크게 앞서갔지만 디자인, 창작 글쓰기, 인격, 정서적 이해 같은 영역에서는 여전히 뒤처져 있다는 것이다. 발표자는 이 격차를 좁히려면 객관적 영역과는 다른 접근이 필요하다고 봤고, 프런티어 연구소와는 모델 평가와 개선을, 응용 기업과는 맥락과 사용자 의도 파악을 함께 다룬다고 소개했다.

핵심 지적 하나는 통념을 뒤집는다. 모델이 코딩을 잘하는 이유를 흔히 모델의 성질로 말하지만, 사실은 코드의 성질이라는 것이다. 코드는 부분으로 쪼개지고 실행되며 맞고 틀림이 확인된다. 디자인이나 글쓰기는 어떻게 쪼개고 무엇으로 검증하며 좋고 나쁨을 누가 판정할지가 모두 불분명하다. 그래서 발표자는 '능력은 측정 가능성을 따라간다'는 명제를 앞세운다.

그럼 모호한 것을 어떻게 검증 가능하게 만드는가. 발표자는 브랜드를 예로 들었다. "좋은 것을 만들어라"는 지시는 훈련 과제로 쓰기 어렵지만, "이 브랜드에 맞게 만들어라"는 훨씬 정의하기 쉽다. 브랜드는 이미 사람이 오랜 시간 공들여 색, 타이포그래피, 모션, 질감 같은 요소로 정의해 둔 대상이기 때문이다. 그 분해 결과가 곧 정답 기준이 되고, 새 페이지를 만들게 한 뒤 원본을 그대로 베꼈는지가 아니라 그 기준을 지켰는지로 채점할 수 있다.

결과물이 밋밋해지는 두 번째 원인은 모델의 작동 방식 자체에 있다. 모델은 가장 그럴듯한 다음 결과를 예측하고 그것을 이상적인 답으로 간주한다. 2 더하기 2를 물으면 평균적인 답이 곧 정답이지만, 글이나 디자인에서 뛰어난 결과는 분포의 가운데가 아니라 끝에서 나온다. 규칙과 패턴을 의도적으로 깰 때 나오는 것을 평균으로 수렴시키니 어디서 본 듯한 결과물이 반복된다는 설명이다.

그래서 발표자는 문제를 쪼갠 뒤 각 조각을 어디로 보낼지 정하는 '라우팅'을 가장 중요한 판단으로 꼽는다. 정렬이나 타이포그래피처럼 객관에 가까운 부분은 프로그램으로 검증하고, 스타일 적합성이나 창의성처럼 취향이 개입하는 부분은 사람의 판단을 데이터로 만들어 해결하는 식이다. 그는 사람의 판단이 아직 LLM 심판보다 훨씬 위에 있다고 본다.

주요 인사이트

• 선호 데이터를 여러 사람에게서 모으면 그 자체로 평균화가 일어난다. 누가, 무엇을, 왜 좋아하는지를 함께 담지 않으면 서로 충돌하는 선호가 잡음으로 뭉개진다. 발표자는 개인의 선호를 벡터처럼 붙여 다원적 취향을 의도적으로 보존하자고 제안한다.
• 전문가끼리 의견이 갈리는 것이 항상 나쁜 신호는 아니다. 정렬처럼 객관에 가까운 항목에서 갈리면 데이터 결함이지만, 스타일이나 미감에서 갈리면 취향의 분포가 실재한다는 증거이므로 오히려 좋은 데이터다.
• 데이터 품질을 가르는 실무적 신호는 '구체성'이다. 전문가가 왜 좋고 나쁜지를 얼마나 정밀한 언어로 설명하느냐가 값어치를 좌우한다. 여기에 더해, 모델이 약한 부분인 '시각적 결과물과 그것을 만든 코드의 연결'을 사람이 미리 묶어 주면 잡음이 크게 줄어든다.
• LLM을 심판으로 쓰는 방식만으로는 한계가 있다. 보상 해킹과 특유의 환각 패턴 때문에, 모호한 과제를 명확한 정답 기준을 가진 형태로 재설계하는 '과제 설계'가 오히려 가장 어려운 작업이 된다.
• 좋은 디자인의 기준은 맥락에 따라, 그리고 시간에 따라 달라진다. 스타트업에 훌륭한 슬라이드가 금융회사에는 부적절할 수 있고, 5년 전의 좋음과 지금의 좋음이 다르다. 수학이나 코드에는 없는 이 시간성이 주관적 영역을 특히 어렵게 만든다.

자주 묻는 질문

관련 AI 소식