적시 목표(Just-in-Time)로 개인화하는 AI: 스탠퍼드 CS547 세미나 정리

핵심 메시지

• 오늘의 AI는 비서·전문가·편집자 역할을 하나의 동일한 입력창에 몰아넣어, 무엇을 하든 뻔하고 일반적인 답을 내놓는 '스포크(숟가락+포크) 문제'를 안고 있다.
• 해법은 사용자의 화면이나 작업 맥락을 관찰해 '지금 이 순간의 목표'를 자동으로 추론하는 적시(Just-in-Time) 목표다. 사용자가 일일이 프롬프트를 쓰지 않아도 된다.
• 추론한 목표를 기존 생성기·평가기 프롬프트에 덧붙이는 것만으로 범용 모델의 결과 품질을 끌어올릴 수 있어, 별도 학습 없이도 개선 여지가 크다.
• 같은 원리를 토픽 모델(Loom)과 소셜미디어 피드 재정렬에도 적용해, 사회과학 이론을 AI 목표로 옮겨 당파적 적대감을 실제로 낮췄다.
• 궁극적 지향은 필요한 도구만 그때그때 꺼내 쓰는 '메리 포핀스 가방' 같은 사용자 소유형 AI다.

쉽게 이해하기

발표자는 6년간 인간-AI 상호작용을 연구하며 하나의 문제의식에 도달했다. 오늘의 대규모 언어모델(LLM)은 개인 비서이자 주제 전문가, 교정자, 고민 상담자 역할을 동시에 맡지만, 무엇을 하든 똑같은 입력창과 똑같은 방식으로 대응한다는 것이다. 그 결과 사용자는 늘 두루뭉술하고 일반적인 답을 받게 된다.

발표자는 이를 '스포크(spork) 문제'라 부른다. 숟가락과 포크를 합친 스포크는 어느 쪽으로도 최고가 되지 못한다. 여러 기능을 한 인터페이스에 합치면 오히려 결과가 나빠진다는 것이다. 이런 획일적 출력은 LLM뿐 아니라 소셜미디어의 기본 피드 정렬, 텍스트를 분석하는 토픽 모델의 표준 주제에도 퍼져 있어, 집단의 사고 획일화·정치적 양극화·피상적 이해 같은 부작용을 낳는다.

스포크가 존재하는 이유는 분명하다. 개발자는 학습 시점에 사용자가 어떤 상황에 놓일지 다 알 수 없으므로, 여러 가능성에 대한 가정을 데이터와 학습 과정에 미리 심어 둔다. 그 결과 모델은 안전하지만 밋밋한 답으로 수렴한다. 프롬프트로 이를 일일이 덮어쓰는 것은 품이 많이 들고, 이미 나온 뻔한 답을 본 뒤에야 반응하는 사후 대응에 그친다.

발표자의 대안은 '적시(Just-in-Time) 목표'다. 사용자의 작업 화면 스크린샷이나 웹페이지의 구조 같은, 손쉽게 얻을 수 있는 관찰 정보를 언어모델에 넣어 '지금 이 순간 사용자가 무엇을 하려는지'를 자동으로 추론한다. 이렇게 뽑아낸 목표는 이름·상세 설명·가중치를 가진 가벼운 형태로, 사용자가 별도로 요청하지 않아도 시스템을 그 목표 쪽으로 즉석에서 최적화한다.

이 아이디어를 담아 만든 브라우저 확장 도구 '포핀스(Poppins)'는 화면 맥락을 보고 필요한 도구의 UI를 즉석에서 만들어 낸다. 나아가 발표자는 개인 사용자를 넘어 데이터 분석 전문가(토픽 모델 Loom)와 사회 전체(소셜미디어 피드)로 같은 원리를 확장하며, 최종적으로는 사용자가 스스로 소유하고 통제하는 AI를 지향한다.

주요 인사이트

• 적시 목표의 정확도 실험에서 200명이 넘는 참가자가 자기 작업 스크린샷을 올렸고, 추론된 목표 대부분이 '정확하다'는 평가를 받았다. 상위 세 개 목표를 무작위 순서로 제시했을 때도 약 98%의 경우 추론된 목표가 선택됐고, 사용자 선호는 시스템이 매긴 가중치와 대체로 일치했다.
• 핵심 기법은 의외로 단순하다. 추론한 적시 목표를 기존 생성 프롬프트와 평가 프롬프트에 슬롯처럼 끼워 넣기만 해도 된다. 이 작은 수정만으로 적시 생성기의 결과가 맞대결에서 약 70% 선택됐고, 적시 평가기는 10개 후보 중 고를 때보다 사용자 선호 결과를 16%포인트가량 더 잘 골라냈다.
• 이 방식은 제3자(외부) 모델로도 구현돼, 지금 있는 범용 모델의 성능을 목표 개선만으로 더 끌어올릴 여지가 있음을 보여 줬다. 별도로 학습이 필요하면, 글쓰기 표본 5개 정도의 소량 예시로 사용자 문체에 맞춰 모델을 미세조정하는 'Ditto' 같은 기법도 함께 제시됐다.
• 17명이 참여한 실사용 실험에서 포핀스는 기존 챗봇 방식보다 유의미하게 높은 품질의 결과를 냈다. 예컨대 단편소설 초고에서는 등장인물 감정 변화를 추적하는 도구를 만들어 작가가 미처 몰랐던 캐릭터 묘사의 모순을 발견하게 했다. 사용자들은 이 도움이 자신을 대체하기보다 능력을 확장한다고 느꼈다.
• 사회 차원에서는 '사회적 목표 함수'를 도입해, 정치학이 정의한 반민주적 태도·당파적 적대감(APA) 같은 8개 차원의 구성 개념을 언어모델 프롬프트로 옮겼다. 이를 피드 재정렬에 적용하자 민주당·공화당 지지자 모두에게서 당파적 적대감이 유의미하게 줄었고, 관련 연구는 학술지 사이언스에 실렸다.

자주 묻는 질문

관련 AI 소식