AI 문제 정의 열두 가지 대안 정리 — 규칙 기반, 예보, 이상 탐지부터 RAG와 파인튜닝까지

핵심 메시지

• 문제를 다시 틀 짓기 전에 어떤 선택지가 있는지부터 알아야 한다는 것이 이 강의의 출발점이다.
• 많은 문제는 AI 없이 규칙 한 줄이나 지난주 값 같은 단순 기준선으로 충분하고, 그 기준선이 있어야 AI 투자 가치도 잴 수 있다.
• 예보와 회귀, 이상 탐지와 분류, 군집과 분류, 추천과 예측처럼 겉보기에 비슷한 짝들이 실제로는 전혀 다른 문제 정의다.
• 언어 모델이 만능은 아니어서 개인정보 마스킹이나 스팸 분류처럼 양이 많고 결정성이 필요한 일은 전통적 자연어 처리가 더 싸고 빠르다.
• 생성과 검색, 추출과 생성, 파인튜닝과 프롬프팅, 긴 문맥과 검색 증강처럼 생성형 AI 안에서도 갈림길이 계속 나온다.

쉽게 이해하기

이 강의는 AI 문제를 풀 때 쓸 수 있는 방법의 '차림표'를 먼저 머릿속에 넣어 두자는 취지로 만들어졌다. 강연자는 선택지를 모르면 문제를 다시 정의하거나 다르게 생각하는 일 자체가 불가능하다고 말한다. 챗봇에게 물어보면 각 기법은 얼마든지 배울 수 있지만, 우리 데이터의 특성과 팀 구성, 사내 요구 조건과 기존 분석 이력까지는 알려 주지 않기 때문에 사람이 먼저 큰 지도를 갖고 있어야 한다는 것이다.

가장 먼저 나오는 조언은 AI를 반드시 쓸 필요는 없다는 것이다. 주문 금액이 일정 기준을 넘으면 승인을 받게 하는 규칙 한 줄이면 되는 일에 커다란 신경망을 붙이는 경우가 흔하다고 지적한다. 수요 예측이라면 어제나 지난주, 지난 분기 값을 기준선으로 삼고, 이상 탐지라면 상위 몇 퍼센트 임계값을 잡는 식의 단순한 방법이 있다. 정보를 뽑아내는 일에도 정규 표현식이나 템플릿이 여전히 유효하며, 무엇보다 이런 기준선이 있어야 AI가 얼마나 더 나은지 판단할 수 있다.

전통적인 기계 학습 영역에서는 네 가지 짝이 제시된다. 회귀와 예보는 데이터의 순서가 중요한지로 갈리고, 분류와 이상 탐지는 좋은 것은 알지만 나쁜 것의 형태가 무한할 때, 사례가 극히 드물 때, 시간에 따라 양상이 변할 때 후자로 기운다. 군집과 분류는 집단을 내가 정하느냐 데이터에서 나오게 두느냐의 차이이고, 추천과 예측은 점수를 매기는 것과 순위를 주는 것 중 무엇이 실제로 쓰이는지를 따진다. 여기에 예측 대신 최적화가 필요한 경우도 자주 놓친다며, 목표들이 서로 충돌하고 자원이 제한된 배송 경로나 일정 편성 같은 문제를 예로 든다.

생성형 AI 쪽으로 넘어가면 갈림길이 더 늘어난다. 언어 모델과 전통적 자연어 처리는 비용과 속도, 결정성에서 갈리는데, 강연자는 작은 자연어 처리 작업마다 언어 모델을 부르는 것을 씨앗 하나 심는 데 굴착기를 끌고 오는 일에 비유했다. 사실에 매여야 하는 답에는 검색이, 마케팅 문구처럼 변주가 필요한 일에는 생성이 맞는다. 문서에서 몇 개 항목만 뽑아 표로 만드는 일이라면 추출이고, 검색도 정확한 부품 번호를 찾는 어휘 검색과 표현이 달라도 통하는 의미 검색, 데이터베이스를 질의하는 구조적 검색으로 나뉜다.

마지막으로 모델을 다루는 방식과 최근의 논쟁이 이어진다. 프롬프팅과 파인튜닝 중에서는 사실상 대부분이 프롬프팅이며 파인튜닝은 어조를 고정하거나 특정 출력 형식을 강제하는 드문 경우에 쓰인다고 정리한다. 긴 문맥과 검색 증강 생성의 대결에 대해서는 문맥 창이 아무리 커져도 기업이 가진 문서 전체를 담을 수 없고, 많이 넣을수록 모델이 놓치는 부분이 생기며 연산 비용도 커진다고 본다. 그리고 최근 몇 달 사이 가장 뜨거운 질문으로 정해진 절차를 밟는 파이프라인과 스스로 판단하는 자율 에이전트 중 무엇을 쓸지를 든다.

주요 인사이트

• 강연자는 소니가 연구개발 부서 엔지니어를 2년마다 다른 부서로 순환시킨 이야기를 꺼낸다. 무언가를 만드는 방법을 폭넓게 알려면 회사의 여러 부분을 겪어 봐야 한다는 것으로, 기술 직군의 과도한 전문화에 대한 반례로 제시된다.
• '한 시간이 주어지면 55분을 문제 정의에 쓰고 5분을 푸는 데 쓰겠다'는 말이 인용되는데, 강연자는 이것이 아인슈타인이 실제로 한 말은 아닌 것 같다고 직접 덧붙인다. 코드를 대신 써 주는 에이전트 시대일수록 앞단의 계획이 더 중요해진다는 맥락이다.
• 파이프라인과 자율 에이전트 사이에는 정답이 없다고 못 박는다. 조직에 이미 확인 절차가 있는 대출 승인 같은 일은 투명한 파이프라인이 맞고, 중간중간 검증할 방법이 있는 코딩 보조는 그냥 맡겨 두는 편이 낫다는 식이다.
• 긴 문맥이 유리한 경우로는 50쪽 문서에서 위험 요소를 통째로 요약하거나 떨어져 있는 두 정보를 연결해야 할 때, 표가 지저분해 잘게 쪼개면 정확도가 떨어질 때가 꼽혔다.
• 강연자는 이 영상을 한 번에 몰아 보지 말고 필요한 부분을 나눠 보라고 권한다. 기법을 외우는 것이 목표가 아니라 이해관계자 앞에서 빠르게 판단해야 할 때 떠올릴 지도를 만드는 것이 목적이기 때문이다.

자주 묻는 질문

관련 AI 소식