AI와 데이터 과학 주기율표: 문서 질의응답 시스템을 12개 원소로 조립하는 IBM의 설계 지도

핵심 메시지

• AI 임베딩은 뒤에 놓인 데이터가 정리되기 전까지는 그저 숫자의 나열이고, 대규모 언어 모델의 품질은 학습 데이터의 품질을 넘지 못한다. 최근에는 반대 방향의 영향도 커져 데이터 라벨링과 합성 데이터 생성에 AI가 쓰인다.
• 두 사람이 만든 주기율표는 공식 표준이 아니라 학습용 보조 도구다. 데이터 과학 표는 원시 데이터에서 준비된 데이터, 모델링, 검증된 인사이트로 행이 올라가고 열은 수집·준비·모델링·생성·평가로 나뉜다.
• AI 표는 반응형, 검색, 오케스트레이션, 검증, 모델의 다섯 열과 프리미티브·조합·배포·신흥의 네 행으로 구성된다. 프리미티브는 프롬프트·임베드·LLM 셋뿐이다.
• 사내 문서 질의응답 시스템은 두 표에서 각각 여섯 개씩, 모두 12개 원소로 조립된다. ETL과 데이터 수집, 정제, 구조화, 인코딩, 거버넌스가 앞에 오고 임베딩, 벡터 DB, RAG, 프롬프트, LLM, 가드레일이 뒤를 잇는다.
• 여기에 드리프트 감지, 합성 데이터, 파인튜닝 세 원소를 더하면 단방향 파이프라인이 순환 구조가 된다. 실패 패턴을 합성 질의응답 쌍으로 만들어 임베딩 모델을 다시 학습시키면 사람이 손대지 않아도 검색 품질이 개선된다.

쉽게 이해하기

IBM의 애런 보그먼과 마틴 킨은 AI와 데이터 과학이 별개의 유행이 아니라 하나의 순환이라는 이야기로 시작한다. 데이터 과학은 수십 년간 이어져 온 분야이고, 지금 AI에서 벌어지는 일은 그 위에 얹혀 있다. 임베딩이라는 것도 결국 숫자의 나열일 뿐이며 뒤에 놓인 데이터가 정리돼 있어야 의미를 가진다. 대규모 언어 모델의 성능도 학습 데이터셋의 품질을 넘지 못한다. 반대 방향의 영향도 최근 뚜렷해졌다. 데이터에 라벨을 붙이고 합성 데이터를 만드는 데 AI가 쓰이고, 그렇게 만들어진 데이터가 다시 모델의 학습 재료가 된다. 두 사람은 이 관계를 고리로 표현하면서, 양쪽 모두 전문 용어가 지나치게 많다는 공통점도 짚는다. 그래서 각자 자기 분야를 주기율표 형태로 정리했다.

데이터 과학 주기율표는 화학의 주기율표처럼 각 칸이 두 글자 기호를 가진 원소로 되어 있다. 행은 데이터의 성숙도를 나타낸다. 첫 행은 원본 그대로의 원시 데이터로 ETL과 데이터 정제가 여기 있고, 둘째 행은 준비된 데이터로 데이터 수집과 인코딩이, 셋째 행은 클러스터링과 집계 같은 모델링이, 마지막 행은 거버넌스와 감사를 거친 검증된 인사이트다. 열은 수집, 준비, 모델링, 생성, 평가로 나뉜다. 표 아래에는 고전적 데이터 과학에는 없지만 양자 기법이 개입할 때 등장하는 원소 다섯 개를 따로 묶은 부록도 있는데, 양자 인코딩과 양자 지표 등이 여기 속한다.

AI 주기율표는 다섯 개 열과 네 개 행으로 되어 있다. 반응형은 입력을 받아 행동하는 것들로 에이전트가 대표적이고, 검색은 AI의 기억에 해당해 임베딩과 벡터 데이터베이스가 들어간다. 오케스트레이션은 조각들이 어떻게 협력하는지를 다루며 RAG가 여기 있고, 검증은 가드레일과 레드티밍처럼 시스템을 정직하게 유지하는 요소다. 마지막 열은 모델로 LLM과 답하기 전에 추론하는 사고형 모델이 놓인다. 행 쪽에서는 프롬프트·임베드·LLM 세 가지만이 원자적 구성 요소인 프리미티브이고, 함수 호출 같은 조합, 프레임워크처럼 실제 운영에 들어가는 배포, 멀티에이전트 시스템처럼 아직 확산 중인 신흥이 이어진다.

AI 쪽 여섯 원소가 이어진다. 정제된 각 청크는 임베딩을 거쳐 벡터가 되고, 비슷한 문장은 비슷한 벡터를 갖게 되어 의미 검색이 가능해진다. 이 벡터는 벡터 데이터베이스에 저장된다. 여기까지는 모두 추론 이전에 끝나는 준비 작업이다. 질의가 들어오는 순간부터는 RAG가 작동해 질문을 임베딩하고 벡터 DB에서 가장 가까운 청크를 찾는데, 이때 어떤 청크를 애초에 가져올 수 있는지는 거버넌스 원소가 결정한다. 허용된 청크는 프롬프트 원소에서 분석가의 질문과 함께 템플릿에 담기고, 이것이 앞서 말한 근거 제공에 해당한다. LLM은 검색된 청크에 근거해 답을 생성하고, 마지막으로 가드레일이 출력을 검사한다. 인용된 주장이 실제로 원문에 있었는지, 분석가에게 보여주기 전에 가려야 할 개인정보가 있는지를 확인하는 단계다. 여기까지는 질문이 들어가 답이 나오는 단방향 반응이고, 답을 내보내고 나면 시스템은 방금 무슨 일이 있었는지 잊는다. 그러면 시간이 지나도 좋아지지 않는다. 두 사람은 원소 셋을 더해 이 흐름을 고리로 바꾼다. 드리프트는 질의 임베딩의 군집이 달라지거나 사용자 피드백 비율이 떨어지는 등 파이프라인을 지나는 분포가 기준선에서 멀어질 때 신호를 낸다. 드리프트가 잡히면 합성 데이터 원소가 실패 패턴을 다루는 질의응답 쌍을 AI로 생성하고, 파인튜닝이 이 쌍을 임베딩 모델의 학습 데이터로 삼는다. 각 쌍은 이 질문이 이 청크 근처에 놓여야 한다는 것을 모델에 알려주며, 재학습된 임베딩 모델은 다시 임베딩 원소 자리로 돌아간다. 누군가 수동으로 손보지 않아도 사내 용어가 올바른 청크 주변으로 모이고 분석가는 더 나은 답을 받게 된다. 결론은 처음 제기한 명제로 돌아간다. AI 파이프라인이 아무리 중요해도 현실의 AI는 좋은 데이터 과학 위에서 돌아간다는 것이다.

AI 쪽 여섯 원소가 이어진다. 정제된 각 청크는 임베딩을 거쳐 벡터가 되고, 비슷한 문장은 비슷한 벡터를 갖게 되어 의미 검색이 가능해진다. 이 벡터는 벡터 데이터베이스에 저장된다. 여기까지는 모두 추론 이전에 끝나는 준비 작업이다. 질의가 들어오는 순간부터는 RAG가 작동해 질문을 임베딩하고 벡터 DB에서 가장 가까운 청크를 찾는데, 이때 어떤 청크를 애초에 가져올 수 있는지는 거버넌스 원소가 결정한다. 허용된 청크는 프롬프트 원소에서 분석가의 질문과 함께 템플릿에 담기고, 이것이 앞서 말한 근거 제공에 해당한다. LLM은 검색된 청크에 근거해 답을 생성하고, 마지막으로 가드레일이 출력을 검사한다. 인용된 주장이 실제로 원문에 있었는지, 분석가에게 보여주기 전에 가려야 할 개인정보가 있는지를 확인하는 단계다.

주요 인사이트

• AI와 데이터 과학의 관계를 '위아래'가 아니라 고리로 본다는 점이 핵심이다. 데이터가 모델을 먹이고, 모델이 다시 라벨링과 합성 데이터를 통해 데이터 준비 방식을 바꾼다.
• 거버넌스를 파이프라인 뒤편의 규제 항목이 아니라 검색 단계에서 실제로 호출되는 원소로 배치한 것이 설계상 요점이다. 무엇을 검색할 수 있는지를 권한이 먼저 결정해야 유출이 구조적으로 막힌다.
• 환각을 모델의 성질이 아니라 근거 제공의 부재로 다룬다. 검색된 청크를 프롬프트에 함께 넣는 단계가 있어야 모델이 지어낼 이유가 사라진다는 설명은 RAG의 존재 이유를 간결하게 요약한다.
• 드리프트 감지와 합성 데이터, 파인튜닝을 묶어 단방향 파이프라인을 순환으로 바꾸는 발상은, 운영 중 쌓이는 실패 신호를 폐기하지 않고 학습 자원으로 되돌리는 실용적인 경로를 보여준다.
• 정제되지 않은 PDF의 레터헤드와 OCR 찌꺼기가 임베딩 품질을 갉아먹는다는 지적처럼, 화려한 AI 단계보다 앞단의 지루한 데이터 작업이 결과를 좌우한다는 점이 예시 전반에서 반복된다.

자주 묻는 질문

관련 AI 소식