LDM(대규모 데이터베이스 모델)이란? SQL 데이터 위에서 학습하는 AI 모델 정리

핵심 메시지

• LLM 앞에 도달하는 기업 데이터는 1% 남짓이고 나머지 99%는 암호화와 접근 제어에 둘러싸인 관계형 데이터베이스 안에 남아 있다는 문제의식에서 LDM이 출발한다.
• LDM은 책이나 웹 문서가 아니라 사용자가 고른 테이블·뷰·컬럼만을 학습해, 'SQL로 물어보면 비슷한 고객을 찾아주는' 모델이 된다.
• 값을 컬럼명과 묶은 토큰으로 바꾸고 숫자는 구간으로 묶은 뒤, 한 행을 순서 없는 문장처럼 학습하는 다섯 단계를 거친다.
• 모델이 데이터가 있는 자리에서 돌기 때문에 데이터 이동 비용과 보안 위험이 줄고, SQL 문장을 쓸 줄 아는 사람이면 데이터 과학자를 거치지 않고 의미 기반 질문을 던질 수 있다.
• IBM은 2022년 SQL Data Insights로 첫 상용 제품을 냈고, 2026년 3월에는 비정형 텍스트까지 다루는 후속 버전을 내놓았다.

쉽게 이해하기

IBM 테크놀로지의 마틴 킨은 LLM(대규모 언어 모델), LRM(대규모 추론 모델)에 이어 낯선 약어 하나를 꺼낸다. LDM, 즉 '대규모 데이터베이스 모델'이다. 이름은 비슷하지만 학습 대상이 완전히 다르다. 위키백과나 책이 아니라, 관계형 데이터베이스에 있는 특정 테이블과 뷰, 그리고 사용자가 고른 컬럼이 학습 재료다.

왜 이런 모델이 필요할까. 강연에 따르면 기업이 보유한 데이터 가운데 LLM 앞까지 오는 비중은 1% 정도에 불과하고, 나머지 99%는 암호화와 접근 통제에 둘러싸인 데이터베이스 안에 갇혀 있다. 업무에 실제로 쓰이는 데이터가 대부분 그 안에 있는데 AI는 거기에 닿지 못한다는 것이다.

설명에 쓰인 예는 온라인 화장품 판매다. 한 고객이 특정 상품을 장바구니에 담았을 때 '비슷한 고객'을 찾으려면, 지금까지는 데이터 과학자가 나이·도시·구매액 같은 조건을 골라 SQL의 WHERE 절을 직접 짰다. 이 방식은 어떤 컬럼이 유사성과 관련 있는지 사람이 추측해야 하고, 데이터를 분석 플랫폼으로 옮겨야 해 느리고 비싸다. 강연은 IBM 집계를 인용해 고객이 IT 예산의 32~40%를 데이터를 옮기는 데만 쓴다고 전한다.

LDM 방식의 질의는 조건을 나열하는 대신 '이 테이블로 학습한 모델 기준으로 이 고객과 가장 비슷한 고객'을 요청한다. 컬럼을 사람이 고르지 않아도, 모델이 학습한 벡터 표현이 어떤 값들이 함께 등장하는지를 근거로 답을 준다. 필요하면 기존 SQL의 WHERE 절을 함께 붙여 특정 국가로 범위를 좁힐 수도 있어, 의미 기반 검색과 일반 SQL을 한 문장에서 섞을 수 있다.

동작은 다섯 단계다. 테이블을 고르고 각 컬럼을 범주형·수치형·키로 분류하고, 모든 값을 토큰으로 바꾸며, 각 행을 순서가 없는 문장으로 만들고, 자기지도 신경망으로 토큰별 벡터를 학습한 뒤, 학습된 모델을 데이터베이스에 다시 올려 SQL로 노출한다. 이렇게 하면 유사도, 이상치, 군집, 유추, 희소성 같은 질문을 표준 SQL로 던질 수 있다.

주요 인사이트

• 숫자 처리 방식이 이 모델의 핵심 아이디어다. 모델에게 37과 38은 의미상 가까운 값이 아니라 그저 서로 다른 토큰이므로, 수치형 컬럼은 군집 알고리즘으로 먼저 구간을 나눠 같은 버킷에 들어간 값을 아예 같은 토큰으로 취급한다.
• 같은 문자열이라도 컬럼이 다르면 다른 토큰이 된다. '뉴욕'이 도시 컬럼에 있을 때와 다른 컬럼에 있을 때를 구분하지 않으면 모델이 뜻이 다른 값을 뒤섞기 때문이다.
• 한 행을 '순서 없는 문장'으로 다룬다는 점도 언어 모델과 다르다. 문장에서의 어순 대신, 같은 행에 함께 나타났다는 사실 자체가 관계의 근거가 된다.
• 적용 사례로는 수백만 건의 과거 계약에서 유사 건을 찾아 성사 가능성을 예측하는 보험, 평소 패턴과 전혀 다른 거래를 잡아내는 이상거래 탐지, 영양 성분이 비슷한 식품을 찾아주는 유통 등이 언급된다.
• 결국 두 가지가 핵심이다. 모델이 데이터가 있는 자리에서 돌아간다는 것, 그리고 SQL을 쓸 줄 아는 사람이면 파이프라인을 거치지 않고 의미 기반 질문을 던질 수 있다는 것이다.

자주 묻는 질문

관련 AI 소식