마이크로소프트 패브릭 실시간 이상 탐지, 임계값 설정 없이 봇 트래픽을 잡아내는 방법

핵심 메시지

• 애저 SQL의 변경 이벤트 스트리밍으로 티켓 판매 데이터를 실시간으로 내보내고, 패브릭에서 시계열 이상 탐지로 봇의 비정상 구매를 잡아내는 흐름을 시연했다.
• 이상을 탐지하려면 이상 구간의 앞뒤 양쪽에 정상 기준선이 있어야 한다. 비정상 상태가 계속 이어지기만 하면 무엇이 정상인지 알 수 없어 탐지가 일어나지 않는다.
• 쿼리에서 '이상 점수가 얼마 이상이면 경보' 같은 임계값을 직접 지정하지 않았다. 최근 15분 구간을 보라고만 지시했고 나머지는 시계열 분해 함수가 처리했다.
• 이상 점수는 정상 상태에서 몇 표준편차만큼 떨어져 있는지에 가까운 개념이지만, 정확히 그것만은 아니라고 발표자는 선을 그었다.
• 탐지로 끝나지 않고 액티베이터를 붙여 알림 발송, 사용자 지정 동작, 노트북이나 파이프라인 실행 같은 자동 대응까지 연결할 수 있다.

쉽게 이해하기

마이크로소프트 개발자 채널의 데이터 프로그램에서, 한 파트너사 데이터·분석 책임자가 애저 SQL과 패브릭에 숨어 있는 이상 탐지 기능을 실시간 시연으로 보여 줬다. 상표 문제를 피하려고 가상의 대형 축구 대회를 설정하고, 그 결승전 티켓 판매를 소재로 삼았다. 정상적으로 표를 사려는 사람들 사이에 정상적이지 않은 방법으로 표를 사들이려는 봇이 섞여 있다는 설정이다.

구성은 이렇다. 애저 SQL에서 변경 이벤트 스트리밍으로 티켓 판매를 흘려보낸다. 이 기능은 변경 추적이나 변경 데이터 캡처와 달리 트랜잭션 로그의 변경 사항을 잡아 목적지로 밀어 넣는 방식이다. 목적지는 패브릭의 이벤트 스트림이고, 애저 이벤트 허브를 쓸 수도 있다. 준비 단계에서는 데이터베이스가 자신을 패브릭에 인증할 수 있도록 자격 증명을 만들어 관리 ID를 부여하고, 이벤트 스트림 그룹을 만든 뒤 판매 테이블을 그 그룹에 추가한다.

시연은 세 단계로 진행됐다. 먼저 정상적인 티켓 판매를 미리 채워 넣고, 그다음 20초 동안 정상 범위를 크게 벗어나는 봇의 구매를 발생시키고, 마지막으로 30초 동안 다시 정상 판매를 흘려보낸다. 발표자는 이 마지막 단계가 중요하다고 강조했다. 나쁜 상태가 계속 이어지기만 하고 정상이 어떤 모습인지 보여 주지 않으면 이상 탐지가 아예 일어나지 않기 때문이다.

데이터는 애저 SQL에서 이벤트 스트림으로 들어가고, 다시 이벤트하우스로 흘러간다. 이벤트하우스는 패브릭 안의 KQL 데이터베이스로, 시계열 분석에 강한 구조다. 차트에는 오후 내내 이어진 평범한 판매 흐름 위로 뾰족한 봉우리 하나가 솟아오르고, 그 구간의 행들이 매우 높은 이상 점수와 함께 걸러져 나온다.

가장 인상적인 대목은 쿼리 쪽이다. 발표자는 '이상 점수가 얼마 이상이면 표시하라' 같은 조건을 어디에도 쓰지 않았다. 시계열 분해 이상 탐지 함수에 최근 15분을 보라고 지시했을 뿐인데 정확히 문제가 된 구간을 찾아냈다. 여기서 한 걸음 더 나아가 액티베이터를 붙이면, 티켓 판매팀에 특정 IP를 차단하라는 메시지를 보내는 식의 알림은 물론 사용자 지정 동작, 다른 이벤트, 노트북, 파이프라인 실행까지 자동으로 이어지게 만들 수 있다.

마무리에서 나온 조언은 의외로 소박했다. 이 시나리오는 점점 일반화되고 있는 개념 위에 얹혀 있으니, 관리 ID가 무엇인지부터 익혀 두라는 것이다. 데이터베이스에 신원을 부여하고 그 신원으로 패브릭에 접속해 작업할 권한을 주는 개념만 이해하면, 나머지는 문서에 있는 T-SQL을 거의 그대로 가져다 자기 용도에 맞게 손보는 수준이었다고 그는 설명했다.

주요 인사이트

• 이 시연의 진짜 메시지는 티켓 봇이 아니라 '임계값을 사람이 정하지 않아도 되는 탐지'다. 규칙 기반 경보는 기준을 잘못 잡으면 놓치거나 시끄러워지지만, 시계열 분해는 최근 구간의 정상 패턴 자체에서 기준을 끌어낸다.
• 이상 탐지가 성립하려면 이상 구간 앞뒤로 정상 데이터가 있어야 한다는 지적은 실무에서 자주 간과되는 함정이다. 장애가 길게 이어지는 상황에서는 그 상태가 새로운 정상으로 학습돼 경보가 멎을 수 있다.
• 발표자가 이상 점수를 표준편차에 '가깝지만 정확히 그것은 아니다'라고 표현한 태도는 참고할 만하다. 지표의 의미를 과장하지 않고 문서를 확인하도록 넘기는 편이 오히려 신뢰를 준다.
• 탐지와 대응이 한 판에서 이어진다는 점이 실전에서 중요하다. 이상을 찾아내는 것만으로는 가치가 제한적이고, 노트북·파이프라인 실행까지 자동으로 연결돼야 데이터 품질 관리로 작동한다.
• 티켓 판매라는 소재는 예시일 뿐이며, 발표자 스스로 ETL 파이프라인이 도는 상황에 그대로 대입해 보라고 안내했다. 데이터가 규칙적으로 흐르는 환경이라면 어디든 같은 구조를 적용할 수 있다.

자주 묻는 질문

관련 AI 소식