AI 직군 차이 정리 — 데이터 엔지니어, 데이터 사이언티스트, 응용 과학자, ML 엔지니어, 연구자

핵심 메시지

• 데이터 엔지니어는 모든 머신러닝 파이프라인의 토대다. 데이터 소스를 연결하고 수집을 자동화하며, 지저분한 원본을 정제해 저장·조회 가능한 형태로 만드는 일을 맡는다.
• 데이터 사이언티스트의 목표는 모델 자체가 아니라 사업적 통찰이다. 탐색적 데이터 분석으로 패턴을 찾고 비교적 단순한 알고리즘으로 예측하며, 비전문가에게 결과를 설명하는 능력이 핵심 역량이다.
• 응용 과학자는 논문을 읽고 가설을 세우되, 깨끗한 예제 데이터가 아니라 실제 현장 데이터에서 작동하도록 방법을 고쳐 쓰는 사람이다. 벤치마크 점수를 올리는 것이 목표가 아니다.
• ML 엔지니어는 사실상 소프트웨어 엔지니어링의 한 분야다. 데이터를 제품으로 바꾸는 것이 목표이고, 채용 과정도 소프트웨어 엔지니어 채용과 거의 같다.
• 리서치 사이언티스트와 리서치 엔지니어의 경계는 실무에서 흐릿하다. 가장 큰 차이는 업무보다 채용 요건으로, 신입 리서치 사이언티스트는 대체로 박사 학위나 최상위 학회 제1저자 논문을 요구한다.

쉽게 이해하기

머신러닝 관련 채용 공고를 보면 데이터 엔지니어, 데이터 사이언티스트, ML 엔지니어, 리서치 엔지니어, 리서치 사이언티스트, 응용 과학자 같은 이름이 뒤섞여 나온다. 발표자는 자신도 이 차이를 파악하는 데 지나치게 많은 시간과 혼란을 들였다며, 첫 직장에서 고전적인 머신러닝 파이프라인의 여러 단계를 직접 거친 경험을 순서대로 풀어 설명한다.

출발점은 데이터 엔지니어링이다. 그는 첫 업무로 연결할 데이터 소스를 여러 개 찾고, 소스에서 목적지까지 데이터가 흐르는 인프라 전체를 만들고 유지했다. 수집을 자동화하는 파이썬 코드를 쓰자 지저분한 XML이 쏟아졌고, 필요한 정보만 뽑아 원하는 형식으로 바꿔야 했다. 데이터가 수 메가바이트에서 수백 메가바이트를 지나 테라바이트로 불어나면서 어떤 항목이든 쉽게 찾고 걸러낼 수 있는 저장 구조를 설계하고 데이터베이스를 관리하는 일까지 따라왔다. 현실 데이터에는 결측과 오류가 많아 이를 처리하는 방법을 만들어 적용하는 것도 여기 포함된다.

같은 데이터를 놓고 데이터 사이언티스트는 다른 일을 한다. 목표는 데이터에서 사업적 통찰을 끌어내는 것이다. 통계적 방법으로 탐색적 데이터 분석을 해 어떤 변수가 실제로 쓸모 있는지 가려내고, 구매 행동으로 고객군을 나눠 표적 마케팅에 쓰거나 이탈과 사기 거래를 예측한다. 대체로 노트북 환경을 크게 벗어나지 않는 수준의 프로그래밍과 SQL이면 되고, 자동화된 모델 탐색 도구를 쓰는 경우도 많다. 대신 사업 담당자의 목표를 이해해 올바른 모델링 판단을 내리고 결과를 비전문가에게 설명하는 소통 능력이 크게 요구된다.

데이터가 표 형태가 아니라 3차원 병리 영상이나 그래프로 표현된 분자처럼 복잡해지면 이야기가 달라진다. 발표자가 맡았던 일은 도로망과 교통 흐름을 그래프로 표현해 미래 교통량을 예측하는 것이었다. 응용 과학자는 연구자처럼 사고하고 논문을 읽으며 기존 연구 위에 쌓아 올리되, 관심은 벤치마크 점수를 조금 올리는 데 있지 않고 깔끔한 예제 데이터용으로 만들어진 방법을 실제 현장 문제에 맞게 고쳐 작동시키는 데 있다. 의료처럼 특정 산업에 적용하려면 머신러닝과 그 분야 지식을 함께 갖추거나 빠르게 익히고 협업하는 능력이 필요하다.

ML 엔지니어는 데이터 사이언티스트와 겹쳐 보이지만 목표가 다르다. 데이터 사이언티스트가 통찰을 만든다면 ML 엔지니어는 데이터를 제품으로 만든다. 대부분 회사에서 이 직군은 소프트웨어 엔지니어링의 하위 분야로 취급되고 채용 절차도 소프트웨어 엔지니어와 거의 같다. 요청을 처리하는 확장 가능한 엔드포인트를 만드는 일부터 학습 파이프라인 구축, 대규모 학습을 위한 분산 인프라 운영까지 범위가 넓고, 기성 모델을 그대로 쓰는 경우가 늘면서 오히려 순수 머신러닝 지식은 덜 요구되는 방향으로 가고 있다. 마지막으로 연구 직군은 가설을 세우고 실험을 설계해 검증하며 논문으로 발표하는데, 리서치 사이언티스트와 리서치 엔지니어의 실제 업무 경계는 흐릿하고 논문에 동등한 기여자로 함께 오르는 일도 드물지 않다.

주요 인사이트

• 직함은 조직의 행정 편의가 만든 산물에 가깝다. 같은 팀에서 같은 직함을 단 두 사람이 전혀 다른 일을 하고, 다른 회사에서 같은 일을 하는 두 사람이 다른 직함을 다는 일이 흔하다. 그래서 결국 채용 공고의 실제 업무 설명을 읽는 것이 가장 정확하다.
• 머신러닝 직군을 준비할 때 흔히 모델링부터 공부하지만, 실무 파이프라인의 앞단은 대부분 데이터 수집·정제·저장이다. 데이터 없이는 머신러닝을 생각할 이유조차 없다는 것이 발표자의 표현이다.
• ML 엔지니어 채용에서는 머신러닝을 잘 아는 사람보다 뛰어난 엔지니어를 선호하는 경향이 언급된다. 뛰어난 엔지니어가 머신러닝을 익히는 편이 그 반대보다 쉽다는 이유에서다.
• 응용 과학자는 연구와 제품 사이에 있다. 새로운 가설을 세우고 검증 방법을 고민한다는 점에서 연구지만, 결과물이 실제 운영 환경에서 버텨야 한다는 점에서 대규모 시스템을 다뤄 본 사람들의 도움이 함께 필요하다.
• 연구 직군에서 사이언티스트와 엔지니어를 가르는 실질적 기준은 업무 내용보다 진입 요건이다. 신입 리서치 사이언티스트는 대체로 박사 학위나 최상위 학회 제1저자 논문을 요구받고 초봉도 다소 높지만, 리서치 엔지니어는 그렇지 않은 경우가 많다.

자주 묻는 질문

관련 AI 소식