데이터 엔지니어 되는 법: 카카오 추천팀 출신 현직자가 말하는 기본기와 경험 쌓기, 그리고 채용 기준

핵심 메시지

• 발표자는 좋은 엔지니어를 '근거를 바탕으로 의사 결정을 하는 엔지니어'로 정의하고, AI 도구가 추천했다는 이유만으로 기술을 고르는 태도를 경계한다.
• 데이터 엔지니어의 일은 파이프라인 구축에 그치지 않는다. 실시간 서빙 서버, 광고 서버 개발, A/B 테스트 환경 구축, 대시보드용 프런트엔드까지 포함된다.
• 채용에서 가장 많이 언급되는 평가 항목은 문제 해결 능력이며, 화려한 결과물보다 장애를 겪고 원인을 추적해 해결한 경험이 더 강한 증거가 된다.
• 프로젝트는 만드는 데서 끝내지 말고 서너 달 실제로 운영해 보고, 클라이언트부터 저장소까지 전 구간을 직접 다뤄 보라고 조언한다.
• AI 코딩 도구가 보편화되면서 인턴십 과제 난도도 올라갈 것이므로, 파이프라인 구성 요소를 머릿속에 그릴 수 있는 기본기가 오히려 더 중요해졌다.

쉽게 이해하기

발표자는 카카오 추천팀에서 데이터 엔지니어로 일한 뒤 현재는 가상자산 거래 플랫폼에서 소프트웨어 엔지니어로 근무하고 있다. 그는 예전에는 서버·인프라·데브옵스·데이터 엔지니어의 경계가 뚜렷했지만 AI 코딩 도구가 보편화된 뒤로 그 구분이 흐려지고 있다고 본다. 그래서 좋은 데이터 엔지니어가 되는 길과 좋은 엔지니어가 되는 길이 다르지 않다는 전제로 강연을 구성했다.

데이터 엔지니어가 왜 필요한지에 대한 설명은 현실적이다. 대형 플랫폼처럼 데이터가 방대한 조직에서 기존 제품의 수준을 한 단계 끌어올리는 역할이며, 데이터 양이 크지 않은 회사는 백엔드 엔지니어가 이 역할을 겸하는 경우가 많고 사용자에게 최적화된 광고를 노출해야 하는 광고 조직이 데이터 엔지니어가 가장 많이 일하는 분야로 꼽힌다고 전한다. 기술적 기반은 대용량 데이터를 추출·변환·적재하는 ETL 파이프라인을 기본으로 하고, 그 위에 여러 엔진과 모듈을 이어 붙여도 데이터 유실이나 중복이 생기지 않게 하는 안정적인 설계가 한 단계 높은 기술로 놓인다. 여기에 웨어하우스와 레이크 설계, 테라바이트·페타바이트 규모의 분산 처리와 성능·비용 최적화가 더해지며, 같은 컴퓨팅 자원으로도 파티션 조정이나 셔플 제어로 성능을 끌어올리는 차이가 엔지니어의 수준을 가른다고 말한다.

실제 업무 사례로는 사업 지표와 시스템 지표를 보여 주는 대시보드 개발, 추천 시스템과 머신러닝 모델에 데이터를 공급하는 파이프라인, Go로 만든 실시간 광고 서버, 데이터 사이언티스트도 쓸 수 있도록 백엔드와 프런트엔드까지 직접 만든 A/B 테스트 환경이 소개된다. 대학 시절 프로젝트로는 사라진 인기 검색어를 직접 만들어 보겠다며 기사와 영상을 크롤링해 Kafka로 보내고 그래프 데이터베이스 Neo4j에 적재한 뒤 관계를 시각화한 사례, 라즈베리파이로 GPS 데이터를 모아 무리에서 이탈한 아이를 찾아내는 서비스를 만든 사례를 든다.

준비 방법의 핵심은 기본기와 경험 두 가지다. 언어는 Java·Scala·Python, 저장소는 관계형 데이터베이스보다 다양한 NoSQL 경험이 인상적이었다고 하며 분산 처리는 Spark, 워크플로 관리는 Airflow, 클라우드는 AWS 같은 도구가 언급된다. 공식 문서를 읽는 습관도 강조되는데, 문서를 건너뛰면 시스템 이해도가 낮아져 장애 대응이 어려워지기 때문이다. 경험 쪽에서는 혼자보다 학회나 동아리에서 팀 프로젝트를 하고, 만든 서비스를 서너 달 운영하며 장애를 겪어 보라고 권한다.

마지막으로 AI 도구 시대의 태도를 짚는다. 왜 그 기술 스택을 골랐냐고 물었을 때 'AI가 그렇게 하라고 해서'라고 답하는 경우가 늘었는데, 도구를 쓰는 것 자체가 문제가 아니라 근거 없이 결정하는 태도가 문제라는 것이다. 작업자는 회사의 환경이나 도메인 사정처럼 AI에게 입력하지 않은 맥락을 더 많이 알고 있기 때문에, 기본기가 탄탄해야 AI와 협업해도 더 나은 설계가 나온다는 결론이다.

주요 인사이트

• 직무 경계가 흐려지는 흐름은 진입자에게 오히려 유리하게 해석될 수 있다. 데이터 엔지니어를 목표로 하더라도 백엔드·인프라·프런트엔드 경험이 낭비되지 않기 때문이다.
• 포트폴리오의 설득력은 만든 것의 규모가 아니라 왜 그 선택을 했는지 설명할 수 있느냐에서 갈린다. 발표자도 면접에서 Kafka를 쓴 이유, 브로커를 세 개 둔 이유를 묻는 질문을 받았다고 한다.
• 남들이 잘 쓰지 않는 기술을 다뤄 본 경험이 면접에서 무기가 될 수 있다. 그래프 데이터베이스를 써 본 덕에 면접장에서 가장 잘 아는 사람이 될 수 있었다는 일화가 이를 보여 준다.
• 이전 프로젝트에서 써 본 도구가 나중에 결정적인 자산이 된다. 대학 프로젝트에서 다룬 시계열 데이터베이스와 Kafka 경험이 인턴십 과제를 푸는 열쇠가 됐다.
• AI 코딩 도구는 작업 시간을 줄이는 대신 평가 기준을 끌어올린다. 두 달 걸리던 과제를 하루에 끝낼 수 있게 되면 과제 자체가 더 어려워진다는 전망이다.

자주 묻는 질문

관련 AI 소식