2026년 AI 엔지니어 되는 법: 코딩 에이전트 대신 시스템 설계 판단력을 기르는 학습 로드맵

핵심 메시지

• 미국에서 신입 AI 엔지니어 연봉이 10만 달러 선에서 시작하고 시니어는 30만 달러를 넘는데, 정작 진입 방법에 대한 흔한 오해가 몸값을 깎아먹는다는 문제의식에서 출발한다.
• Codex나 Claude Code, Cursor로 몇 줄 입력해 앱을 만드는 일은 누구나 할 수 있으므로 그 자체로는 차별점이 되지 못한다는 것이 핵심 주장이다.
• 대신 배워야 할 것은 언제 프롬프트로 충분하고, 언제 RAG를 쓰고, 언제 파인튜닝하고, 언제 워크플로나 에이전트를 쓰고, 언제 LLM을 아예 쓰지 말아야 하는지에 대한 판단이다.
• 대부분의 기업에서 모델은 이미 주어져 있으므로 일의 무게중심이 모델 학습에서 모델 주위를 설계하는 시스템 설계로 옮겨갔다.
• 발표자는 2021년에 만든 머신러닝 입문 저장소를 지금의 AI 엔지니어링에 맞게 다시 만든 무료 오픈소스 로드맵을 공개했다.

쉽게 이해하기

'왓츠 AI' 채널을 운영하는 루이-프랑수아 부샤르는 Towards AI의 공동창업자이자 CTO로, 기업에 AI 솔루션을 만들어주고 개발자를 AI 엔지니어로 훈련시키는 일을 한다. 그가 던지는 문제의식은 간단하다. 진짜처럼 보이는 결과물을 만들기가 쉬워질수록, 자신이 그것을 이해하고 있다고 착각하기도 쉬워진다는 것이다. 그래서 지금 다시 시작한다면 챗봇 열 개를 감으로 만들어보는 대신 '의사결정하는 법'부터 배우겠다고 말한다.

직무 자체가 달라졌다는 진단이 그 근거다. 2020년에는 기업들이 데이터를 들고 와서 '우리 문제에 맞는 모델을 학습시킬 수 있나, 기존 모델을 파인튜닝할 수 있나'를 물었다. 지금은 GPT, Claude, Gemini, Llama, Mistral, Cohere, DeepSeek이 이미 있고 그보다 나은 모델을 쉽게 만들 수는 없다. 그래서 대화의 주제가 모델을 학습시키는 법에서 '모델 주위에 무엇을 쌓아야 실무에 쓸 만큼 믿을 수 있게 되는가'로 바뀌었다. 다만 그는 고전 머신러닝이 사라진 것은 아니니 어떤 모델이 벤치마크 1위를 했다고 테이블 데이터 모델을 버리지는 말라고 덧붙인다.

모델이 이미 충분히 강하고 심지어 코드까지 대신 써준다면 남는 일은 시스템 설계다. 어떤 컨텍스트를 줄지, 어떤 도구를 호출하게 할지, 어떤 데이터에 접근시키고 무엇은 절대 건드리지 못하게 할지, 출력을 어떻게 평가하고 실패를 어떻게 추적할지, 배포와 비용·지연은 어떻게 감시하고 최적화할지 같은 질문들이다. 여기에 더해 왜 파인튜닝 대신 특정 청크 크기의 검색 방식을 골랐는지 팀에게 설명할 수 있어야 한다고 말한다.

채용하는 쪽 시각도 같은 이야기라고 그는 강조한다. 기업이 찾는 것은 '손'이 아니라 그 많은 손을 관리할 '머리'다. 코딩 에이전트가 검색 파이프라인을 만들어줘도 검색이 애초에 맞는 해법이었는지, 아니면 토큰만 쓰고 있는 것인지는 사람이 판단해야 한다. 에이전트가 평가 코드를 써줘도 그 평가가 정말 중요한 것을 재고 있는지 확인해야 한다. 그러지 않으면 아주 자신만만한 인턴이 올린 풀 리퀘스트를 그냥 승인해주는 셈이라는 비유를 든다.

구체적인 학습 순서도 제시한다. 석사 시절처럼 반년을 이론에 쓰는 대신 LLM 작동 원리, 트랜스포머, 프롬프팅, 컨텍스트, 검색 증강, 에이전트, 평가를 다루는 좋은 영상 몇 편으로 용어와 직관을 먼저 잡는다. 다음으로 도구가 바뀌어도 돌아올 수 있는 사고 틀을 주는 책 한두 권을 읽고, 피드백과 마감이 필요하다면 프로젝트 중심 강의를 선택적으로 붙인다. 그다음은 직접 만드는 단계다. 인용이 달린 문서 질의응답 앱, 도구 호출과 구조화된 출력을 쓰는 지원 워크플로, 검색하고 읽고 브리핑을 써주는 리서치 어시스턴트, 검증이 붙은 인보이스 파서처럼 작고 잘 부서지는 시스템을 만들어보라는 것이다. 마지막 당부는 데모가 한 번 돌았다고 멈추지 말고, 에이전트가 만든 아키텍처를 시니어 엔지니어처럼 리뷰하며 머지 전 검토를 건너뛰지 말라는 것이다.

주요 인사이트

• 만들기가 쉬워질수록 이해했다는 착각도 쉬워진다는 지적이 이 영상 전체를 관통한다. 결과물이 그럴듯하게 나오는 순간이 학습을 멈추기에 가장 위험한 지점이라는 것이다.
• 도구를 매일 쓰는 사람일수록 전문성의 가치가 떨어진다고 느끼기 쉽지만, 발표자의 결론은 정반대다. 도구를 많이 쓸수록 그 결과를 판단할 사람의 중요성이 커진다고 본다.
• 데모와 제품을 가르는 기준을 그는 아주 실무적으로 정의한다. 아키텍처가 왜 말이 되는지, 어디서 무너질지, 무엇으로 측정할지, 실제 사용자 행동을 본 뒤 무엇을 바꿀지 설명할 수 있느냐다.
• 책을 권하는 이유가 흥미롭다. 느리다는 것이 오히려 장점이며, 도구가 바뀔 때마다 돌아와 기댈 수 있는 사고 틀을 남겨준다는 것이다.
• 학습을 마친 뒤에도 코딩 에이전트의 결과물을 그대로 받아들이지 말고 저장소에 직접 질문하며 무슨 일이 벌어지는지 따라가라고 조언한다. 뇌가 해야 할 몫의 일은 대신 시킬 수 없다는 취지다.

자주 묻는 질문

관련 AI 소식