생성형 AI 입문 — 트랜스포머·RAG·파인튜닝·에이전트 한 번에 이해

핵심 메시지

• AI·머신러닝·딥러닝·생성형 AI는 마트료시카처럼 포개진 관계이며, 생성형 AI는 분류가 아니라 “새로운 것을 만드는” 확률 기반 모델이다.
• LLM이 특별한 이유는 자연어를 인터페이스로 쓰는 점과 다단계로 추론하는 능력이며, 입력은 토큰화→임베딩→트랜스포머(어텐션·피드포워드)를 거쳐 다음 토큰을 예측한다.
• 확률 기반이라 그럴듯하지만 틀린 답(환각)이 나올 수 있으며, RAG·프롬프트/컨텍스트 엔지니어링·온도와 top-k/top-p 조절로 이를 제어한다.
• 모델은 용도에 따라 디코더 전용(생성)·인코더 전용(이해/분류)·인코더-디코더(변환)로 나뉘고, MoE·양자화·파인튜닝(PEFT)으로 비용과 성능을 조정한다.
• AI 에이전트는 계획·기억·도구를 갖춰 작업을 대신 수행하며, MCP는 모델과 데이터·도구를 잇는 표준 규격으로 에이전트 확장을 돕는다.

쉽게 이해하기

강의는 AI를 “인간 지능을 모방하는 기계”라는 큰 목표로, 그 안에 데이터로 학습하는 머신러닝, 다시 그 안에 다층 신경망을 쓰는 딥러닝, 핵심에 생성형 AI가 포개진 구조로 설명한다. 전통적(판별형) AI가 입력을 분류한다면 생성형 AI는 통계적으로 다음에 올 토큰을 예측해 글·이미지·영상 같은 새 콘텐츠를 만든다. 다만 논리 엔진이 아닌 확률 엔진이라 그럴듯하지만 틀린 “환각”이 생길 수 있다.

LLM이 세상을 바꾼 이유로 두 가지를 든다. 첫째, 자연어가 새로운 사용자 인터페이스가 되어 코드를 몰라도 누구나 강력한 기술을 쓸 수 있게 됐다는 점, 둘째, 모호한 지시를 단계로 쪼개 추론하고 긴 맥락을 유지하는 추론 능력이다. 프롬프트를 보내면 텍스트가 토큰(숫자)으로 변환되고, 임베딩으로 의미를 담은 벡터가 되어 트랜스포머 블록을 통과한다.

강의는 트랜스포머의 핵심을 자세히 풀어낸다. 2017년 “Attention Is All You Need” 논문 이전의 RNN은 순차 처리로 긴 문맥을 잊는 한계가 있었는데, 트랜스포머는 모든 단어를 동시에 보는 병렬 처리와 셀프 어텐션(Q·K·V)으로 이를 해결했다. 멀티헤드 어텐션, 피드포워드 네트워크, 잔차 연결과 층 정규화, 위치 인코딩, 컨텍스트 윈도우 같은 구성 요소와 모델 설정 파일(어휘 크기·차원·층 수·어텐션 헤드)의 의미도 짚는다.

실무 관점에서 모델 선택과 제어 기법을 다룬다. 아키텍처는 디코더 전용(GPT·클로드, 생성), 인코더 전용(BERT, 이해·분류), 인코더-디코더(T5, 변환)로 나뉜다. 비용·효율을 위한 MoE(전문가 혼합), 적은 비용으로 추론력을 끌어올린 GRPO(딥시크 R1), 거대 모델을 작은 GPU에 올리는 양자화, 동작을 바꾸는 파인튜닝과 어댑터만 학습하는 PEFT를 설명한다.

마지막으로 프로덕션용 생성형 AI 앱을 만드는 4단계(용도 정의→모델 선택→조정·적응→배포·모니터링)와 RAG, 평가 지표(n-그램·임베딩·LLM 심판), 정렬 기법(SFT·RLHF·헌법적 AI)을 소개한다. 또한 계획·기억·도구를 갖춘 AI 에이전트, 반성·도구 사용·동적 계획·멀티 에이전트 협업 패턴, 모델과 도구를 잇는 표준 MCP, 그리고 ADK(A2A)·랭그래프·크루AI·메타GPT·마이크로소프트 에이전트 프레임워크 같은 도구들을 정리한다.

주요 인사이트

• 생성형 AI의 본질은 “규칙 기반 분류”가 아니라 “확률 기반 창작”이며, 이 차이를 이해하는 것이 전략적 판단의 출발점이다.
• 환각은 모델이 사실보다 “그럴듯한 토큰 배열”을 만들도록 학습됐기 때문에 생기며, RAG로 실제 문서를 근거로 제공하면 크게 줄일 수 있다.
• “내 모델을 학습한다”는 새 사실을 외우게 하는 것이 아니라 톤·출력 형식 같은 동작을 바꾸는 것이며, 최신 사실 반영은 RAG의 역할이다.
• 에이전트는 단순히 답하는 챗봇과 달리 계획·기억·도구로 다단계 작업을 끝까지 수행하며, MCP는 모델마다 연동을 새로 짜야 하는 M×N 문제를 표준화로 해결한다.
• 성공한 AI 프로젝트는 모델이 아니라 측정 가능한 비즈니스 KPI에서 출발하며, 성능이 떨어지면 용도 정의로 되돌아가는 지속적 루프를 돈다.

자주 묻는 질문

관련 AI 소식