생성형 AI 입문 강의 정리: LLM·프롬프트·RAG·LLMOps 한눈에

핵심 메시지

• 오늘의 대형 언어 모델(LLM)은 1950년대부터 이어진 AI 연구가 트랜스포머와 어텐션 메커니즘에서 결실을 맺은 결과다.
• 같은 요청도 모델·제공사·온도(temperature) 같은 설정에 따라 매번 다른 답을 내놓는 '확률적(stochastic)' 특성을 이해해야 한다.
• RAG는 문서를 청크로 나눠 임베딩 벡터로 저장한 뒤, 질문과 가장 가까운 벡터를 찾아 답변에 활용하는 방식이다.
• LLM 시대의 운영(LLMOps)은 정확도뿐 아니라 편향·유해성·비용·지연시간까지 함께 평가해야 한다.

쉽게 이해하기

마이크로소프트의 클라우드 애드보킷 카롤 카스텔로가 진행하는 '초보자를 위한 생성형 AI'는 동명의 오픈소스 커리큘럼을 바탕으로 한 입문 강의 시리즈다. 강의는 교육 접근성을 높이려는 가상의 스타트업을 사례로 삼아, 생성형 AI가 학습을 어떻게 바꾸는지와 그에 따르는 기술적·사회적 과제를 함께 짚는다.

도입부는 AI의 역사를 훑는다. 1950~60년대 전문가가 관리하는 지식 베이스에 의존하던 초기 챗봇은 확장성에 한계가 있었고, 1990년대 통계적 접근으로 머신러닝이 등장했으며, 하드웨어 발전과 신경망이 자연어 처리를 끌어올렸다. 그리고 트랜스포머 아키텍처와 어텐션 메커니즘이 긴 텍스트의 핵심 정보에 집중할 수 있게 하면서 오늘날의 LLM이 탄생했다(GPT의 'T'가 바로 트랜스포머다).

강의는 LLM의 '확률적' 성격을 실습으로 보여준다. 같은 질문을 허깅페이스·오픈AI·애저 오픈AI에 보내면 서로 다른 답이 나오고, 같은 제공사·같은 모델이라도 반복하면 결과가 달라진다. 온도 값을 높이면 더 창의적이지만 예측하기 어려운 응답이 나온다. 이는 모델 출력을 실제 앱에 쓸 때 동일한 결과를 보장받을 수 없다는 점을 일깨운다. 시스템 페르소나(시스템 메시지)나 프롬프트 설계로 응답을 조정하는 프롬프트 엔지니어링도 이어서 다룬다.

후반부는 실전 패턴으로 넘어간다. 검색 증강 생성(RAG)에서는 문서를 의미 단위의 청크로 나누되 다음 청크 일부를 겹쳐 문맥을 살리고, 각 청크를 임베딩 모델로 벡터화해 저장한 뒤, 질문도 같은 모델로 벡터화해 코사인 유사도로 가장 가까운 청크를 찾는다. 마지막으로 LLMOps에서는 머신러닝 운영(MLOps)과 달리 앱 개발자도 참여할 수 있게 되었고, 정확도 하나가 아니라 품질·편향·유해성·정직성·비용·지연시간 등 더 많은 지표로 평가해야 한다고 설명한다.

주요 인사이트

• LLM은 갑자기 등장한 것이 아니라 수십 년간의 AI 연구가 트랜스포머에서 수렴한 결과라는 역사적 맥락이 입문 이해의 토대가 된다.
• 출력이 매번 달라지는 확률적 특성은 버그가 아니라 모델의 본질이므로, 이를 전제로 애플리케이션을 설계해야 한다.
• RAG에서 질문과 문서를 임베딩할 때는 반드시 같은 임베딩 모델을 써야 벡터 검색이 의미 있게 작동한다.
• LLMOps는 진입 장벽을 낮춰 앱 개발자도 AI 솔루션 운영에 참여하게 했지만, 그만큼 편향·유해성·비용 같은 새로운 평가 축을 요구한다.

자주 묻는 질문

관련 AI 소식