AI VIDEO BRIEFING
LLM 면접 질문 30선 정리, 토큰·RAG·LoRA·양자화·가드레일 핵심 답변 가이드
생성형 AI 면접에서 반복해 나오는 30개 질문을 토큰과 임베딩 같은 기초부터 검색 증강 생성, LoRA, 양자화, 가드레일까지 단계별로 정리했다. 답을 암기하기보다 개념이 실제 시스템에서 어떻게 쓰이는지 설명하는 힘이 관건이다.
핵심 메시지
- 면접에서 다루는 LLM은 이론이 아니라 검색 엔진과 코딩 어시스턴트, 기업 내부 시스템을 실제로 굴리는 기술이다.
- 토큰과 임베딩, 트랜스포머와 셀프 어텐션은 비용·컨텍스트 길이·성능 한계를 이해하고 있는지 확인하려고 묻는 기초 질문이다.
- 전체 파인튜닝과 LoRA, 파라미터 효율 파인튜닝의 차이는 "모델 파라미터를 얼마나 갱신하는가"로 갈린다.
- 환각을 줄이는 실전 수단으로 검색 증강 생성과 그라운딩이 반복해서 등장하며, 기업 환경에서 사설 데이터를 다루는 표준 경로이기도 하다.
- 고급 질문은 지연 시간 최적화, 양자화, 프롬프트 인젝션 방어, 가드레일처럼 운영 단계의 문제로 옮겨 간다.
쉽게 이해하기
영상은 질문을 나열하기 전에 구글 검색을 예로 들어 LLM이 현실에서 어디에 쓰이는지부터 짚는다. 예전 검색은 키워드를 맞추고 페이지랭크로 순위를 매겼지만, 지금은 긴 문장과 대화체 질문의 의도를 파악하고 여러 출처를 요약해 구조화된 답을 상단에 보여 준다. 같은 능력이 추천, 대화형 AI, 사내 지식 검색으로 이어진다는 설명이다.
기초 구간은 정의를 정확히 말할 수 있는지 본다. LLM은 방대한 텍스트로 학습해 다음 토큰을 예측하며 언어 패턴을 익힌 트랜스포머 기반 모델이고, 하나의 구조로 여러 작업을 수행한다는 점에서 작업별 아키텍처와 피처 엔지니어링이 필요했던 고전 NLP와 갈린다. 토큰은 모델이 처리하는 최소 단위여서 비용과 컨텍스트 한계로 곧장 연결되고, 임베딩은 의미를 담은 벡터라 검색과 군집화, 추천의 재료가 된다.
중급 구간에서는 셀프 어텐션이 쿼리·키·값 행렬로 중요도를 계산해 문장 안의 지시 대상을 파악한다는 점, 사전 학습과 파인튜닝의 목적이 다르다는 점, 사람 피드백 기반 강화 학습이 기반 모델 학습부터 보상 모델 훈련까지 단계를 거친다는 점을 확인한다. 컨텍스트 윈도는 예전 4K~8K에서 12만 토큰 이상으로 늘었지만 긴 문서가 잘리고 기억이 지속되지 않는 문제는 남아, 검색 증강 생성과 청킹으로 대응한다.
적응 방법의 차이는 자주 묻는 함정이다. 전체 파인튜닝은 모든 가중치를 갱신해 대규모 데이터와 연산이 필요하고 과적합 위험이 있는 반면, LoRA는 원본 가중치를 고정한 채 어텐션 같은 특정 층에 저차원 어댑터만 학습시킨다. 파라미터 효율 파인튜닝은 이렇게 소수의 파라미터만 학습하는 기법들을 묶는 상위 개념이다. 생성 옵션에서는 온도가 창의성을, 상위 K가 선택지 개수를, 상위 P가 누적 확률 기준의 후보 집합을 조절한다.
고급 구간은 운영으로 넘어간다. 사고의 연쇄는 중간 추론 단계를 드러내 수학과 논리 문제의 정확도를 높이지만, 모델이 진짜로 추론하는 것이 아니라 구조화된 추론 패턴을 흉내 내도록 돕는 장치라는 단서가 붙는다. 양자화는 FP32 가중치를 INT8이나 INT4로 낮춰 추론 속도와 메모리를 줄이고, 보안 항목에서는 프롬프트 인젝션과 데이터 유출, 탈옥에 맞서 입력 검증과 출력 필터링, 가드레일을 둔다. 마지막 설계 문제의 답은 모델 또는 API, 검색 계층, 벡터 데이터베이스, 프롬프트 템플릿, 모니터링과 평가, 보안이라는 구성 요소로 정리된다.
주요 인사이트
- 면접관이 토큰을 묻는 이유는 정의를 확인하려는 게 아니라 비용과 컨텍스트 길이, 성능 한계를 함께 이해하는지 보려는 것이다.
- 환각은 확률적으로 다음 토큰을 고르는 방식과 현실에 대한 근거 부족에서 비롯되므로, 검색 증강 생성과 프롬프트 제약, 검증 절차를 함께 묶어 답하는 편이 낫다.
- 공개 모델이 기본적으로 사용자의 사설 데이터를 학습하지는 않으며, 기업은 통제된 환경에서 파인튜닝하거나 검색 증강 생성으로 내부 문서를 안전하게 연결한다는 구분을 명확히 해야 한다.
- 기반 모델과 채팅 모델의 차이를 묻는 질문은 정렬을 이해하는지 보는 장치다. 채팅 모델은 지시 튜닝과 사람 피드백 정렬을 거쳐 대화에 맞게 다듬어진 결과물이다.
- 면접에서는 전문 용어보다 명료함이 중요하다. 무엇인지, 왜 중요한지, 실제 시스템에서 어떻게 쓰이는지를 순서대로 설명하는 방식이 권장된다.
자주 묻는 질문
검색 증강 생성은 어떤 순서로 동작하나요?
사용자가 질문하면 시스템이 관련 문서를 먼저 가져오고, 그 내용을 프롬프트에 맥락으로 덧붙인 뒤, 모델이 질문과 검색 결과를 함께 보고 답을 생성합니다. 이 방식은 환각을 줄이고 사실성을 높이며 사설 데이터나 실시간 데이터를 다룰 수 있게 합니다.
LoRA는 전체 파인튜닝과 무엇이 다른가요?
전체 파인튜닝은 모델의 모든 가중치를 갱신해 비용이 크고 학습이 느리며 과적합 위험이 있습니다. LoRA는 원본 가중치를 고정한 채 어텐션 층 등에 저차원 어댑터를 삽입해 그 부분만 학습하므로 기반 모델은 그대로 유지됩니다.
온도와 상위 K, 상위 P는 각각 무엇을 조절하나요?
온도는 출력이 얼마나 예측 가능한지 또는 창의적인지를 정하고, 상위 K는 각 단계에서 고를 수 있는 후보 토큰의 개수를 제한하며, 상위 P는 누적 확률이 기준을 넘는 가장 작은 후보 집합에서 고르게 해 문장이 자연스럽게 이어지도록 합니다.
LLM 애플리케이션의 보안은 무엇을 신경 써야 하나요?
프롬프트 인젝션과 데이터 유출, 탈옥이 대표적인 위협으로 꼽힙니다. 대응책으로는 입력 검증, 역할 기반 프롬프트, 출력 필터링, 그리고 콘텐츠 조정과 출력 검증, 도구 사용 제한 같은 가드레일이 제시됩니다.
원문과 출처
이 글은 원본 영상의 자막을 바탕으로 한국어 독자를 위해 요약했습니다. 전체 맥락과 최신 정보는 원문에서 확인하세요.
YouTube 원본 영상 보기 ↗