Amazon Bedrock 입문 가이드: 프롬프트·도구·RAG·가드레일·에이전트

핵심 메시지

• Amazon Bedrock은 서버나 인프라를 직접 관리하지 않고도 여러 제공사의 강력한 AI 모델을 코드로 호출해 쓰게 해준다.
• Converse API는 system 프롬프트와 role(user/assistant) 기반 messages 배열로 호출하며, 모델은 상태가 없으므로 멀티턴 대화는 매번 전체 기록을 보내야 한다.
• 토큰은 텍스트의 작은 조각이자 과금 단위로, 입력·출력 토큰 모두에 비용이 든다.
• 도구 사용은 모델이 외부 시스템과 상호작용하게 하고, RAG는 임베딩·벡터 검색으로 자사 데이터에 답을 근거 짓게 한다 — Bedrock 지식 베이스가 청킹·임베딩·저장을 대신 처리한다.
• 가드레일은 모델 호출 전후로 콘텐츠·금지 주제·민감정보를 걸러 안전을 지키고, Strands Agents SDK는 모델·도구·시스템 프롬프트를 묶어 에이전트 루프를 자동으로 처리한다.

쉽게 이해하기

앱에 생성형 AI를 더하는 일은 "모델을 호출해 응답을 받는다"는 말처럼 단순해 보이지만, 막상 만들면 어떤 모델을 고를지, 어떻게 안전하게 인증할지, 비용을 어떻게 제어할지 등 문제가 빠르게 복잡해진다. 영상은 모든 것을 다 이해해야 시작할 수 있는 건 아니라며, Amazon Bedrock으로 처음부터 차근차근 실제 AI 기능을 붙이는 법을 보여 준다. Bedrock은 모델을 직접 운영하지 않고도 애플리케이션 코드에서 호출해 프롬프트를 보내고 응답을 받게 해주는 AWS 서비스다.

본격적인 코드 전에 먼저 모델을 고른다. Bedrock에는 속도·추론 깊이·비용 효율 등 특성이 다른 여러 제공사의 모델이 있어, Bedrock 모델 플레이그라운드에서 몇 가지를 시험해 보는 것이 좋다. 플레이그라운드의 설정 패널에서는 모델의 역할과 행동을 정의하는 시스템 프롬프트를 바꿀 수 있는데, 같은 질문이라도 "단계별로 설명하는 코딩 도우미"와 "심층 기술 권고를 하는 보안 리뷰어"는 전혀 다른 어조로 답한다. 이렇게 입력을 주고 모델이 출력을 생성하는 과정을 추론(inference)이라 한다.

코드에서는 표준 호출 방식인 Converse API를 boto3(파이썬 SDK)로 사용한다. system 파라미터에 전체 행동 지침을, messages 배열에 role(user 또는 assistant)과 content로 대화를 구조화해 담고, inference config에 파라미터를 넣는다. 모델은 상태가 없어 호출 간 아무것도 기억하지 못하므로, 멀티턴 대화를 하려면 매 요청마다 전체 대화 기록을 함께 보내야 한다. 주요 추론 파라미터로는 응답의 무작위성을 정하는 temperature(분류·추출엔 0.0, 창의적 출력엔 1.0에 가깝게)와 응답 길이를 제한하는 max tokens가 있다. 토큰은 단어·단어 일부·문장부호 같은 작은 텍스트 조각이며 입력·출력 모두 과금 대상이다.

실제 앱은 텍스트 입출력을 넘어 외부 시스템과 상호작용해야 한다. 도구 사용(tool use)은 모델이 필요할 때 애플리케이션에 함수 실행을 요청하는 패턴으로, 도구를 만들고 그 존재를 스키마로 모델에 알린 뒤, 모델이 도구를 요청하면 앱이 실행해 결과를 다시 모델에 돌려준다. 한편 자사 문서·정책처럼 모델이 모르는 데이터를 쓰려면 RAG가 필요하다. RAG는 답을 생성하기 전에 자사 문서에서 관련 정보를 의미 기반(semantic) 검색으로 찾아 프롬프트에 더한다. 이를 위해 문서를 임베딩 모델로 벡터(숫자 목록)로 바꿔 벡터 데이터베이스에 저장하고, 질문도 같은 모델로 벡터화해 가장 가까운 항목을 찾는다.

RAG는 청킹·임베딩·벡터 저장·동기화 등 관리할 것이 많지만, Bedrock 지식 베이스가 이를 대신 처리한다. 영상은 대학 FAQ 챗봇 예시로 S3 버킷에 문서를 올리고, Titan 임베딩 모델과 비용 효율적인 S3 Vectors를 골라 지식 베이스를 만든 뒤 retrieve_and_generate API로 검색과 생성을 한 번에 수행하며 출처 인용까지 보여 준다. 이어 가드레일로 콘텐츠 필터, 금지 주제, 금칙어, PII 같은 민감정보, 맥락 그라운딩 검사를 모델 호출 전후에 적용해 악용을 막는다. 마지막으로 AWS의 오픈소스 Strands Agents SDK로 모델·도구·시스템 프롬프트를 묶어 에이전트를 만든다. 에이전트는 한 번의 응답에 그치지 않고 도구를 쓰고 여러 단계를 거치며 루프를 돌아 최종 답에 도달하는데, 그 내부에서는 결국 앞서 배운 Converse API와 각종 Bedrock API가 호출된다.

주요 인사이트

• Bedrock의 핵심 가치는 인프라 운영 없이 여러 제공사의 모델을 코드 한 줄로 바꿔 쓸 수 있다는 유연성이다.
• 모델이 상태가 없다는 사실을 이해하면, 멀티턴 대화에서 매번 전체 기록을 보내야 하는 이유와 토큰 비용 구조가 자연스럽게 연결된다.
• temperature와 max tokens 같은 추론 파라미터는 작업 성격(정확성 vs 창의성, 비용 vs 길이)에 맞춰 의도적으로 조정해야 한다.
• RAG의 의미 기반 검색은 키워드가 일치하지 않아도 뜻이 비슷한 문서를 찾아내며, Bedrock 지식 베이스가 그 복잡한 파이프라인을 대신 관리한다.
• 가드레일은 모델을 더 똑똑하게 만드는 것이 아니라 호출 전후에 안전 검사를 두르는 외부 정책이며, Strands 같은 프레임워크는 그 모든 조각의 오케스트레이션을 자동화한다.

자주 묻는 질문

관련 AI 소식