비슷한 것 같으면서도 다른 MCP vs RAG vs AI Agent, 무슨 차이일까?

지난 글에 이어서 씁니다. 이번 글 역시 업스테이지 프라이빗 세미나 2회차 내용을 바탕으로 작성했습니다. 이 세미나는 업스테이지 테크 리드 박준현 님이 나와 “AI Agent/ RAG 기술 동향”을 주제로 강연했습니다. 

출처: 업스테이지 프라이빗 세미나 2회차 화면 캡쳐

RAG

RAG는 검색 증강 생성 기술입니다. 유저가 LLM에게 질문을 하면 만들어 놓은 검색기가 데이터를 검색하고, 이를 LLM에게 넘겨주어 이 정보를 참조하여 답변을 만듭니다. 데이터가 저장된 벡터 스토어, 임베딩 모델, LLM 이 3가지 요소가 어우러져 답변을 만드는 시스템이 가장 간단한 RAG 구조일 것 같습니다. 

검색에는 여러 방식이 있습니다. 벡터 검색도 있고, 키워드 검색도 있고요. 사람이 데이터를 찾아서 넣는 방식이나 아이디 값을 조회하는 것도 일종의 검색입니다. LLM은 학습한 지식 틀 안에서 답변을 하도록 되어 있기 때문에, 이것이 불충분할 때 정보를 검색해 와서 증강을 해준다고 볼 수 있습니다. 즉, LLM이 갖고 있지 않은 지식을 넣어주고 더욱 정확한 답변을 받을 수 있도록 만든 것이 RAG입니다. 

 

AI Agent

그렇다면 에이전트는 무엇일까요? 구글의 에이전트 백서에 따르면 에이전트는 LLM, 다양한 도구들(tools), 그리고 이 둘을 연결하고 제어하는 오케스트레이션 계층(Orchestration Layer)의 조합으로 정의됩니다. 

에이전트는 사용자로부터 입력(질문이나 요청)을 받으면, 그 내용을 이해하고 어떤 도구가 필요한지 판단한 후, 해당 도구를 사용해 정보를 수집하거나 작업을 수행합니다. 그 결과를 바탕으로 다음 행동을 결정하는 일련의 과정을 거치며, 이 전체 흐름을 조정하는 것이 오케스트레이션 계층의 역할입니다. 

에이전트가 도구를 사용해 문제를 해결한다는 점에서 본다면, RAG 역시도 LLM이 잘 모르는 정보에 답변하기 위해 외부 도구(검색 등)을 활용한다는 점에서 기본 개념은 비슷하다고 할 수 있습니다. 넓은 의미에서 본다면 RAG도 일종의 에이전트라고 할 수 있습니다. 하지만 기술적으로 RAG는 에이전트보다 정적인 검색 기반의 파이프라인에 가깝습니다.  

 

MCP

요즘 많은 사람들이 관심을 갖고 있는 MCP(Model Context Protocol) 역시도 LLM에게 도구를 제공하는 역할을 합니다. 하지만 MCP는 앞서 말한 RAG나 AI 에이전트와는 위계가 다릅니다. MCP는 LLM이 외부 리소스(API, 도구, 데이터 등)를 통일된 방식으로 활용할 수 있도록 해주는 프로토콜입니다. 다시 말해 MCP는 LLM이 외부 도구, API, 데이터 소스와 통신할 수 있도록 해주는 프로토콜로, 이를 통해 에이전트나 다른 기능들이 실행될 수 있는 기반을 제공합니다.

클로드나 ChatGPT와 같은 애플리케이션은 클라이언트이고, 이들은 LLM과 다양한 도구를 연결할 때 통일된 방식으로 리소스를 호출할 수 있도록 MCP가 활용됩니다. RAG 일반적으로 LLM이 자체적으로 외부 검색 시스템과 직접 연동되어 문서를 가져오는 구조입니다. 그래서 MCP 같은 프로토콜 없이 동작할 수 있죠. 

기존에 LLM이 외부 API를 호출해 작업을 수행하거나 정보를 얻는 방법으로 Function call을 주로 사용해왔는데요. LLM에게 “API를 호출해!”라는 명령을 생성, 이해하는 기능입니다. 이렇게 Function call을 사용하면 각 도구마다 API 스펙과 데이터 구조가 달라 불편함이 생겼습니다. 이 때문에 앤트로픽은 다양한 도구와 데이터 소스들을 모델이 더 쉽게 사용할 수 있도록 하기 위해 MCP라는 프로토콜을 도입한 것이죠. 덕분에 통합된 형식으로 도구 호출 스펙을 정의하면, 모델이 각 도구를 별도의 학습 없이도 사용할 수 있게 됐습니다. 

하지만 MCP의 사용성이 아직 좋지만은 않은데요. MCP를 활용하기 위해서는 관련 코드를 로컬에 다운로드한 후, 로컬 환경에서 MCP 서버를 직접 실행해야 합니다. 이 서버는 사용자의 개인 컴퓨터에 구동되는 형태로, 현재로서는 외부로의 정보 유출 위험이 적어 보안 측면에서는 비교적 안전합니다. 다만 사용자의 설정 부담이 크고, 서버를 직접 띄워야 하는 불편함이 존재합니다.

하지만 이상적인 MCP의 활용 방식은 리모트(원격) 서버에서 필요한 자원과 통신하여, 서버 자원을 직접 불러오는 구조입니다. 이렇게 된다면 사용자는 MCP 서버를 직접 띄울 필요 없이, 정해진 이름이나 주소만으로 원격 자원에 쉽게 접근할 수 있게 됩니다. 그러나 현재는 이 구조가 완전히 구현되어 있지 않아, 여전히 로컬 환경에서 MCP 서버를 사용하는 형태가 일반적입니다. 특히 로컬 디스크의 데이터를 외부 서버가 안전하게 참조하는 방식에 대한 보안 우려가 있기 때문에, 이를 해결하기 위한 암호화 통신 프로토콜 등의 기술적 연구가 활발히 진행 중입니다.

 

---

재미있게 읽으셨나요?
이 글이 도움이 되셨다면
제가 직접 쓰고 만드는 뉴스레터를 구독해보세요!
매주 수요일마다 주요 AI 소식들과 인사이트를
메일함에 넣어드립니다.

https://eddienewsletter.stibee.com/

AI안테나

 

지난 글 읽기

2025.04.10 - [AI 안테나] - RAG, AI Agent란 무엇인가 | 지식의 확장과 집중 | 구조화된 데이터

RAG, AI Agent란 무엇인가 | 지식의 확장과 집중 | 구조화된 데이터

2025.03.28 - [AI랑 상관 있는 이야기들] - (AGI 세상에서) 그대들은 어떻게 살 것인가

(AGI 세상에서) 그대들은 어떻게 살 것인가