RAG 개념 원리 | LLM에게 진짜 일 시키기 위해 필요한 기술

#RAG

챗GPT에게 일을 시켜본 적 있으신가요? 생각보다 어려울 거예요. 아무리 AI가 지식이 많고 뛰어나다 하더라도, 여러분의 회사나 업무에 관한 전문적인 지식까지 모두 가지고 있지는 않기 때문입니다. 이러한 한계를 극복하기 위해 나온 기술! 오늘 레터에서는 가장 기본적인 RAG의 개념에 대해 소개해드리겠습니다. 

라그? 레그? 그게 뭔가요?

RAG는 'Retrieval-Augmented Generation'의 약자로, 우리말로 하면 '검색 증강 생성'이라고 할 수 있습니다. 이름 그대로 세 가지 과정을 담고 있습니다:

1. 증강(Augmented): AI가 원래 가지고 있지 않은 정보와 지식을 추가해줍니다.
2. 검색(Retrieval): 필요할 때 AI가 이 추가된 지식을 찾아볼 수 있게 합니다.
3. 생성(Generation): 이 정보를 바탕으로 AI가 더 정확하고 유용한 답변을 만들어냅니다.

참고로 RAG를 읽는 방식은 다양해요. 사람들마다 '라그', '레그' 모두 혼용해서 쓰고 있어요. 

어떻게 작동하나요?

RAG의 작동 방식은 생각보다 단순해요:

1. 데이터 준비 및 임베딩: 먼저 AI가 참고할 수 있는 데이터베이스를 만듭니다. 여기에 회사 정보, 업무 지식 등을 저장해요.(주로 벡터로 변환하여 데이터베이스에 저장합니다. 벡터로 변환하는 과정을 임베딩이라고 해요.)
2. 검색: 사용자가 질문을 하면, 검색 시스템이 데이터베이스에서 관련 정보를 찾아옵니다. 이렇게 찾은 문서를 LLM에게 전달합니다.(사용자의 질문도 벡터로 변환이 되고, 검색 엔진은 질문 벡터와 가장 유사한 문서 벡터를 찾아냅니다. 벡터 검색 외에도 다른 검색 방법들도 많이 있습니다.) 
3. 생성: LLM는 사용자의 질문과, 검색된 문서를 함께 제공받습니다. 모델은 제공된 문서를 바탕으로 더 정확한 답변을 생성할 수 있습니다.

왜 RAG가 중요할까요?

1. 실제 비즈니스에 적용하기 좋아요. LLM은 온라인에 공개된 정보를 기반으로 학습했기 때문에 현실에서 사용하는 기업 문서나 산업의 전문 지식을 가지고 있지 않습니다. 이런 전문적, 비공개 데이터를 활용할 수 있는 방법 중 하나가 RAG입니다.
2. 정확도와 신뢰도가 올라가요. 외부의 정보 소스를 직접 참조하기 때문에 ‘환각’이 줄어듭니다. 특히나 금융, 의료, 법률 등과 같이 전문 지식이 방대한 영역에서는 RAG를 이용해 각 산업별로 특화된 AI를 만들 수 있습니다. 
3. 비용이 적게 들어요. 전문 분야 데이터를 쏟아 부어 LLM을 파인튜닝한다면 많은 비용과 시간이 들지만, RAG를 이용하면 작고 저렴한 모델로도 우수한 성능을 낼 수 있습니다. 
4. 유연성과 확장성이 좋습니다. 새로운 정보나 지식을 업데이트하기 편리합니다. 데이터베이스에 추가하기만 하면 되니깐요. 

딥시크(DeepSeek)가 많은 사람들에게 충격을 준 이유가 뭘까요. 저렴한 오픈소스 모델을 사용하면서도, 기업이 보유한 데이터를 RAG로 활용하면 놀라운 효율성을 얻을 수 있기 때문입니다. RAG를 통해 여러분만의 데이터로 AI를 강화하면, 고가의 최신 모델을 사용하지 않더라도 그 분야에서는 최고의 전문가로 만들 수 있답니다. 이것이 RAG의 진정한 매력! 

 

---

이 글은 AI 안테나 뉴스레터에 실린 글의 일부입니다.
도움이 되셨다면, 뉴스레터를 구독해보세요!
매주 수요일마다 주요 AI 소식들과 인사이트를
메일함에 넣어드려요. 

뉴스레터 구독하기

https://eddienewsletter.stibee.com/

AI안테나