정보의 홍수 속에서 신뢰할 수 있는 지식을 찾는 것은 점점 어려워지고 있습니다. 생성형 인공지능이 등장하면서 정보 탐색 방식이 혁신적으로 변화했지만, 여전히 AI의 답변이 얼마나 신뢰할 수 있는지에 대한 의문이 남아 있습니다. 지금 우리가 활용하고 있는 인공지능은 정보의 출처를 명확히 제시하지 못하거나 허위 정보를 생성하는 환각(Hallucination) 현상을 보이기도 합니다. 또한, 빠르게 변화하는 정보를 실시간으로 학습시키고 반영하는 데 한계가 있습니다.
이러한 한계를 극복하기 위해 등장한 기술이 바로 검색 증강 생성(Retrieval-Augmented Generation)입니다. RAG는 인공지능이 사전학습한 정보를 단순 재생산하는 것을 넘어 사용자의 질문에 대한 답변을 찾기 위해 실시간으로 정보를 검색하고, 그 결과를 종합하여 가장 적절한 답변을 제공할 수 있도록 언어 모델에 도움을 줍니다. 더 나아가 RAG는 우리가 정보를 얻고 활용하는 방식을 근본적으로 변화시킬 잠재력을 가지고 있습니다. 이 글에서는 RAG가 무엇이고, 왜 필요한지, 그리고 어떻게 우리의 삶을 변화시킬 수 있을지에 대해 자세히 알아보겠습니다.
RAG란?
이미지 출처: https://blog.ml6.eu/leveraging-llms-on-your-domain-specific-knowledge-base-4441c8837b47
검색 증강 생성(Retrieval-Augmented Generation)은 데이터베이스를 검색(Retrieval)하고, 검색된 결과를 활용하여 생성(Generation) 결과를 강화(Augmentation)시키는 것을 의미합니다.
인공지능에서 검색을 활용하는 것은 마치 사람이 오픈북 시험을 치르는 것과 유사합니다. 일반적인 시험에서는 머릿속에 가지고 있는 지식으로만 문제에 답해야 하지만, 오픈북 시험에서는 실시간으로 참고 자료를 활용하여 문제 풀이가 가능합니다. 이와 마찬가지로 언어모델은 이미 학습된 지식을 바탕으로 주어진 질문에 대한 답변을 생성하지만, RAG를 활용하면 데이터베이스 내의 유용한 참고 자료들을 바탕으로 더욱 정확하고 풍부한 답변을 생성할 수 있습니다.
RAG의 핵심은 검색입니다. 마치 오픈북 시험에서 문제와 관련된 내용을 찾아내는 것이 중요하듯이, RAG에서도 정확한 정보를 검색하는 것이 답변의 질을 좌우합니다. 만약 검색 결과가 부정확하다면 아무리 뛰어난 언어 모델이라도 잘못된 정보를 바탕으로 답변을 생성할 수밖에 없습니다.
사람은 자신의 지식과 경험을 바탕으로 필요한 정보를 찾지만, 언어 모델은 별도의 검색 모델을 이용하여 정보를 검색합니다. 이러한 분리된 구조는 언어 모델과 검색 모델을 각각 개선할 수 있다는 장점을 가집니다. 예를 들어, 언어 모델이 올바른 정보를 제대로 활용하지 못한다면 언어 모델 자체를 개선하면 됩니다. 즉, 검색 모델의 정확도를 높이기 위해 다양한 검색 알고리즘을 개발하고, 언어 모델의 경우 생성된 답변의 질을 높이기 위해 학습 데이터를 개선하는 것이 가능합니다.
요약하면, RAG는 언어 모델이 외부 정보를 활용하여 더욱 정확하고 신뢰할 수 있는 답변을 생성할 수 있도록 돕는 기술입니다. 언어모델은 RAG를 통해 더욱 지능적이고 유용한 도구로 활용될 수 있습니다.
RAG의 동작 원리
RAG는 외부 지식 소스를 활용하여 언어 모델의 답변 생성 능력을 향상시키는 방법 중 하나입니다. 여기서 Naive RAG는 비교적 단순한 구조를 지니며, 기본적인 RAG의 동작 원리를 이해하는 데 유용한 출발점을 제공합니다.
Naive RAG의 동작 과정
-
질의(Query) 입력: 사용자가 언어 모델에 질문 또는 요청을 입력합니다.
-
질의 임베딩(Query Embedding): 입력된 질의는 임베딩 모델을 거쳐 벡터 형태로 변환됩니다. 임베딩이란 텍스트 데이터를 수치화하여 벡터 공간에 표현하는 과정으로, 의미적으로 유사한 텍스트들은 벡터 공간 내에서 가까운 위치에 배치됩니다.
-
벡터 데이터베이스 검색: 사전에 구축된 벡터 데이터베이스에서 질의 임베딩과 가장 유사한 벡터를 탐색합니다. 이 데이터베이스는 외부 지식 소스(예: 문서, 웹 페이지, 데이터베이스 등)의 텍스트를 임베딩하여 저장하고 있습니다. FAISS와 같은 라이브러리가 벡터 검색에 주로 활용됩니다. 유사도 검색을 통해 질의와 의미적으로 가장 연관 있는 텍스트 조각(chunk)들을 검색합니다.
-
검색 결과 추출: 검색된 텍스트 조각들과 원래의 질의를 함께 언어 모델의 입력으로 전달합니다. 이때, 질의와 함께 제공되는 검색된 텍스트는 ‘맥락(context)’의 역할을 수행합니다.
-
언어 모델 생성: 언어 모델은 제공받은 질의(query)와 맥락(context)을 바탕으로 최종 답변을 생성합니다. 검색된 텍스트가 답변 생성의 참고 자료로 활용되므로 언어 모델은 단순히 학습된 지식에 의존하는 것이 아닌 외부 정보를 활용하여 더욱 정확하고 풍부한 답변을 도출할 수 있습니다.
이미지 출처: https://arxiv.org/pdf/2312.10997
이러한 Naive RAG는 비교적 간단하게 구현할 수 있어 신속한 프로토타입 제작이 가능하다는 장점을 갖습니다. 하지만 검색된 맥락과 질의의 관련성이 낮을 경우 부정확한 답변을 생성할 수 있으며, 검색된 맥락과 질의 사이의 관계성을 제대로 파악하지 못해 불필요한 정보가 포함될 수 있다는 한계점을 지닙니다.
이러한 한계점들을 극복하기 위해 Advanced RAG와 같은 더욱 발전된 방법들이 연구되고 있습니다. Advanced RAG는 다양한 청킹(chunking) 전략, 쿼리 재구성(query rewriting), 검색 결과 재정렬(re-ranking) 등의 기술을 활용하여 검색 및 생성 과정의 효율성과 정확성을 향상시키는 것을 목표로 합니다. Naive RAG는 RAG의 기본 원리를 이해하는 데 효과적인 출발점이지만, 실제 서비스에 적용하기 위해서는 Advanced RAG와 같은 더욱 발전된 모델을 고려하는 것이 바람직합니다.
RAG의 활용
LLM은 광범위한 지식을 학습하지만 모든 지식을 망라할 수는 없기 때문에 특정 영역의 지식에는 접근할 기회가 없었을 수 있습니다. 따라서 특정 도메인에 특화되어 LLM이 자체적으로 응답하기 어려운 내용에 대해서는 RAG를 통해 별도의 데이터를 참조로 답변을 생성하도록 할 수 있습니다.
또한 방대한 양의 내용이 수시로 변경되는 경우, 변경된 내용을 LLM에 지속적으로 학습시키는 것은 비용 효율성이 떨어질 수 있습니다. 이와 같은 경우에도 RAG를 활용하는 편이 비용절감에 큰 도움이 됩니다.
그 밖에 법률 문서 검색, 학술 논문 검색, 제품 설명서 검색, 뉴스 기사 검색, 교육 자료 검색과 의료 기록 분석, 고객 상담 등 다양한 영역에서 언어모델에 새로운 지식을 학습하는 것보다 RAG를 이용한 검색을 통해서 답변을 확장시키는 편이 품질 및 비용 양쪽 측면에서 모두 유리할 수 있습니다.
기업에서는 RAG를 통해 제품 정책, 매뉴얼, 고객 데이터 등 방대한 내부 업무 정보를 활용하고, 최신 정보 검색 결과를 종합하여 신뢰할 수 있고 정확도 높은 맞춤형 AI 서비스를 만들 수 있습니다.
RAG의 장점과 미래 전망
RAG는 LLM이 미처 학습하지 못한 최신 정보나 특정 도메인에 특화된 지식에 관한 질문에 대해 외부 지식 소스를 검색하여 답변을 생성함으로써 LLM의 답변 정확도를 높이고, 새로운 지식에 대한 추가 학습 없이도 즉각적으로 최신 정보를 활용할 수 있도록 합니다. 또한, 방대한 양의 정보를 LLM에 지속적으로 학습시키는 데 드는 비용을 절감할 수 있다는 장점이 있습니다.
이미지 출처: https://www.thecloudgirl.dev/blog/rag-vs-large-context-window
RAG는 추가적인 학습(fine-tuning)을 거치지 않고도 신속하게 새로운 정보를 활용할 수 있다는 이점이 있는 한편, 검색 성능에 크게 영향을 받습니다. 따라서 RAG가 제대로 가치를 발휘하려면 검색에 사용되는 정보의 품질과 검색 알고리즘의 정확성이 높아야 하고, 신중한 설계와 최적화가 필요합니다.
한편, 최근에는 RAG와 달리 검색을 거치지 않고 대량의 문서를 AI 모델이 직접 검토하여 답변을 생성하는 장기 컨텍스트(Long Context) 처리 기술이 주목받고 있습니다. 아직까지는 장기 컨텍스트 기술로 처리할 수 있는 정보의 양에 한계가 있지만, AI가 발전함에 따라 RAG와 장기 컨텍스트 기술이 결합된 더욱 정교한 정보 탐색 방식이 등장할 것으로 기대됩니다.
