글로벌 IT 리서치 기업 가트너(Gartner)는 2025년 주목해야 할 10대 전략 기술 트렌드를 AI의 필수성과 위험성, 컴퓨팅의 새로운 지평, 사람-기계 시너지의 확장으로 분류하고, 이 중 첫 번째 주제인 AI 필수성과 위험성에서 ‘에이전틱 AI’를 주요 기술로 거론하였습니다.

에이전틱 AI는 기존 인공지능 기술의 한계를 뛰어넘는 새로운 형태의 AI 시스템을 의미하는데요. 대표적인 예시 중 하나가 자율주행 자동차입니다. 일반적인 AI 시스템이 주어진 데이터를 분석하고 결과를 제공하는데 그친다면 자율주행 자동차는 한 걸음 더 나아가 실시간으로 환경을 인식하고, 다양한 변수를 고려한 의사결정을 내리며, 예측하지 못한 상황에 적응하는 능력을 갖추고 있습니다. 이처럼 명확한 목표를 가지고 환경과 상호작용하며 자율적으로 행동하는 특성이 바로 에이전틱 AI의 핵심입니다.
이러한 에이전틱 AI를 현실에서 구현하기 위해 필요한 것이 바로 ‘AI 에이전트’입니다. 쉽게 비유하자면, 에이전틱 AI가 자율주행이라는 ‘개념’이라면, AI 에이전트는 이를 실제로 구현한 ‘자율주행 소프트웨어’라고 생각하면 됩니다. AI 에이전트는 사용자의 요청을 이해하고, 스스로 판단하여, 필요한 행동을 취하는 실제 프로그램인 셈이죠. 오늘 글에서는 이러한 AI 시스템의 기반이 되는 핵심 기술인 ‘AI 에이전트’에 대해 개념부터 응용 사례까지 심층적으로 살펴보고자 합니다.
1. AI Agent란?
AI Agent가 무엇일까요? 간단히 말해, AI 에이전트는 주어진 목표를 달성하기 위해 환경을 인식하고 자율적으로 행동하는 애플리케이션을 의미합니다. 즉, 사용자의 요구사항을 이해하고 이를 수행하기 위한 일련의 작업들을 독립적으로 수행하는 지능형 프로그램이라고 할 수 있죠.
기존 애플리케이션의 핵심 구성 요소가 규칙 기반 로직이나 단순 통계 모델이었다면, AI 에이전트는 인공지능 기술, 특히 자연어 처리와 기계 학습 기술을 근간으로 동작합니다. 사용자와의 자연스러운 대화를 통해 태스크를 파악하고, 방대한 데이터와 알고리즘을 활용해 최적의 솔루션을 도출하는 것이 AI 에이전트의 핵심 역량입니다.
2. AI Agent의 핵심 3요소
AI Agent는 크게 세가지 핵심 요소로 구성됩니다.

첫째는 에이전트의 ‘두뇌’ 역할을 하는 언어 모델(Language Model)입니다. 최신 자연어 처리 기술을 활용한 대규모 언어 모델은 사용자의 자연스러운 말이나 텍스트 형태의 요청을 이해하고 이에 적절히 응답할 수 있는 능력을 갖추고 있습니다.
둘째는 태스크 수행을 위한 전략을 수립하고 의사결정을 내리는 ‘조정 계층(Orchestration Layer)’입니다. 사용자의 요구사항과 맥락을 분석하여 최적의 행동 계획을 세우고, 필요한 하위 태스크들을 조율하는 역할을 담당합니다.
마지막으로 에이전트가 실제 행동을 옮기는 데 필요한 ‘팔다리’ 역할을 하는 것이 바로 실행 도구(Action Tool)들입니다. API, 데이터베이스 등 다양한 형태로 존재하는 이 도구들은 에이전트가 의사 결정한 바를 현실에 구현하는 통로가 됩니다.
이처럼 LLM, 의사결정 엔진, 실행 도구는 각각 인지, 판단, 행동이라는 에이전트 작동의 3 요소를 구현하는 독립적이면서도 상호보완적인 모듈이라고 할 수 있습니다. 그리고 이들이 긴밀하고 유기적으로 협업할 때 비로소 자연스럽고 효과적인 에이전트의 태스크 수행이 가능해지는 것이죠.
특히 LLM은 에이전트의 사고와 문제 해결 과정 전반을 관통하는 핵심 동력이라 할 수 있는데요. 최근 DeepSeek처럼 가성비 높은 모델들이 개발되고 있는 상황에서 AI 에이전트가 더욱 가볍고 효율적으로 구축되어 우리 삶의 다양한 분야에서 활용될 수 있는 시대가 가까워진 것으로 기대되고 있습니다.
3. 에이전트의 사고방식
지금까지 살펴본 AI 에이전트의 구성 요소들이 ‘무엇’에 해당한다면, 이제는 이러한 요소들이 ‘어떻게’ 함께 작동하는지 알아보겠습니다. AI 에이전트가 문제를 인식하고 해결책을 모색하는 과정을 구현하는 핵심 개념이 바로 ‘인지 아키텍처(Cognitive Architecture)’입니다. 이는 에이전트가 외부 입력을 이해하고 최선의 행동을 결정하는 일련의 논리적 사고 과정을 설계하는 뼈대라고 할 수 있는데요.
AI Agent 분야에서 특히 대표적인 인지 아키텍처는 ‘Chain-of-Thought’, ‘Tree-of-Thoughts’ 그리고 ‘ReAct’입니다.

먼저 ‘Chain-of-Thought‘는 에이전트가 복잡한 질의에 대해 단계적 추론을 통해 최종 답변을 도출해 내는 사고 체계입니다. “A라는 사실과 B라는 사실이 있으므로, C라는 결론을 내릴 수 있다”와 같이 일련의 논리적 흐름을 따라 문제를 해결해 나가는 것이죠.
CoT를 확장한 개념인 ‘Tree-of-Thoughts‘는 하나의 문제에 대해 동시다발적으로 여러 갈래의 사고 흐름을 탐색하는 인지 구조입니다. 마치 두뇌 속에서 수많은 뉴런이 병렬적으로 정보를 처리하는 것처럼, 에이전트가 주어진 문제에 대해 다양한 가설과 해석을 동시에 고려하며 최적의 솔루션을 모색하는 방식이라고 할 수 있겠죠.
마지막으로 ‘ReAct‘는 ‘Reason+Act‘의 줄임 말로, 에이전트가 주어진 정보를 바탕으로 논리적 추론을 거쳐 행동을 결정하는 구조를 갖고 있습니다. 사용자의 요청이나 문제 상황을 분석하고, 이를 단계적 하위 과제로 쪼개어 각 단계를 실행해 나가는 방식으로 전체 태스크를 완수하는 거죠. 예를 들어, 이커머스 고객 지원 에이전트가 “지난주에 주문한 상품이 아직 도착하지 않았어요”라는 고객 문의를 받았다면 1) 주문 번호 찾기, 2) 배송 상태 확인, 3) 지연 원인 파악, 4) 해결책 제안이라는 단계적 작업을 순차적으로 수행하며 문제를 체계적으로 해결해 나갑니다.
이렇듯 Chain-of-Thought, Tree-of-Thoughts, ReAct는 각기 다른 철학과 접근법을 취하고 있지만, 공통적으로 에이전트의 사고 체계를 설계하는 인지 아키텍처로서 기능하고 있습니다. 최근 AI 기술 발전의 흐름은 이러한 다양한 사고 모델들을 단일 에이전트 내에서 결합하거나, 서로 다른 사고 방식을 가진 여러 에이전트들이 협력하는 시스템을 개발하는 방향으로 진화하고 있으며, 이를 통해 기존보다 더 복잡하고 다양한 문제들을 해결할 수 있는 AI 에이전트가 등장하고 있습니다.
4. Agentic RAG : AI 에이전트의 응용
지금까지 AI 에이전트의 개념과 핵심 구성 요소, 그리고 사고방식에 대해 살펴보았는데요. 이제 에이전트 기술이 실제 시스템에 어떻게 응용되고 있는지 RAG(Retrieval-Augmented Generation) 모델을 중심으로 알아보겠습니다.
최근 자연어 처리 분야에서 큰 주목을 받고 있는 RAG 모델은 방대한 외부 데이터베이스에서 질의와 관련된 정보를 실시간으로 검색하고 이를 바탕으로 답변을 생성하는 강력한 자연어 생성 기술인데요, 여기에 에이전트의 논리적 추론과 의사결정 능력이 더해지면서 Agentic RAG라는 새로운 개념이 제안되었습니다.

Agentic RAG는 LLM의 언어 이해 및 생성 능력과 에이전트의 자율적 태스크 수행 능력이 결합된 형태라고 볼 수 있습니다. 일반 RAG가 단순히 관련 정보를 검색하여 응답을 생성하는 데 사용한다면 Agentic RAG는 정보의 필요성을 스스로 판단하고, 적절한 검색 쿼리를 구성하며, 검색된 정보를 평가하고 통합하는 과정을 거칩니다.
이런 Agentic RAG는 특히 구조화되지 않은 방대한 데이터 속에서 원하는 정보를 추출하고 문제를 해결하는 데 효과적입니다. 예를 들어, 높은 정확도와 신뢰성이 요구되는 의료분야의 AI 어시스턴트를 생각해 볼까요? 사용자가 “코로나19 백신과 독감 백신을 동시에 맞아도 될까요?”라는 질문을 했을 때, 일반적인 RAG 시스템은 단순히 관련 정보를 검색하여 제공하는 데 그치지만, Agentic RAG는 훨씬 더 복잡한 과정을 거칠 것입니다.
먼저 여러 의학 데이터베이스와 최신 보건 가이드라인을 검색하고, 검색된 정보의 발행 날짜를 확인하여 최신성을 평가하고, 만약 서로 다른 소스에서 상충되는 정보가 발견되면 에이전트는 이러한 불일치를 분석하고 필요에 따라 특정 인구 집단(예: 면역 저하자)에 대한 추가 정보를 검색합니다. 최종적으로는 모든 관련 정보를 종합하여 사용자에게 제공하되, 이것이 전문적인 의학적 조언을 대체할 수 없음을 명확히 함으로써 정보의 책임 있는 사용을 장려할 것이고 이러한 과정을 통해 Agentic RAG는 단순한 정보 검색을 넘어 지능적인 의료 정보 보조 도구로서 역할을 수행할 수 있습니다.
또한, 법률이나 특허와 같이 방대한 도메인 지식이 요구되는 분야에서도 전문가를 보조하는 도구로 활용될 수 있을 것입니다. 수많은 판례와 법조문 속에서 사안에 적용 가능한 조항을 실시간으로 검색하고, 이를 근거로 법률 자문을 제공하는 식이죠.
이처럼 Agentic RAG 기술은 다양한 산업 분야에서 정보 검색과 의사결정 지원 시스템으로 큰 잠재력을 보이고 있습니다. 이러한 트렌드에 발맞춰 많은 기업들이 자체 RAG 시스템 구축을 검토하고 있으며, 저희 유라클도 이 분야에 적극적으로 투자하고 있습니다.
5. 글을 마무리하며
AI 에이전트 기술은 계속해서 발전 중입니다. 물론 아직 AI 에이전트가 사고 능력을 구현하기에는 제약이 있는 것도 사실입니다. 에이전트가 기존에 학습하지 않은 영역의 문제에 부딪히거나, 윤리적 딜레마 상황에 직면했을 때 합리적인 판단을 내리는데 한계가 있죠.
그러나 분명한 것은 이 기술이 단순한 업무 자동화를 넘어 인간의 의사결정과 문제 해결 능력을 증강하는 방향으로 발전하고 있다는 점입니다. 가트너의 예측처럼 2028년까지 일상적인 업무의 약 15%가 에이전틱 AI에 의해 자율적으로 처리될 수 있다면 이를 통해 우리는 더 가치 있는 업무에 집중하고, AI는 반복적이고 시간 소모적인 작업을 처리하는 미래를 그려볼 수 있습니다.
출처)
구글 – Newwhitepaper_Agents2(September 2024)
뉴스 – https://www.sciencetimes.co.kr/nscvrg/view/menu/249?searchCategory=221&nscvrgSn=259776
