테마
RAG와 Agentic AI
LLM의 지식 한계를 극복하는 RAG와, AI가 스스로 판단하는 Agentic AI의 개념을 배웁니다
학습 목표
- LLM의 Knowledge Cutoff 문제를 이해한다
- RAG(Retrieval-Augmented Generation)의 원리를 파악한다
- RAG가 실무에서 필요한 이유와 핵심 과제를 이해한다
- Agentic AI의 개념과 발전 방향을 이해한다
1. Knowledge Cutoff 문제
LLM은 학습 시점까지의 데이터만 알고 있습니다. 그 이후에 일어난 일은 기본적으로 모릅니다.
실제 사례:
- 프레임워크 메이저 업데이트: 신버전 문법이 나왔는데 LLM이 이전 API로 답변
- 법률 변경: 법이 바뀌었는데 LLM은 구법 기준으로 설명
- 최근 뉴스: 최근 사건이나 발표를 전혀 모름
다른 모델을 쓰면 되지 않나? 제품과 버전에 따라 cutoff 시점은 다르지만, 어떤 모델이든 Knowledge Cutoff 자체는 존재합니다.
2. RAG란?
2.1 개념
RAG(Retrieval-Augmented Generation)는 세 단어의 합성어입니다:
| 단어 | 의미 | 역할 |
|---|---|---|
| Retrieval (검색) | 필요한 정보를 찾아오기 | 개발자가 관련 문서를 검색 |
| Augmented (증강) | 존재하지 않는 것을 있는 것처럼 | LLM이 모르는 정보를 아는 것처럼 |
| Generation (생성) | LLM이 답변을 만들기 | 검색된 정보로 답변 생성 |
"Augmented"는 AR(증강현실, Augmented Reality)의 A와 같은 단어입니다. 실제로 존재하지 않는 것을 있는 것처럼 만드는 것이죠. RAG도 마찬가지로, LLM이 학습하지 않은 정보를 마치 아는 것처럼 답변하게 합니다.
2.2 RAG 아키텍처
웹 검색 기반 답변도 넓게 보면 RAG의 한 형태입니다. 모델이 학습하지 않은 최신 정보를 검색으로 보강해 답변에 활용하기 때문입니다.
2.3 왜 재학습하지 않는가?
| 방법 | 소요 시간 | 비용 | 위험 |
|---|---|---|---|
| 모델 재학습 | 수주 ~ 수개월 | 매우 높음 | 성능 저하 가능성 |
| RAG (검색+주입) | 실시간 | 상대적으로 낮음 | 검색 품질에 의존 |
딥러닝 학습을 해보면 알겠지만, 학습을 한다고 성능이 좋아지는 것이 보장되지 않습니다. 그래서 함부로 재학습하여 새 모델을 릴리즈하는 것은 위험합니다. RAG가 훨씬 현실적인 해법입니다.
3. RAG의 핵심 과제
RAG에서 가장 어려운 부분은 **검색(Retrieval)**입니다. 사용자가 어떤 질문을 할지 모르기 때문에, 어떤 정보를 가져와야 할지 미리 알 수 없습니다.
3.1 데이터 전처리가 성패를 좌우
3.2 RAG가 필요한 분야
- 사내 문서 챗봇: 회사 내부 문서를 기반으로 답변
- 법률 AI (Legal LLM): 법이 수시로 바뀌므로 최신 법령 반영 필수
- 고객 지원: 제품 매뉴얼, FAQ 기반 자동 응대
- 의료 상담: 최신 의학 논문, 가이드라인 기반 답변
4. Agentic AI
4.1 생성형 AI → Agentic AI
NVIDIA의 젠슨 황(CES 2025 키노트)에 따르면, AI의 발전 방향은 다음과 같습니다:
4.2 Agentic AI란?
일반적으로 사람이 하는 판단을 AI에게 위임하는 것입니다.
| 구분 | Generative AI | Agentic AI |
|---|---|---|
| 동작 | 질문에 답변 | 스스로 목표를 달성 |
| 판단 | 사람이 결정 | AI가 결정 |
| 도구 | 없음 | 도구 호출 가능 (Tool Calling) |
| 예시 | "코드 작성해줘" | 코드 작성 → 테스트 → 디버그 → 커밋 |
4.3 Agentic AI 적용 분야
- 코딩 어시스턴트: Cursor, Claude Code - 코드 작성부터 디버깅까지 자동
- 고객 지원 (Customer Service): 문의 접수 → 분류 → 답변 → 에스컬레이션까지 자동
- 헬스케어 (Patient Care): 미국에서 AI 상담이 크게 성장 중
- 로봇: 물리 세계에서 자율적으로 행동
4.4 LangChain에서의 Agent
LangChain에서는 Tool Calling과 Agent API가 Agentic AI의 기초입니다:
- LLM에게 **도구(Tool)**를 제공
- LLM이 언제 어떤 도구를 쓸지 스스로 판단
- 대표적인 도구: 날씨 API, 웹 검색, 데이터베이스 조회 등
현재 공식 문서 기준으로는 model.bind_tools([...])로 도구를 연결하거나, 더 높은 수준에서는 create_agent(...)로 에이전트를 생성하는 패턴을 많이 사용합니다. Ollama를 쓸 때도 모든 로컬 모델이 동일하게 Tool Calling을 지원하는 것은 아니므로, 실제 지원 여부는 모델별 문서를 확인해야 합니다.
5. 이 강의에서 배운 전체 흐름
핵심 정리
- Knowledge Cutoff: 모든 LLM은 학습 시점까지의 데이터만 알고 있음
- RAG: 검색으로 찾은 정보를 프롬프트에 넣어 LLM이 최신 정보로 답변하게 하는 기법
- RAG에서 데이터 전처리와 검색 품질이 가장 중요
- Agentic AI: 판단과 실행을 AI에게 위임하는 차세대 AI 패러다임
- LangChain 학습 로드맵: 기초(호출/프롬프트/파서/체인) → 중급(RAG/Tool) → 고급(Agent)