RAG란 무엇인가? 자료 기반 AI 설명
RAG — Retrieval-Augmented Generation — 는 AI가 답하기 전에 무언가를 찾아본다는 뜻입니다. 학습한 내용을 떠올리는 대신, 시스템이 여러분의 문서를 검색해 가장 관련 있는 구절을 모델 앞에 놓고 그것을 근거로 답하게 하며, 출처까지 표시합니다. 학습 시점의 한계, "내 파일은 본 적이 없다"는 문제, 그리고 자신 있게 지어내는 일의 상당 부분을 해결합니다. 전부는 아니고요.
문제를 제대로 짚으면
언어 모델은 사실상 한 번 읽은 방대한 텍스트를 아주 잘 압축해 둔 것입니다. 그래서 유창하고 폭넓지만, 구체적인 약점이 셋 있습니다. 학습 시점 이후의 일은 알지 못하고, 비공개 자료는 본 적이 없으며, 모르는 것이 나오면 그럴듯한 답을 어쨌든 내놓습니다. 그럴듯한 텍스트를 만드는 것이 그 일 자체이기 때문입니다.
문서를 쓸 때마다 모델을 다시 학습시킬 수는 없습니다. 그래서 대신 답이 어디서 오는지를 바꿉니다.
네 단계
- 색인. 문서가 몇 문단씩의 구절로 나뉘고, 각 구절이 의미를 담은 수치 표현으로 바뀝니다. 이 작업은 처음에 한 번만 합니다.
- 검색. 질문도 같은 방식으로 바뀌고, 시스템은 의미상 가장 가까운 구절을 찾습니다. 키워드 일치가 아닙니다. "배송 지연에 대해 우리가 뭐라고 합의했지"라는 질문이 "출하 지체"라고 적힌, 여러분의 단어를 하나도 쓰지 않은 문단을 찾아낼 수 있습니다.
- 보강. 그 구절들이 질문, 그리고 제공된 자료를 근거로 답하라는 지시와 함께 모델의 컨텍스트에 놓입니다.
- 생성과 인용. 모델이 답을 쓰고, 시스템은 어떤 구절이 주어졌는지 알고 있으므로 각 주장을 출처로 되짚어 줄 수 있습니다.
그게 전부입니다. 영리한 부분은 2단계이고, 믿을 만하게 만드는 부분은 4단계입니다.
"그냥 대화에 붙여 넣으면" 같지 않은 이유
대화에 문서를 첨부하면 그 대화 동안 문서 전체가 모델의 컨텍스트에 들어갑니다. 논문 한 편이라면 잘 됩니다. 아흔 편이 되거나, 다음 달에도 질문할 예정이거나, 필요한 문단이 340쪽에 있고 나머지 339쪽이 모델의 주의를 두고 경쟁하는 잡음일 때는 통하지 않습니다.
RAG는 한 번 색인하고 질문마다 검색합니다. 설치 비용은 한 번만 내고, 그다음에는 모음 전체에 대해 계속 물을 수 있습니다. 그 맞바꿈은 GPT-5 대 Gemini에서 더 자세히 다뤘습니다. 큰 맥락을 다루는 모델이 단일 문서에서는 격차를 좁혔지만, 반복해서 돌아오는 모음에서는 그렇지 않습니다.
RAG가 여전히 실패하는 곳
"근거가 있다"가 "맞다"는 뜻처럼 쓰이곤 하니, 정확히 짚어 둘 만합니다.
- 검색이 놓칩니다. 맞는 구절이 검색되지 않으면 모델은 주어진 것으로 답합니다. 자신 있게, 그리고 틀리게요. 흩어진 여러 구절을 종합해야 하는 질문("2023년과 2026년 정책 사이에 무엇이 바뀌었나?")이 대표적인 난제입니다.
- 답이 근거를 넘어 흘러갑니다. 관련 구절을 받은 모델도 그 구절이 뒷받침하지 않는 그럴듯한 문장을 덧붙일 수 있습니다. 출처 표시가 잡아내는 것이 이것이고, 출처가 달린 답 안에 출처 없는 주장이 있으면 의심할 만한 이유이기도 합니다.
- 원자료가 틀렸습니다. 근거가 있다는 것은 여러분의 문서에 충실하다는 뜻이지, 현실에 충실하다는 뜻이 아닙니다. 낡은 계약서를 넣으면 낡은 답이 정확한 출처와 함께 나옵니다.
- 분할에서 생기는 문제. 두 구절에 걸쳐 잘린 표, 또는 마흔 쪽 앞의 정의에 의미가 걸린 조항은 잘 검색되지 않습니다. 덩어리를 가로지르는 구조가 이 방식 전체의 약점입니다.
두 번째 항목의 일반적인 메커니즘은 그 자체로 알아 둘 가치가 있습니다. AI는 왜 없는 말을 지어낼까를 보세요.
설치할 값어치가 있을 때
| 상황 | 선택 |
|---|---|
| 문서 하나, 질문 하나 | 대화에 붙여 넣기 |
| 반복해서 물을 긴 문서 하나 | 둘 다 가능, RAG 쪽이 나음 |
| 한 주제에 대한 문서 수십 건 | RAG |
| 다른 사람이 신뢰할 답 | RAG — 검색이 아니라 출처 표시 때문에 |
| 혼합 매체: PDF, 동영상, 오디오, 웹 페이지 | 모두 다룬다면 RAG |
| 일반 지식 질문 | 둘 다 아님 — 그냥 모델에게 물으세요 |
제품으로 보면 이런 모습입니다
Neurobase가 저희 버전입니다. Neuron에 자료 — PDF, 텍스트 파일, 동영상, YouTube, 웹 페이지, 이미지, 오디오 — 를 주면, 그것을 색인해 원자료로 되짚어 주는 출처와 함께 답하는 집중된 어시스턴트를 만듭니다. 답은 신뢰하기 전에 Lab에서 시험해 볼 수 있고, 여러 Neuron을 Summarize, Compare, Extract, Translate 같은 처리와 함께 워크플로로 연결할 수 있습니다.
개념보다 구체적인 쪽이 궁금하다면 PDF 폴더를 어시스턴트로 만들기부터 보세요.
자주 묻는 질문
RAG란 무엇인가요?
Retrieval-Augmented Generation입니다. 시스템이 먼저 여러분의 문서를 검색해 관련 구절을 모델의 컨텍스트에 넣고, 그것을 근거로 답하게 합니다. 출처와 함께요.
무슨 문제를 해결하나요?
학습 시점의 한계, 모델이 본 적 없는 비공개 문서, 그리고 자신 있게 지어내는 일입니다. 출처 표시 덕분에 믿는 대신 확인할 수 있습니다.
챗봇에 파일을 올리는 것과 같은가요?
아닙니다. 파일 첨부는 하나의 대화에서 문서 하나에 통합니다. RAG는 모음을 한 번 색인하고 질문마다 검색하며, 여러 대화에 걸쳐 동작합니다.
RAG를 쓰면 AI가 지어내지 않나요?
상당히 줄지만 완전히 사라지지는 않습니다. 검색이 놓칠 수 있고, 답이 근거를 넘어갈 수 있고, 원자료가 틀릴 수 있습니다. 출처 표시가 그 실패들을 확인 가능하게 만듭니다.