사내 RAG 챗봇 만드는 법, 문서를 다 넣기 전에 범위부터 나눈 팀
반복 문의를 줄이려던 디자인시스템팀이 검색 범위부터 좁힌 이유
더블테이크 노아 - 3분 분량 - 처음 쓴 날
사내 RAG 챗봇은 어떻게 만드나
사내 RAG 챗봇은 문서를 많이 넣는다고 좋아지지 않는다. 우아한형제들 디자인시스템팀은 반복되는 문의를 줄이려고 챗봇을 만들면서 문서마다 붙인 정보로 검색 범위를 컴포넌트 단위로 나눴다. 먼저 RAG가 필요한 문제인지 따지고, 그다음 무엇을 어디까지 찾게 할지 정하는 순서다.
RAG는 무엇을 해결하나?
우아한형제들 김태정 님 (백엔드, AI 엔지니어) 은 RAG를 한 줄로 설명했다. "쉽게 얘기하면, RAG은 범용 LLM을 나만의 전문 LLM으로 만드는 기술입니다."[1]
바뀐 점은 앞뒤를 놓고 보면 분명하다. "RAG 이전에는 LLM이 학습된 정보만 알고 있어 최신 정보나 특정 도메인 지식에 대한 질문에 답변할 수 없었습니다."[1] 그리고 이렇게 이어진다. "RAG 이후에는 외부 데이터베이스에서 관련 정보를 검색해 활용하므로, 학습되지 않은 정보도 정확하게 답변할 수 있게 되었습니다."[1]
사내 챗봇이 필요한 이유가 여기 있다. 회사 문서와 정책은 모델이 학습하지 않은 정보다.
사내 챗봇은 어떤 문제에서 시작했나?
같은 질문이 반복되는 문제였다. 우아한형제들 권현아, 성민제 님 (웹 프런트엔드, 디자인시스템) 은 디자인시스템 우아한공방에 들어오는 문의를 줄이려 했다. 두 사람은 이렇게 적었다. "반복되는 서포트 문의를 줄이고, 사용자가 필요한 맥락을 스스로 찾게 하기 위해서는 단순한 검색 이상의 시스템이 필요했습니다."[2]
편집팀이 읽기에 여기서 말하는 검색 이상은 맥락이다. 컴포넌트 이름을 알아도 어떤 상황에 어떤 옵션을 써야 하는지는 검색 결과 목록만 봐서는 잘 안 나온다.
문서를 넣을 때 무엇을 먼저 정했나?
검색 범위다. 두 사람은 문서를 넣기만 하는 방식을 택하지 않았다. "단순히 문서를 임베딩해 저장하는 것을 넘어, 메타데이터 기반 필터링을 통해 컴포넌트 단위로 검색 범위를 제어하고 싶었기 때문입니다."[2]
버튼을 물었는데 모달 문서가 섞여 나오면 답이 흐려진다. 문서마다 어느 컴포넌트 문서인지 꼬리표를 달아 두면 질문에 맞는 문서 안에서만 찾게 할 수 있다.
1
- 정할 것
- 모델이 모르는 정보가 필요한 문제인가
- 기록
- 김태정 [1]
2
- 정할 것
- 어떤 반복 문의를 줄일 것인가
- 기록
- 우아한공방 [2]
3
- 정할 것
- 문서마다 어떤 꼬리표를 달 것인가
- 기록
- 우아한공방 [2]
4
- 정할 것
- 질문마다 어디까지 찾게 할 것인가
- 기록
- 우아한공방 [2]
| 순서 | 정할 것 | 기록 |
|---|---|---|
| 1 | 모델이 모르는 정보가 필요한 문제인가 | 김태정 [1] |
| 2 | 어떤 반복 문의를 줄일 것인가 | 우아한공방 [2] |
| 3 | 문서마다 어떤 꼬리표를 달 것인가 | 우아한공방 [2] |
| 4 | 질문마다 어디까지 찾게 할 것인가 | 우아한공방 [2] |
처음 만든다면 어디서 시작하나?
위 기록을 바탕으로 한 편집팀 제안이다.
- 1지난달 같은 문의가 몇 번 왔는지부터 센다. 반복이 적으면 챗봇보다 문서 정리가 먼저다
- 2그 문의에 답하려면 모델이 모르는 문서가 필요한지 본다. 필요 없으면 RAG가 아니라 프롬프트 문제다
- 3문서를 넣기 전에 꼬리표 기준을 정한다 (컴포넌트, 팀, 서비스처럼 질문이 갈리는 기준)
- 4자주 온 질문 열 개로 시험한다. 답이 맞는지와 함께 엉뚱한 문서를 끌어오지 않았는지 본다
AI에게 무엇을 찾게 하고 무엇을 막을지 정하는 감각, AI 엔지니어 문항으로 확인해 보자
AI 4분 테스트 하기자주 묻는 질문
- 사내 문서를 전부 넣으면 더 똑똑해지나?
- 꼭 그렇지 않다. 우아한공방 팀은 문서를 다 넣는 데서 멈추지 않고 꼬리표로 검색 범위를 컴포넌트 단위로 나눴다.
- RAG가 필요한지 어떻게 아나?
- 모델이 학습하지 않은 정보, 예를 들어 사내 정책이나 최신 문서가 답에 필요하면 RAG를 고려한다. 김태정 님 글은 RAG를 범용 모델을 나만의 전문 모델로 바꾸는 기술로 설명했다.
- 개발자가 아니어도 RAG 챗봇을 기획할 수 있나?
- 기획의 앞부분은 문의를 세고 꼬리표 기준을 정하는 일이다. 업무를 아는 사람이 더 잘할 수 있는 영역이라고 본다. 편집팀 판단이다.
출처
- 1RAG, 들어는 봤는데... 내 서비스엔 어떻게 쓰지? 우아한형제들 기술블로그, 2026.03.10
- 2우아한공방의 새로운 동료, 시스템 맥락을 가진 챗봇서비스 개발기(feat. RAG) 우아한형제들 기술블로그, 2026.05.22

