사내 도메인 지식을 AI에게 가르치는 법, 문서를 더 넣기 전에 바꿀 세 가지
색인을 두 번 바꾼 컬리, 위키 관리를 LLM에 넘긴 LY. 둘이 고친 곳
더블테이크 노아 - 4분 분량 - 처음 쓴 날
도메인 지식을 AI에 가르치려면
사내 도메인 지식을 AI에게 가르칠 때 문서를 많이 넣는 것은 답이 아니었다. 효과를 본 팀들은 검색 방식을 바꾸고, 문서를 사람 대신 LLM이 코드 기준으로 고치게 하고, 넘기는 형식을 줄였다. 문서가 얼마나 많은지보다 누가 어떻게 최신으로 유지하는지가 결과를 갈랐다.
문서를 전부 AI에게 넣으면 왜 안 되나?
컬리 배송프로덕트팀 김태훈 님이 처음 부딪힌 문제는 양이었다. "그런데 문서가 쌓일수록 매 대화마다 LLM이 컨텍스트에 로딩하는 양도 같이 늘어났습니다."[1]
질문 하나에 필요한 지식은 일부인데 대화마다 쌓인 문서를 통째로 읽히는 구조였다.
검색 방식은 어떻게 바꿔야 하나?
김태훈 님 팀은 검색 방식을 두 번 갈아엎었다. 키워드 색인에서 본문 임베딩으로, 다시 요약 임베딩과 전문 검색을 섞는 방식으로 옮겼다[1].
키워드 색인의 한계를 그는 이렇게 적었다. "동의어 매핑은 결국 사용자가 색인 운영 룰을 따로 만들어 메우는 수밖에 없었습니다."[1] 그리고 "Inverted Index를 쓰는 한 색인 유지 자체가 부채이고, 키워드 정확 매칭은 의미 매칭과 다릅니다."[1]
이렇게 바꾼 뒤 신입과 기획자가 선임 개발자에게 묻지 않고도 도메인 지식을 찾을 수 있게 됐다고 한다[1].
문서가 낡지 않게 하려면?
LINE Plus 윤석범 님은 관리 주체를 바꿨다. "핵심은 위키를 관리하는 주체가 사람이 아니라 LLM이라는 점입니다."[2]
근거는 코드다. "문서는 작성된 뒤 시간이 지나면 실제 구현과 어긋날 수 있지만, 코드는 현재 서비스에 반영된 동작을 직접 보여 줍니다."[2] PR이 머지되면 GitHub Actions가 변경을 감지하고 LLM이 위키를 고친다. 고친 내용은 검증 단계를 거쳐 들어간다[2].
넘기는 형식도 줄일 수 있나?
컬리 OMS팀 이준환 님은 API와 이벤트 명세를 JSON 형식의 DSL로 정리해 넘겼다. 같은 정보를 자연어로 쓸 때보다 토큰이 3분의 1로 줄었고 뜻은 더 분명해졌다고 적었다[3].
검색 품질은 모델이 정하나?
LY 보안 팀의 SAGE 개발 기록은 검색 품질이 모델보다 자료를 어떻게 정리하고 색인했는지에 더 좌우됐다고 정리했다[4]. 모델을 바꾸기 전에 자료 정리부터 볼 이유다.
네 기록은 각각 무엇을 바꿨나?
컬리 배송 [1]
- 바꾼 것
- 키워드 색인에서 요약 임베딩과 전문 검색 혼합으로
- 기록에 남은 결과
- 신입과 기획자가 선임에게 묻지 않고 찾음
LY LLM Wiki [2]
- 바꾼 것
- 위키 관리 주체를 사람에서 LLM으로
- 기록에 남은 결과
- 코드가 바뀌면 문서도 바뀜
컬리 OMS [3]
- 바꾼 것
- 명세를 자연어에서 JSON DSL로
- 기록에 남은 결과
- 자연어 대비 토큰 3분의 1
LY SAGE [4]
- 바꾼 것
- 모델보다 자료 정리와 색인에 공 들이기
- 기록에 남은 결과
- 검색 품질이 자료 정리에 좌우됨
| 기록 | 바꾼 것 | 기록에 남은 결과 |
|---|---|---|
| 컬리 배송 [1] | 키워드 색인에서 요약 임베딩과 전문 검색 혼합으로 | 신입과 기획자가 선임에게 묻지 않고 찾음 |
| LY LLM Wiki [2] | 위키 관리 주체를 사람에서 LLM으로 | 코드가 바뀌면 문서도 바뀜 |
| 컬리 OMS [3] | 명세를 자연어에서 JSON DSL로 | 자연어 대비 토큰 3분의 1 |
| LY SAGE [4] | 모델보다 자료 정리와 색인에 공 들이기 | 검색 품질이 자료 정리에 좌우됨 |
우리 팀에서 시작하려면?
- 1지금 AI가 대화마다 무엇을 읽는지부터 본다
- 2동의어가 많은 도메인이면 키워드 색인만으로는 버티기 어렵다. 의미 검색을 섞는다
- 3코드가 기준인 지식은 사람이 아니라 코드 변경이 문서를 고치게 한다
- 4명세처럼 구조가 있는 정보는 자연어 대신 정해진 형식으로 넘긴다
목록은 위 네 기록을 Double Take가 정리한 것이다. 근거는 컬리와 LY 두 회사 글이고, 둘 다 개발 조직 안의 지식을 다뤘다. 영업이나 운영 문서에도 같은 순서가 맞을지는 아직 기록이 없다.
AI가 사내 맥락을 모르고 낸 답에서 어디가 틀렸는지 찾는 감각, 4분 문제로 확인해 보자
4분 테스트 하기자주 묻는 질문
- 사내 문서를 AI에 넣는 가장 쉬운 방법은?
- 문서를 전부 넣는 방식은 쉽지만 문서가 늘수록 대화마다 읽는 양이 커졌다. 검색으로 필요한 부분만 꺼내는 쪽으로 옮긴 기록이 많다.
- RAG와 LLM Wiki는 무엇이 다른가?
- RAG는 문서에서 필요한 부분을 찾아 붙이는 방식이고, 위 기록의 LLM Wiki는 LLM이 지식 문서 자체를 쓰고 고치는 방식이다. 컬리는 둘을 섞었다.
- 기획자나 신입도 이 방식이 도움이 되나?
- 컬리 기록에서는 신입과 기획자가 선임에게 묻지 않고 도메인 지식을 얻는 효과가 있었다.
출처
- 1AI에게 도메인을 가르치다 두 번 갈아엎은 이야기 - LLM Wiki + RAG 혼합기 컬리 기술블로그, 2026.05.21
- 2LLM Wiki: 코드 기준으로 자동 최신화되는 도메인 지식 SSOT 만들기 LY Tech Blog, 2026.08.28
- 3OMS에서 Claude AI를 활용하여 변화된 업무 방식 컬리 기술블로그, 2025.12.24
- 4보안 업무를 위한 AI 에이전트 플랫폼 SAGE 개발기 1편: 판단은 사람에게 남기는 설계 LY Tech Blog, 2026.08.18

