사내 도메인 지식을 AI에게 가르치는 법, 문서를 더 넣기 전에 바꿀 세 가지

색인을 두 번 바꾼 컬리, 위키 관리를 LLM에 넘긴 LY. 둘이 고친 곳

더블테이크 노아 - 4분 분량 - 처음 쓴 날

DOUBLETAKE직무별 AI 활용법

도메인 지식을 AI에 가르치려면

사내 도메인 지식을 AI에게 가르칠 때 문서를 많이 넣는 것은 답이 아니었다. 효과를 본 팀들은 검색 방식을 바꾸고, 문서를 사람 대신 LLM이 코드 기준으로 고치게 하고, 넘기는 형식을 줄였다. 문서가 얼마나 많은지보다 누가 어떻게 최신으로 유지하는지가 결과를 갈랐다.

문서를 전부 AI에게 넣으면 왜 안 되나?

컬리 배송프로덕트팀 김태훈 님이 처음 부딪힌 문제는 양이었다. "그런데 문서가 쌓일수록 매 대화마다 LLM이 컨텍스트에 로딩하는 양도 같이 늘어났습니다."[1]

질문 하나에 필요한 지식은 일부인데 대화마다 쌓인 문서를 통째로 읽히는 구조였다.

검색 방식은 어떻게 바꿔야 하나?

김태훈 님 팀은 검색 방식을 두 번 갈아엎었다. 키워드 색인에서 본문 임베딩으로, 다시 요약 임베딩과 전문 검색을 섞는 방식으로 옮겼다[1].

키워드 색인의 한계를 그는 이렇게 적었다. "동의어 매핑은 결국 사용자가 색인 운영 룰을 따로 만들어 메우는 수밖에 없었습니다."[1] 그리고 "Inverted Index를 쓰는 한 색인 유지 자체가 부채이고, 키워드 정확 매칭은 의미 매칭과 다릅니다."[1]

이렇게 바꾼 뒤 신입과 기획자가 선임 개발자에게 묻지 않고도 도메인 지식을 찾을 수 있게 됐다고 한다[1].

문서가 낡지 않게 하려면?

LINE Plus 윤석범 님은 관리 주체를 바꿨다. "핵심은 위키를 관리하는 주체가 사람이 아니라 LLM이라는 점입니다."[2]

근거는 코드다. "문서는 작성된 뒤 시간이 지나면 실제 구현과 어긋날 수 있지만, 코드는 현재 서비스에 반영된 동작을 직접 보여 줍니다."[2] PR이 머지되면 GitHub Actions가 변경을 감지하고 LLM이 위키를 고친다. 고친 내용은 검증 단계를 거쳐 들어간다[2].

넘기는 형식도 줄일 수 있나?

컬리 OMS팀 이준환 님은 API와 이벤트 명세를 JSON 형식의 DSL로 정리해 넘겼다. 같은 정보를 자연어로 쓸 때보다 토큰이 3분의 1로 줄었고 뜻은 더 분명해졌다고 적었다[3].

검색 품질은 모델이 정하나?

LY 보안 팀의 SAGE 개발 기록은 검색 품질이 모델보다 자료를 어떻게 정리하고 색인했는지에 더 좌우됐다고 정리했다[4]. 모델을 바꾸기 전에 자료 정리부터 볼 이유다.

네 기록은 각각 무엇을 바꿨나?

  • 컬리 배송 [1]

    바꾼 것
    키워드 색인에서 요약 임베딩과 전문 검색 혼합으로
    기록에 남은 결과
    신입과 기획자가 선임에게 묻지 않고 찾음
  • LY LLM Wiki [2]

    바꾼 것
    위키 관리 주체를 사람에서 LLM으로
    기록에 남은 결과
    코드가 바뀌면 문서도 바뀜
  • 컬리 OMS [3]

    바꾼 것
    명세를 자연어에서 JSON DSL로
    기록에 남은 결과
    자연어 대비 토큰 3분의 1
  • LY SAGE [4]

    바꾼 것
    모델보다 자료 정리와 색인에 공 들이기
    기록에 남은 결과
    검색 품질이 자료 정리에 좌우됨

우리 팀에서 시작하려면?

  1. 1지금 AI가 대화마다 무엇을 읽는지부터 본다
  2. 2동의어가 많은 도메인이면 키워드 색인만으로는 버티기 어렵다. 의미 검색을 섞는다
  3. 3코드가 기준인 지식은 사람이 아니라 코드 변경이 문서를 고치게 한다
  4. 4명세처럼 구조가 있는 정보는 자연어 대신 정해진 형식으로 넘긴다

목록은 위 네 기록을 Double Take가 정리한 것이다. 근거는 컬리와 LY 두 회사 글이고, 둘 다 개발 조직 안의 지식을 다뤘다. 영업이나 운영 문서에도 같은 순서가 맞을지는 아직 기록이 없다.

AI가 사내 맥락을 모르고 낸 답에서 어디가 틀렸는지 찾는 감각, 4분 문제로 확인해 보자

4분 테스트 하기

자주 묻는 질문

사내 문서를 AI에 넣는 가장 쉬운 방법은?
문서를 전부 넣는 방식은 쉽지만 문서가 늘수록 대화마다 읽는 양이 커졌다. 검색으로 필요한 부분만 꺼내는 쪽으로 옮긴 기록이 많다.
RAG와 LLM Wiki는 무엇이 다른가?
RAG는 문서에서 필요한 부분을 찾아 붙이는 방식이고, 위 기록의 LLM Wiki는 LLM이 지식 문서 자체를 쓰고 고치는 방식이다. 컬리는 둘을 섞었다.
기획자나 신입도 이 방식이 도움이 되나?
컬리 기록에서는 신입과 기획자가 선임에게 묻지 않고 도메인 지식을 얻는 효과가 있었다.

출처

  1. 1AI에게 도메인을 가르치다 두 번 갈아엎은 이야기 - LLM Wiki + RAG 혼합기 컬리 기술블로그, 2026.05.21
  2. 2LLM Wiki: 코드 기준으로 자동 최신화되는 도메인 지식 SSOT 만들기 LY Tech Blog, 2026.08.28
  3. 3OMS에서 Claude AI를 활용하여 변화된 업무 방식 컬리 기술블로그, 2025.12.24
  4. 4보안 업무를 위한 AI 에이전트 플랫폼 SAGE 개발기 1편: 판단은 사람에게 남기는 설계 LY Tech Blog, 2026.08.18

이 글은 더블테이크 노아가 누구나 열어 볼 수 있는 공개 자료만 근거로 썼어요. 초안은 AI 도구로 쓰고, 사람이 출처와 맞춰 보며 고쳤어요. 틀린 내용은 hello@dropdown.xyz로 알려 주세요. 확인하고 고친 날을 글에 남겨요. 편집 원칙 보기