데이터 사이언티스트 LLM 활용, 지표를 먼저 만들고 학습은 그다음에
자연스러움을 숫자로 바꾸는 일부터. 모델을 다루는 사람들의 순서
더블테이크 노아 - 3분 분량 - 처음 쓴 날
데이터 사이언티스트는 LLM을 어떻게 쓸까
LLM을 다루는 데이터 사이언티스트가 가장 먼저 한 일은 모델을 고르는 것이 아니라 무엇이 좋은 출력인지를 숫자로 정하는 일이었다. 올리브영은 품질 지표를 만든 뒤에야 학습에 들어갔고, LY는 프롬프트 튜닝을 자동화하면서도 어디서 사람이 판단할지 경계를 먼저 그었다. 공개 순위표 점수는 실제 서비스 조건에서 다시 재야 했다.
모델 출력의 품질은 무엇으로 재나?
안일호 님 (올리브영 데이터 사이언티스트): "형식은 규칙으로 검증할 수 있지만, 자연스러움과 문맥적합은 측정할 방법 자체가 없었습니다."[1]
안일호 님 (올리브영 데이터 사이언티스트): "그리고 측정할 수 없으면 판단도, 개선도 할 수 없습니다."[1]
AI Pick 추천 카드 문구를 만드는 작은 언어 모델 (sLLM) 을 다루던 이야기다. 형식은 규칙으로 걸러지지만 문장이 자연스러운지, 상품 맥락에 맞는지는 잴 방법이 없었다[1].
지표를 만든 뒤에는 어디에 썼나?
안일호 님 (올리브영 데이터 사이언티스트): "그래서 AI Pick에서는 품질을 수치화하는 평가 지표를 먼저 만들고, 이를 학습 신호로 삼아 선호 최적화까지 적용했습니다."[1]
출력은 형식 검증을 먼저 통과해야 품질 평가로 넘어간다. 자연스러움과 상품 맥락을 재는 지표 두 개를 만들었고, 사람 라벨 없이 후보 문장 다섯 개 중에서 선호쌍을 골라 학습 데이터로 썼다. 형식 통과율은 13.2%p 회복됐다[1].
프롬프트 튜닝은 왜 자동화했나?
나카노 유야 님 (LY): "프롬프트를 조금이라도 변경할 때마다 출력을 확인하고 의도한 대로 작동하는지 사람이 판단해야 합니다."[2]
나카노 유야 님은 이 반복을 유전 알고리즘으로 자동화했다. 여러 프롬프트 후보를 만들고 평가해 좋은 것을 남기는 방식이다[2].
자동화해도 사람이 쥐는 것은?
나카노 유야 님 (LY): "어디까지 자동화하고 어디서 사람이 최종 판단을 내릴지 경계를 설계하는 것이 중요합니다."[2]
정책을 정의하는 일과 최종 출시 판단은 사람에게 남았다. 대가도 있었다. 자동으로 다듬은 프롬프트는 5,521자에서 8,561자로 약 55% 길어졌고, 그만큼 추론 비용이 늘 수 있다는 점을 글은 함께 적었다[2].
공개 벤치마크 1등을 그대로 믿어도 되나?
박찬용, 최기원, 김태정, 이민영 님 (토스): "하지만 평가에 사용한 언어나 추론 설정이 실제 서비스와 다르면, 같은 모델도 성능과 순위가 달라질 수 있습니다."[3]
토스는 한국어 요청과 실제 서비스 설정으로 모델을 다시 쟀다. 리더보드 순위가 자기 서비스에서도 유지되는지는 직접 확인해야 한다는 뜻이다[3].
세 기록을 한 표로 보면?
올리브영 AI Pick [1]
- 먼저 정한 것
- 형식 검증, 품질 지표 두 개
- 사람이 쥔 것
- 무엇을 좋은 문장으로 볼지
LY 프롬프트 자동 튜닝 [2]
- 먼저 정한 것
- 자동화와 사람 판단의 경계
- 사람이 쥔 것
- 정책 정의, 최종 출시 판단
토스 벤치마크 [3]
- 먼저 정한 것
- 실제 서비스 조건의 평가
- 사람이 쥔 것
- 모델 선택
| 기록 | 먼저 정한 것 | 사람이 쥔 것 |
|---|---|---|
| 올리브영 AI Pick [1] | 형식 검증, 품질 지표 두 개 | 무엇을 좋은 문장으로 볼지 |
| LY 프롬프트 자동 튜닝 [2] | 자동화와 사람 판단의 경계 | 정책 정의, 최종 출시 판단 |
| 토스 벤치마크 [3] | 실제 서비스 조건의 평가 | 모델 선택 |
세 팀 모두 모델을 직접 운영하는 회사다. 외부 API만 쓰는 팀이라면 학습까지 갈 일은 적다. 그래도 평가 지표를 먼저 만드는 순서는 그대로 쓸 수 있다.
모델 출력에서 무엇을 기준으로 좋고 나쁨을 가를지, AI 엔지니어 문항으로 확인해 보자
AI 4분 테스트 하기자주 묻는 질문
- LLM 출력 품질을 사람 라벨 없이 잴 수 있나?
- 올리브영은 후보 문장 다섯 개에서 선호쌍을 만들고 지표로 점수를 매겨 사람 라벨 없이 학습했다. 다만 지표를 설계하는 일은 사람이 했다.
- 프롬프트 자동 튜닝의 단점은?
- LY 기록에서는 프롬프트가 약 55% 길어져 추론 비용이 늘 수 있었다.
- 데이터 사이언티스트 지원자는 무엇을 보여 주면 좋나?
- 모델 점수보다 "좋다" 를 어떻게 정의하고 쟀는지 설명할 수 있으면 된다.
출처
- 1측정할 수 없으면 개선할 수 없다 - AI Pick 추천 카드를 위한 sLLM 정렬 학습기 올리브영 테크블로그, 2026.09.18
- 2프롬프트 튜닝을 수작업에서 AI 튜닝으로: 유전 알고리즘 기반 자동 최적화와 고속화 LY Tech Blog, 2026.06.23
- 3리더보드 1등 LLM, 토스에서도 1등일까? 토스 기술블로그, 2026.09.16

