LLM 평가 지표 만드는 법, 점수보다 재는 순서를 먼저 정한 세 팀
리더보드 1등이 우리 서비스 1등은 아니었다, 세 팀의 평가 순서
더블테이크 노아 - 3분 분량 - 처음 쓴 날
LLM 평가 지표는 어떻게 만드나
LLM 평가는 모델 점수 하나로 끝나지 않는다. 올리브영, LY, 토스의 기록을 보면 형식처럼 규칙으로 잴 수 있는 것을 먼저 거르고, 잴 방법이 없던 품질은 지표를 새로 만들었다. 지켜야 할 정책은 사람이 정한 기준으로 따로 심사했고, 마지막으로 실제 서비스 조건에서 순위를 다시 봤다.
공개 리더보드 점수로는 왜 부족한가?
토스 박찬용, 최기원, 김태정, 이민영 님은 같은 모델도 조건이 바뀌면 다르게 나온다고 썼다. "하지만 평가에 사용한 언어나 추론 설정이 실제 서비스와 다르면, 같은 모델도 성능과 순위가 달라질 수 있습니다."[3]
한국어 서비스라면 더 그렇다. 같은 글은 이렇게 적었다. "한국어 서비스에 사용할 모델이라면, 영어 평가에서의 강점이 한국어 요청에서도 유지되는지 확인해야 합니다."[3] 토스는 공개 순위 대신 실제 운영 프롬프트와 데이터로 모델을 고르는 평가 체계를 만들었다[3].
무엇부터 재야 하나?
규칙으로 잴 수 있는 것부터다. 올리브영 데이터 사이언티스트 안일호 님은 AI Pick 추천 카드에 쓰는 sLLM을 다듬으며 막힌 곳을 이렇게 적었다. "형식은 규칙으로 검증할 수 있지만, 자연스러움과 문맥적합은 측정할 방법 자체가 없었습니다."[1]
그래서 이 팀은 품질을 숫자로 바꾸는 지표를 먼저 만들고, 그 숫자를 학습 신호로 썼다[1]. 형식은 규칙이 거르고, 규칙으로 안 되는 품질은 새 지표가 맡는 두 층이다.
형식
- 보는 것
- 정해진 꼴을 지켰나
- 판정하는 것
- 규칙
- 기록
- 올리브영 [1]
품질
- 보는 것
- 자연스러움, 문맥 적합
- 판정하는 것
- 새로 만든 지표
- 기록
- 올리브영 [1]
정책
- 보는 것
- 해선 안 되는 표현을 피했나
- 판정하는 것
- 사람이 정한 기준
- 기록
- LY [2]
서비스 조건
- 보는 것
- 실제 언어와 설정에서의 순위
- 판정하는 것
- 운영 데이터
- 기록
- 토스 [3]
| 층 | 보는 것 | 판정하는 것 | 기록 |
|---|---|---|---|
| 형식 | 정해진 꼴을 지켰나 | 규칙 | 올리브영 [1] |
| 품질 | 자연스러움, 문맥 적합 | 새로 만든 지표 | 올리브영 [1] |
| 정책 | 해선 안 되는 표현을 피했나 | 사람이 정한 기준 | LY [2] |
| 서비스 조건 | 실제 언어와 설정에서의 순위 | 운영 데이터 | 토스 [3] |
정책이 많아지면 왜 어려워지나?
하나를 고치면 다른 것이 무너진다. LY 나카노 유야 님은 프롬프트 튜닝을 자동화한 경험을 정리하며 이 문제를 짚었다. "요건 준수와 가독성 개선은 모두 프롬프트 지시로 제어해야 하지만, 정책이 많을수록 프롬프트 조정이 복잡해져 한쪽을 개선하면 다른 쪽이 무너지는 문제가 발생하기 쉽습니다."[2]
글 속 프롬프트 예시에는 진단 행위, 단정 표현 같은 기준이 들어 있다[2]. 이런 기준은 모델이 정하지 않는다. 무엇을 하면 안 되는지는 사람이 먼저 적는다.
자동화에 따라오는 값도 있었다. 이 팀의 프롬프트는 5,521자에서 8,561자로 길어졌다[2]. 평가를 통과시키려고 지시를 계속 붙이면 프롬프트가 길어지고 비용도 함께 는다.
평가 지표를 처음 만든다면?
세 팀의 기록을 바탕으로 편집팀이 정리한 순서다.
- 1규칙으로 잴 수 있는 것 (형식, 길이, 금지어) 부터 통과 조건으로 둔다
- 2규칙으로 안 되는 품질은 무엇을 좋다고 볼지 문장으로 먼저 쓴다
- 3그 문장을 잴 지표를 정하고, 사람이 고른 좋은 예와 나쁜 예로 지표가 맞게 가르는지 본다
- 4정책 기준은 사람이 정하고, 바뀔 때마다 이전 통과 사례가 깨지지 않았는지 다시 돌린다
- 5공개 점수가 아니라 실제 서비스 언어와 설정으로 마지막 순위를 낸다
AI 결과를 무엇으로 재야 할지 정하는 감각, AI 엔지니어 문항으로 확인해 보자
AI 4분 테스트 하기자주 묻는 질문
- 평가 지표는 모델 정확도 하나면 되나?
- 세 팀 모두 하나로 끝내지 않았다. 형식 통과, 품질 지표, 정책 판정, 서비스 조건의 순위를 따로 봤다.
- 정책 기준은 누가 정하나?
- 사람이다. LY 글의 프롬프트 예시에 든 진단 행위, 단정 표현 같은 기준은 사람이 프롬프트에 적어 넣은 것이다. 기준까지 모델에 맡긴 사례는 이번 기록에 없었다.
- 한국어 서비스는 무엇을 따로 봐야 하나?
- 토스 글은 영어 평가의 강점이 한국어 요청에서도 유지되는지 확인하라고 적었다. 영어 점수를 그대로 믿지 않는다.
출처
- 1측정할 수 없으면 개선할 수 없다 - AI Pick 추천 카드를 위한 sLLM 정렬 학습기 올리브영 테크블로그, 2026.09.18
- 2프롬프트 튜닝을 수작업에서 AI 튜닝으로: 유전 알고리즘 기반 자동 최적화와 고속화 LY Tech Blog, 2026.06.23
- 3리더보드 1등 LLM, 토스에서도 1등일까? 토스 기술블로그, 2026.09.16

