LLM 평가 지표 만드는 법, 점수보다 재는 순서를 먼저 정한 세 팀

리더보드 1등이 우리 서비스 1등은 아니었다, 세 팀의 평가 순서

더블테이크 노아 - 3분 분량 - 처음 쓴 날

DOUBLETAKE직무별 AI 활용법

LLM 평가 지표는 어떻게 만드나

LLM 평가는 모델 점수 하나로 끝나지 않는다. 올리브영, LY, 토스의 기록을 보면 형식처럼 규칙으로 잴 수 있는 것을 먼저 거르고, 잴 방법이 없던 품질은 지표를 새로 만들었다. 지켜야 할 정책은 사람이 정한 기준으로 따로 심사했고, 마지막으로 실제 서비스 조건에서 순위를 다시 봤다.

공개 리더보드 점수로는 왜 부족한가?

토스 박찬용, 최기원, 김태정, 이민영 님은 같은 모델도 조건이 바뀌면 다르게 나온다고 썼다. "하지만 평가에 사용한 언어나 추론 설정이 실제 서비스와 다르면, 같은 모델도 성능과 순위가 달라질 수 있습니다."[3]

한국어 서비스라면 더 그렇다. 같은 글은 이렇게 적었다. "한국어 서비스에 사용할 모델이라면, 영어 평가에서의 강점이 한국어 요청에서도 유지되는지 확인해야 합니다."[3] 토스는 공개 순위 대신 실제 운영 프롬프트와 데이터로 모델을 고르는 평가 체계를 만들었다[3].

무엇부터 재야 하나?

규칙으로 잴 수 있는 것부터다. 올리브영 데이터 사이언티스트 안일호 님은 AI Pick 추천 카드에 쓰는 sLLM을 다듬으며 막힌 곳을 이렇게 적었다. "형식은 규칙으로 검증할 수 있지만, 자연스러움과 문맥적합은 측정할 방법 자체가 없었습니다."[1]

그래서 이 팀은 품질을 숫자로 바꾸는 지표를 먼저 만들고, 그 숫자를 학습 신호로 썼다[1]. 형식은 규칙이 거르고, 규칙으로 안 되는 품질은 새 지표가 맡는 두 층이다.

  • 형식

    보는 것
    정해진 꼴을 지켰나
    판정하는 것
    규칙
    기록
    올리브영 [1]
  • 품질

    보는 것
    자연스러움, 문맥 적합
    판정하는 것
    새로 만든 지표
    기록
    올리브영 [1]
  • 정책

    보는 것
    해선 안 되는 표현을 피했나
    판정하는 것
    사람이 정한 기준
    기록
    LY [2]
  • 서비스 조건

    보는 것
    실제 언어와 설정에서의 순위
    판정하는 것
    운영 데이터
    기록
    토스 [3]

정책이 많아지면 왜 어려워지나?

하나를 고치면 다른 것이 무너진다. LY 나카노 유야 님은 프롬프트 튜닝을 자동화한 경험을 정리하며 이 문제를 짚었다. "요건 준수와 가독성 개선은 모두 프롬프트 지시로 제어해야 하지만, 정책이 많을수록 프롬프트 조정이 복잡해져 한쪽을 개선하면 다른 쪽이 무너지는 문제가 발생하기 쉽습니다."[2]

글 속 프롬프트 예시에는 진단 행위, 단정 표현 같은 기준이 들어 있다[2]. 이런 기준은 모델이 정하지 않는다. 무엇을 하면 안 되는지는 사람이 먼저 적는다.

자동화에 따라오는 값도 있었다. 이 팀의 프롬프트는 5,521자에서 8,561자로 길어졌다[2]. 평가를 통과시키려고 지시를 계속 붙이면 프롬프트가 길어지고 비용도 함께 는다.

평가 지표를 처음 만든다면?

세 팀의 기록을 바탕으로 편집팀이 정리한 순서다.

  1. 1규칙으로 잴 수 있는 것 (형식, 길이, 금지어) 부터 통과 조건으로 둔다
  2. 2규칙으로 안 되는 품질은 무엇을 좋다고 볼지 문장으로 먼저 쓴다
  3. 3그 문장을 잴 지표를 정하고, 사람이 고른 좋은 예와 나쁜 예로 지표가 맞게 가르는지 본다
  4. 4정책 기준은 사람이 정하고, 바뀔 때마다 이전 통과 사례가 깨지지 않았는지 다시 돌린다
  5. 5공개 점수가 아니라 실제 서비스 언어와 설정으로 마지막 순위를 낸다

AI 결과를 무엇으로 재야 할지 정하는 감각, AI 엔지니어 문항으로 확인해 보자

AI 4분 테스트 하기

자주 묻는 질문

평가 지표는 모델 정확도 하나면 되나?
세 팀 모두 하나로 끝내지 않았다. 형식 통과, 품질 지표, 정책 판정, 서비스 조건의 순위를 따로 봤다.
정책 기준은 누가 정하나?
사람이다. LY 글의 프롬프트 예시에 든 진단 행위, 단정 표현 같은 기준은 사람이 프롬프트에 적어 넣은 것이다. 기준까지 모델에 맡긴 사례는 이번 기록에 없었다.
한국어 서비스는 무엇을 따로 봐야 하나?
토스 글은 영어 평가의 강점이 한국어 요청에서도 유지되는지 확인하라고 적었다. 영어 점수를 그대로 믿지 않는다.

출처

  1. 1측정할 수 없으면 개선할 수 없다 - AI Pick 추천 카드를 위한 sLLM 정렬 학습기 올리브영 테크블로그, 2026.09.18
  2. 2프롬프트 튜닝을 수작업에서 AI 튜닝으로: 유전 알고리즘 기반 자동 최적화와 고속화 LY Tech Blog, 2026.06.23
  3. 3리더보드 1등 LLM, 토스에서도 1등일까? 토스 기술블로그, 2026.09.16

이 글은 더블테이크 노아가 누구나 열어 볼 수 있는 공개 자료만 근거로 썼어요. 초안은 AI 도구로 쓰고, 사람이 출처와 맞춰 보며 고쳤어요. 틀린 내용은 hello@dropdown.xyz로 알려 주세요. 확인하고 고친 날을 글에 남겨요. 편집 원칙 보기