AI 엔지니어 면접 질문, 리더보드 대신 평가를 설계해 봤는지 묻는다

토스와 LY의 AI 엔지니어 기록에서 뽑은 면접 질문 다섯 개

더블테이크 노아 - 4분 분량 - 처음 쓴 날

DOUBLETAKE직무별 실무자 이야기

AI 엔지니어 면접은 무엇을 묻나

국내 회사가 공개한 AI 엔지니어 면접 질문 목록은 이번 조사에서 찾지 못했다. 대신 토스, 토스뱅크, LY의 AI 엔지니어 기록에는 "우리 일로 모델을 재는 평가" 와 "규칙을 지키게 만드는 장치" 가 반복해서 나온다. 이 글의 질문은 그 기록에서 뽑은 Double Take의 제안이고, 회사가 실제로 묻는 질문이 아니다.

국내 AI 엔지니어 기록에는 무엇이 반복되나?

토스 LLM 모델링 팀의 박찬용, 최기원, 김태정, 이민영 님은 공개 리더보드를 그대로 믿지 않았다. 영어 수학 문제에서 2위였던 모델이 한국어 번역 문제에서는 4위로 떨어졌기 때문이다. 그래서 한국어, 지시 이행, 도메인 지식 세 층으로 자체 벤치마크를 만들었다[1].

평가 자체도 다시 검증했다. 형식 지시와 판단 지시를 나눠 재고, 벤치마크 점수가 실제 운영 태스크와 얼마나 같이 움직이는지 봤다. 형식 지시에서 상관은 Pearson r = +0.87이었다[1].

토스뱅크 ML Engineer 김경윤 님은 코딩 에이전트가 세션 초반에 읽은 규칙을 잊는 문제를 다뤘다. Stylepack이라는 장치로 파일을 쓴 직후 규칙 2개를, 작업을 끝내기 전 git diff에 규칙 4개를 다시 넣는다. 그는 "에이전트는 세션 시작에 읽은 규칙보다 방금 읽은 코드와 맥락을 더 믿습니다" 라고 썼다[2].

LY 대화형 BI 팀은 에이전트의 역할을 나누고 LLM이 만든 SQL을 실행 전에 가드레일로 검사했다[3]. 우아한형제들 김상국 님은 관련 없는 맥락이 오히려 해롭다며 절차보다 성공 기준을 정의하라고 권했다[4].

이 기록으로 만든 면접 질문은?

아래 질문과 "좋은 답의 신호" 는 Double Take의 제안이다.

  • 모델을 고를 때 공개 리더보드 말고 무엇을 봤나요?

    근거 기록
    토스 벤치마크 [1]
    좋은 답의 신호
    자기 서비스 데이터로 만든 평가를 말한다
  • 그 평가가 맞는 평가인지 어떻게 확인했나요?

    근거 기록
    운영 태스크와의 상관 [1]
    좋은 답의 신호
    평가 점수와 실제 결과를 대조한 경험이 있다
  • 에이전트가 규칙을 어기면 무엇을 고쳤나요?

    근거 기록
    Stylepack [2]
    좋은 답의 신호
    프롬프트 문구보다 다시 넣는 시점이나 장치를 말한다
  • 모델이 만든 결과를 실행하기 전에 무엇을 막았나요?

    근거 기록
    SQL 가드레일 [3]
    좋은 답의 신호
    실행 전 검사와 사용자가 확인할 흔적을 같이 말한다
  • 맥락을 줄여서 결과가 나아진 적이 있나요?

    근거 기록
    김상국 [4]
    좋은 답의 신호
    무엇을 뺐고 성공 기준을 어떻게 정했는지 말한다

공통점은 하나다. 어떤 모델이 좋은지보다 그 판단을 무엇으로 했는지를 묻는다.

채용 도구도 평가를 다시 평가하나?

채용 쪽에서도 같은 모양이 하나 보인다. 크래프톤은 채용용 AI 평가 도구 Cofa-Probe를 만들면서 평가하는 AI를 다시 평가하는 메타 하네스를 뒀다고 머니투데이가 보도했다[5]. 크래프톤은 이 솔루션을 만든 회사라 그 점을 감안해서 읽어야 한다.

면접 전에 무엇을 준비하면 되나?

  1. 1자기 평가 하나를 설명할 준비. 어떤 데이터로 만들었고 무엇을 쟀는지
  2. 2평가가 틀렸던 경험. 점수는 좋았는데 실제로는 안 맞았던 사례가 있으면 그 이야기가 가장 강하다
  3. 3규칙을 장치로 지킨 경험. 프롬프트를 고친 이야기보다 다시 틀리지 않게 만든 장치가 좋다

근거로 쓴 기록은 AI 도입이 앞선 회사의 기술 블로그다. 회사마다 AI 엔지니어에게 기대하는 일이 다르니 지원하는 팀의 공개 글을 먼저 읽어 보는 편이 낫다.

AI 결과를 무엇으로 잴지 고르는 감각, AI 엔지니어 문항으로 먼저 확인해 보자

AI 4분 테스트 하기

자주 묻는 질문

AI 엔지니어 면접에서 최신 모델 지식을 묻나?
회사마다 다르고 공개된 질문 목록은 찾지 못했다. 다만 국내 기록에서 반복되는 것은 최신 모델 지식보다 자기 일로 모델을 재는 방법이다.
리더보드 점수는 쓸모가 없나?
출발점은 된다. 토스 기록에서는 영어 수학 2위 모델이 한국어 번역에서 4위였다. 그래서 자기 데이터로 다시 재야 했다.
평가를 만든 경험이 없으면 어떻게 하나?
작게라도 만들어 보면 된다. 자기가 쓰는 문제 몇 개로 두 모델을 비교하고, 그 결과가 실제 체감과 맞는지 적어 두면 면접에서 설명할 거리가 생긴다.

출처

  1. 1리더보드 1등 LLM, 토스에서도 1등일까? 토스 기술블로그, 2026.09.16
  2. 2AI가 팀 규칙을 지키도록 하는 방법 토스 기술블로그, 2026.09.08
  3. 3LLM이 만든 SQL을 믿고 실행하기까지 LY Tech Blog, 2026.10.02
  4. 4AI가 내 프롬프트를 흘려듣는 이유 우아한형제들 기술블로그, 2026.07.07
  5. 5크래프톤 Cofa-Probe 보도 머니투데이, 2026.08.28

이 글은 더블테이크 노아가 누구나 열어 볼 수 있는 공개 자료만 근거로 썼어요. 초안은 AI 도구로 쓰고, 사람이 출처와 맞춰 보며 고쳤어요. 틀린 내용은 hello@dropdown.xyz로 알려 주세요. 확인하고 고친 날을 글에 남겨요. 편집 원칙 보기