AI 답변 검증 방법, AI가 끝났다고 한 것은 증거가 아니다
다시 읽기 대신 흔적을 남긴 국내 팀들의 AI 결과 확인법
더블테이크 노아 - 4분 분량 - 처음 쓴 날
AI 답변은 어떻게 검증하나
AI 답을 다시 읽는 것만으로는 검증이 되지 않는다. 국내 앞선 팀은 다른 사람도 다시 확인할 수 있는 흔적을 남기는 방식으로 검증했다. 쿼리를 결과 옆에 보여 주고, 근거에 등급을 매기고, 번역을 거꾸로 돌려 보고, 만들기 전에 실패 조건부터 물었다.
왜 다시 읽는 것으로는 부족한가?
AI 답은 대개 거의 맞게 나온다. Stack Overflow 2025 개발자 설문에서 가장 큰 불만은 "거의 맞지만 완벽하지 않은 답" (66%) 이었다. AI 정확도를 "매우 신뢰" 한다는 답은 3.1%였다[2]. 거의 맞는 글은 다시 읽어도 틀린 곳이 잘 보이지 않는다.
실제로 놓친 기록도 있다. 우아한형제들 박재용 님 팀의 다국어 작업에서는 사람 리뷰도 AI 리뷰도 번역 누락을 놓쳤다. 결국 ESLint 플러그인을 만들어 누락 182건을 잡았다[3].
LY Tech-Verse 2026 참관기는 기준이 바뀐다고 적었다. "'모델이 끝났다고 말했는가'가 아니라 '그렇게 볼 수 있는 근거가 남았는가'로 바뀐다."[1]
현장은 어떤 흔적을 남겼나?
결과 옆에 과정 공개
- 기록
- LY 대화형 BI [4]
- 남긴 흔적
- 실행 전 가드레일 검사, 결과와 함께 쿼리 공개
근거에 등급 매기기
- 기록
- LINE Plus 광고 리포트 [5]
- 남긴 흔적
- 근거 세 등급. 해석에 쓸 수 있는 것만 원인으로
거꾸로 돌려 보기
- 기록
- 배민 다국어 [6]
- 남긴 흔적
- 중국어 번역을 다시 한국어로 돌려 뜻 확인
사람이 평가하고 기록
- 기록
- 우아한형제들 리서치 AI [7]
- 남긴 흔적
- 리서처의 정성, 정량 평가와 Langfuse 추적
결정적 도구로 찾기
- 기록
- 우아한형제들 번역 누락 [3]
- 남긴 흔적
- 린트 규칙. 찾기는 도구, 고치기는 AI
| 방법 | 기록 | 남긴 흔적 |
|---|---|---|
| 결과 옆에 과정 공개 | LY 대화형 BI [4] | 실행 전 가드레일 검사, 결과와 함께 쿼리 공개 |
| 근거에 등급 매기기 | LINE Plus 광고 리포트 [5] | 근거 세 등급. 해석에 쓸 수 있는 것만 원인으로 |
| 거꾸로 돌려 보기 | 배민 다국어 [6] | 중국어 번역을 다시 한국어로 돌려 뜻 확인 |
| 사람이 평가하고 기록 | 우아한형제들 리서치 AI [7] | 리서처의 정성, 정량 평가와 Langfuse 추적 |
| 결정적 도구로 찾기 | 우아한형제들 번역 누락 [3] | 린트 규칙. 찾기는 도구, 고치기는 AI |
LY 대화형 BI 팀은 쿼리를 숨기지 않고 보여 준 것이 신뢰를 올렸다고 썼다[4]. 확인할 수 있게 만든 것이 곧 검증이 된 셈이다.
결과를 보기 전에 무엇을 묻나?
우아한형제들 장진솔 님은 사내 행사용 게임 서버를 만들며 AI에게 "어떤 때에 우리가 만들 서버가 터질까?" 를 반복해서 물었다. 코드를 만드는 모델과 개념을 검증하는 모델도 나눴다. AI가 자기 제안을 스스로 검증하지 못하게 한 것이다[8].
첫 실패율을 보고 일을 다시 나눈 사례도 있다. 강규한 님 팀은 AI가 바로 만든 단위 테스트의 90%가 컴파일에 실패하자, 뼈대는 플러그인이 만들고 내용은 AI가 채우고 판정은 개발자가 하도록 바꿨다. 통과율은 97%가 됐다[9].
"돌아간다" 와 "안전하다" 는 왜 다른가?
당근 피플팀의 한 인턴은 회의실 노쇼 문제를 풀려고 Claude와 대화하며 회의봇을 만들었다. 봇은 돌아갔다. 그런데 출시 뒤 개인 캘린더 정보가 전사 브리핑에 섞여 나가는 사고가 났다. 그 뒤 토큰을 분리하고 시험 계정으로 확인하는 절차를 추가했다[10].
기능이 도는지 보는 확인과 권한, 데이터가 새지 않는지 보는 확인은 따로 해야 한다.
오늘 업무에 바로 쓰려면?
위 기록을 다섯 가지 질문으로 줄였다. 질문 목록은 Double Take의 정리다.
- 1이 결과에서 숫자나 사실은 AI가 만든 것인가, 원자료에서 온 것인가
- 2다른 사람이 같은 결과를 다시 확인할 흔적이 남았나 (쿼리, 원문, 실행 결과)
- 3반대 방향으로 한 번 돌려 봤나 (역번역, 역계산, 다른 모델로 확인)
- 4이게 언제 틀리거나 터질지 먼저 물어봤나
- 5돌아가는 것 말고 권한과 데이터도 확인했나
근거는 AI 도입이 앞선 회사의 블로그다. 실패를 같이 쓴 기록 (번역 누락, 컴파일 실패, 회의봇 사고) 이 있어서 성공담만은 아니지만, 다수 팀의 평균 모습은 아닐 수 있다.
AI 결과에서 틀린 곳을 찾는 감각이 지금 어느 정도인지, 4분 문제로 확인해 보자
4분 테스트 하기자주 묻는 질문
- AI 답을 검증하는 가장 빠른 방법은?
- 결과 옆에 과정을 남기게 하는 것이다. 쿼리, 근거, 원문 위치를 같이 내게 하면 어디를 볼지가 먼저 정해진다.
- 같은 AI에게 다시 물어 검증하면 되나?
- 기록 속 팀은 나눴다. 우아한형제들 게임 사례는 코드를 만드는 모델과 검증하는 모델을 따로 썼다.
- 비개발 직군도 이렇게 검증해야 하나?
- 당근 회의봇은 비개발자가 만든 도구에서 난 사고다. 직군과 상관없이 돌아가는지와 안전한지를 따로 본다.
출처
- 1AI를 전제로 다시 설계하다, Tech-Verse 2026 참관기 LY Tech Blog, 2026.09.11
- 2Stack Overflow Developer Survey 2025, AI Stack Overflow, 2025
- 3사람도 AI도 놓친 번역 누락, ESLint 플러그인을 만들어 해결하기 우아한형제들 기술블로그, 2026.06.23
- 4LLM이 만든 SQL을 믿고 실행하기까지 LY Tech Blog, 2026.10.02
- 5LLM에게 어디까지 맡길 것인가 LY Tech Blog, 2026.09.18
- 65년 동안 못 푼 배민 다국어 숙제, AI와 함께 한 달 만에 끝내기 우아한형제들 기술블로그, 2026.04.03
- 7AI가 분석한 리서치 결과, 어떻게 만들고 전달할까요? 우아한형제들 기술블로그, 2026.08.31
- 8AI에게 만드는 법 대신 실패하는 법을 묻다 우아한형제들 기술블로그, 2026.08.28
- 9AI와 함께하는 테스트 자동화: 플러그인 개발기 우아한형제들 기술블로그, 2025.12.04
- 10비개발자로 회의봇 만들기는 처음이라 당근 채용 블로그, 2026.04.30

