QA 테스트 자동화 AI, 초안은 AI가 쓰고 판단은 QA가 쥔다

테스트 초안 90%를 AI가 쓰는 팀에서 QA 엔지니어가 쥔 마지막 10%

더블테이크 노아 - 4분 분량 - 처음 쓴 날

DOUBLETAKE직무별 실무자 이야기

QA 테스트는 AI가 대신할까

QA 일에서 AI가 먼저 가져간 것은 테스트 케이스 초안과 반복 실행이다. 어떤 실패를 사람이 다시 볼지, 이대로 내보내도 되는지는 여전히 QA 엔지니어가 정한다. 테스트 초안의 약 90%를 AI가 쓰는 팀에서도 그 선은 그대로였다.

AI가 QA에서 가장 먼저 가져간 일은?

채수광 님 (LY, LINE Album QA): "2026년 기준으로 전체 테스트 케이스의 약 90%의 초안을 AI가 생성하고 있습니다."[1]

이 팀은 서브에이전트 5개와 자동화 워크플로 30개 이상을 돌린다. 남은 약 10%는 QA가 직접 검증하고 보강한다[1].

강연신, 안재은, 한가영 님 (토스 QA Platform 팀): "시나리오는 사람이 쓰고, 코드는 도구가 씁니다."[2]

자동화된 테스트가 깨지면 누가 보나?

강연신, 안재은, 한가영 님 (토스 QA Platform 팀): "고칠 수 있다고 판단한 실패는 이렇게 스스로 고쳐 두고, 사람에게는 정말 사람이 봐야 할 실패만 남깁니다."[2]

토스닥터는 매주 쏟아지는 빌드 결과를 사람이 일일이 확인하던 데서 출발했다. 지금은 실패 원인을 가려 고칠 수 있는 것은 도구가 고치고, 나머지만 사람 앞에 올린다[2].

도구가 문제를 풀 때도 순서가 있나?

강연신, 안재은, 한가영 님 (토스 QA Platform 팀): "값싼 방법부터, 비싼 방법은 꼭 필요할 때만 찾습니다."[2]

AI가 만든 테스트 코드는 바로 쓸 수 있나?

강규한 님 (우아한형제들): "AI가 생성한 코드는 "그럴듯하지만" 실제로는 동작하지 않는 경우가 많았습니다."[3]

이 팀에서 AI가 바로 만든 단위 테스트는 90%가 컴파일에 실패했다. 뼈대는 플러그인이 만들고 내용은 AI가 채우도록 일을 나누자 통과율이 97%까지 올랐다[3].

강규한 님 (우아한형제들): "팀과 함께 개선: 혼자 만들지 말고 팀과 함께 사용하며 개선하는 것이 중요합니다."[3]

QA 조직이 따로 없는 팀은 어떻게 하나?

당근 개발자 (필명 lily.keum): "당근은 목적조직마다 QA를 따로 두지 않고, 각 팀이 직접 테스트하고 배포해요."[4]

당근 개발자 (필명 lily.keum): "사용자가 한 문장을 입력하면 AI가 먼저 테스트 Flow를 만들어요."[4]

그럼 QA의 역할은 줄었나?

채수광 님 (LY, LINE Album QA): "이 변화는 QA의 역할을 줄인 것이 아니라 역할의 중심을 이동시켰습니다."[1]

채수광 님 (LY, LINE Album QA): "AI는 정보를 수집하고 분석해 정리하는 역할을 담당하고, QA 엔지니어는 그 결과를 기반으로 리스크를 판단하고 최종 의사 결정을 수행합니다."[1]

네 팀의 답을 나란히 놓으면?

  • LY LINE Album [1]

    AI와 도구가 맡은 일
    테스트 케이스 초안 약 90%
    사람이 쥔 일
    나머지 검증과 보강, 리스크 판단
  • 토스 토스닥터 [2]

    AI와 도구가 맡은 일
    테스트 코드, 고칠 수 있는 실패 수정
    사람이 쥔 일
    시나리오 작성, 남은 실패 확인
  • 우아한형제들 [3]

    AI와 도구가 맡은 일
    테스트 내용 채우기
    사람이 쥔 일
    뼈대 설계, 통과 판정
  • 당근 [4]

    AI와 도구가 맡은 일
    한 문장에서 테스트 흐름 만들기
    사람이 쥔 일
    각 팀이 직접 테스트하고 배포

네 회사 모두 테스트 자동화에 일찍 투자한 곳이다. 성공한 사례가 블로그에 더 자주 올라온다는 점도 감안해서 읽어야 한다. 그래도 강규한 님 팀처럼 처음 90%가 실패했다고 적은 기록이 있어 성공담만 모인 것은 아니다.

AI가 만든 결과에서 사람이 먼저 봐야 할 곳을 얼마나 빨리 찾는지, 4분 문제로 확인해 보자

4분 테스트 하기

자주 묻는 질문

QA 엔지니어는 AI 때문에 줄어드나?
이 기록들에서는 줄지 않았다. LY는 초안을 AI에 넘긴 뒤 QA가 리스크 판단과 최종 결정에 시간을 더 쓴다고 밝혔다.
AI 테스트 자동화에서 사람이 꼭 해야 하는 일은?
시나리오를 정하는 일과, 도구가 고치지 못한 실패를 보고 출시 여부를 정하는 일이다.
QA 직무 지원자는 무엇을 보여 주면 좋나?
AI가 만든 테스트에서 무엇을 버리고 무엇을 보강했는지 설명할 수 있으면 된다. 위 팀들이 사람에게 남긴 일이 바로 그 판단이다.

출처

  1. 1AI는 QA를 대체하지 않았다, 대신 확장했다 LY Tech Blog, 2026.05.14
  2. 2쉼 없이 도는 테스트, 사람이 어디까지 돌봐야 할까요? - 토스닥터 토스 기술블로그, 2026.09.22
  3. 3AI와 함께하는 테스트 자동화: 플러그인 개발기 우아한형제들 기술블로그, 2025.12.04
  4. 4한 문장으로 앱을 테스트하기까지 당근 테크 블로그, 2026.10.06

이 글은 더블테이크 노아가 누구나 열어 볼 수 있는 공개 자료만 근거로 썼어요. 초안은 AI 도구로 쓰고, 사람이 출처와 맞춰 보며 고쳤어요. 틀린 내용은 hello@dropdown.xyz로 알려 주세요. 확인하고 고친 날을 글에 남겨요. 편집 원칙 보기