QA 테스트 자동화 AI, 초안은 AI가 쓰고 판단은 QA가 쥔다
테스트 초안 90%를 AI가 쓰는 팀에서 QA 엔지니어가 쥔 마지막 10%
더블테이크 노아 - 4분 분량 - 처음 쓴 날
QA 테스트는 AI가 대신할까
QA 일에서 AI가 먼저 가져간 것은 테스트 케이스 초안과 반복 실행이다. 어떤 실패를 사람이 다시 볼지, 이대로 내보내도 되는지는 여전히 QA 엔지니어가 정한다. 테스트 초안의 약 90%를 AI가 쓰는 팀에서도 그 선은 그대로였다.
AI가 QA에서 가장 먼저 가져간 일은?
채수광 님 (LY, LINE Album QA): "2026년 기준으로 전체 테스트 케이스의 약 90%의 초안을 AI가 생성하고 있습니다."[1]
이 팀은 서브에이전트 5개와 자동화 워크플로 30개 이상을 돌린다. 남은 약 10%는 QA가 직접 검증하고 보강한다[1].
강연신, 안재은, 한가영 님 (토스 QA Platform 팀): "시나리오는 사람이 쓰고, 코드는 도구가 씁니다."[2]
자동화된 테스트가 깨지면 누가 보나?
강연신, 안재은, 한가영 님 (토스 QA Platform 팀): "고칠 수 있다고 판단한 실패는 이렇게 스스로 고쳐 두고, 사람에게는 정말 사람이 봐야 할 실패만 남깁니다."[2]
토스닥터는 매주 쏟아지는 빌드 결과를 사람이 일일이 확인하던 데서 출발했다. 지금은 실패 원인을 가려 고칠 수 있는 것은 도구가 고치고, 나머지만 사람 앞에 올린다[2].
도구가 문제를 풀 때도 순서가 있나?
강연신, 안재은, 한가영 님 (토스 QA Platform 팀): "값싼 방법부터, 비싼 방법은 꼭 필요할 때만 찾습니다."[2]
AI가 만든 테스트 코드는 바로 쓸 수 있나?
강규한 님 (우아한형제들): "AI가 생성한 코드는 "그럴듯하지만" 실제로는 동작하지 않는 경우가 많았습니다."[3]
이 팀에서 AI가 바로 만든 단위 테스트는 90%가 컴파일에 실패했다. 뼈대는 플러그인이 만들고 내용은 AI가 채우도록 일을 나누자 통과율이 97%까지 올랐다[3].
강규한 님 (우아한형제들): "팀과 함께 개선: 혼자 만들지 말고 팀과 함께 사용하며 개선하는 것이 중요합니다."[3]
QA 조직이 따로 없는 팀은 어떻게 하나?
당근 개발자 (필명 lily.keum): "당근은 목적조직마다 QA를 따로 두지 않고, 각 팀이 직접 테스트하고 배포해요."[4]
당근 개발자 (필명 lily.keum): "사용자가 한 문장을 입력하면 AI가 먼저 테스트 Flow를 만들어요."[4]
그럼 QA의 역할은 줄었나?
채수광 님 (LY, LINE Album QA): "이 변화는 QA의 역할을 줄인 것이 아니라 역할의 중심을 이동시켰습니다."[1]
채수광 님 (LY, LINE Album QA): "AI는 정보를 수집하고 분석해 정리하는 역할을 담당하고, QA 엔지니어는 그 결과를 기반으로 리스크를 판단하고 최종 의사 결정을 수행합니다."[1]
네 팀의 답을 나란히 놓으면?
LY LINE Album [1]
- AI와 도구가 맡은 일
- 테스트 케이스 초안 약 90%
- 사람이 쥔 일
- 나머지 검증과 보강, 리스크 판단
토스 토스닥터 [2]
- AI와 도구가 맡은 일
- 테스트 코드, 고칠 수 있는 실패 수정
- 사람이 쥔 일
- 시나리오 작성, 남은 실패 확인
우아한형제들 [3]
- AI와 도구가 맡은 일
- 테스트 내용 채우기
- 사람이 쥔 일
- 뼈대 설계, 통과 판정
당근 [4]
- AI와 도구가 맡은 일
- 한 문장에서 테스트 흐름 만들기
- 사람이 쥔 일
- 각 팀이 직접 테스트하고 배포
| 기록 | AI와 도구가 맡은 일 | 사람이 쥔 일 |
|---|---|---|
| LY LINE Album [1] | 테스트 케이스 초안 약 90% | 나머지 검증과 보강, 리스크 판단 |
| 토스 토스닥터 [2] | 테스트 코드, 고칠 수 있는 실패 수정 | 시나리오 작성, 남은 실패 확인 |
| 우아한형제들 [3] | 테스트 내용 채우기 | 뼈대 설계, 통과 판정 |
| 당근 [4] | 한 문장에서 테스트 흐름 만들기 | 각 팀이 직접 테스트하고 배포 |
네 회사 모두 테스트 자동화에 일찍 투자한 곳이다. 성공한 사례가 블로그에 더 자주 올라온다는 점도 감안해서 읽어야 한다. 그래도 강규한 님 팀처럼 처음 90%가 실패했다고 적은 기록이 있어 성공담만 모인 것은 아니다.
AI가 만든 결과에서 사람이 먼저 봐야 할 곳을 얼마나 빨리 찾는지, 4분 문제로 확인해 보자
4분 테스트 하기자주 묻는 질문
- QA 엔지니어는 AI 때문에 줄어드나?
- 이 기록들에서는 줄지 않았다. LY는 초안을 AI에 넘긴 뒤 QA가 리스크 판단과 최종 결정에 시간을 더 쓴다고 밝혔다.
- AI 테스트 자동화에서 사람이 꼭 해야 하는 일은?
- 시나리오를 정하는 일과, 도구가 고치지 못한 실패를 보고 출시 여부를 정하는 일이다.
- QA 직무 지원자는 무엇을 보여 주면 좋나?
- AI가 만든 테스트에서 무엇을 버리고 무엇을 보강했는지 설명할 수 있으면 된다. 위 팀들이 사람에게 남긴 일이 바로 그 판단이다.
출처
- 1AI는 QA를 대체하지 않았다, 대신 확장했다 LY Tech Blog, 2026.05.14
- 2쉼 없이 도는 테스트, 사람이 어디까지 돌봐야 할까요? - 토스닥터 토스 기술블로그, 2026.09.22
- 3AI와 함께하는 테스트 자동화: 플러그인 개발기 우아한형제들 기술블로그, 2025.12.04
- 4한 문장으로 앱을 테스트하기까지 당근 테크 블로그, 2026.10.06

