장애 원인 분석 AI, LY SRE들이 승인 버튼을 사람에게 남긴 이유

롤백 버튼은 사람에게. LY SRE들이 AI 장애 분석에 건 세 가지 제한

더블테이크 노아 - 4분 분량 - 처음 쓴 날

DOUBLETAKE직무별 실무자 이야기

장애 원인 분석은 AI에 맡길까

LY SRE들은 장애 알림이 오면 AI가 먼저 상관분석을 하고 원인 후보를 보고하게 만들었다. 그러나 Pod 재시작이나 롤백처럼 실제 시스템을 바꾸는 작업은 사람이 승인해야 돈다. 근거 없이 원인을 단정하는 AI가 사람보다 위험하다고 봤기 때문이다.

알림이 울리면 AI는 무엇부터 하나?

박상기, 강계돈 님 (LY SRE)이 만든 SRE Observer는 알림을 받으면 사람이 붙기 전에 관련 지표를 엮어 원인 가설을 세운다. 가설은 다섯 개를 나열하게 했다. 도입 뒤 알림 노이즈의 85~95%를 걸러 냈고 장애 복구 시간 (MTTR) 은 절반으로 줄었다[1].

AI가 원인을 단정하면 왜 위험한가?

박상기, 강계돈 님 (LY SRE): "시스템이 근거 없이 원인을 단정하면, 사람이 직접 대응할 때보다 오히려 더 위험할 수 있습니다."[1]

가설을 하나가 아니라 다섯 개로 받게 한 것도 같은 이유로 읽힌다. 하나의 답 대신 비교할 목록이 사람 앞에 놓인다.

어디서부터 사람이 승인하나?

박상기, 강계돈 님 (LY SRE): "Pod 재시작, 롤백 같은 실제 작업은 승인(Approval Gate) 후 실행합니다."[1]

분석과 보고는 AI가 끝까지 하고, 변경은 사람 손을 거친다. AI 판단이 틀려도 승인 없이는 시스템을 건드리지 못한다.

자동화보다 먼저 챙긴 것은?

박상기, 강계돈 님 (LY SRE): "중요한 것은 자동화 자체보다 LLM 에이전트의 동작을 운영 환경에 맞게 통제할 수 있는 제어권을 확보하는 일이었습니다."[1]

같은 회사의 다른 도구인 SRELens도 사용자마다 하루 토큰 한도를 걸었다. 에이전트가 운영 환경에서 얼마나 움직일지를 사람이 먼저 정한 셈이다[2].

AI가 붙어도 사람에게 남는 일은?

박경세, 황다솔 님 (LY): "하지만 이 세 가지를 하나의 이야기로 엮어 "그래서 원인이 무엇인가"를 판단하는 일은 여전히 사람이 해야 했습니다."[2]

SRELens는 Grafana 안에서 자연어로 질문하면 원인 분석을 돕는 도구다. 흩어진 신호를 모으는 일은 도구가 거들고, 마지막 결론은 사람이 내린다[2].

장애 말고 반복 업무는 어떻게 줄였나?

박경세 님 (LY SRE): "개발자는 Slack만 보면 되고, SRE는 버튼만 클릭하면 되는 세상"[3]

박경세 님 (LY SRE): "저희는 사용 장벽을 낮추는 것이 자동화의 핵심이라고 판단해 Slack 워크플로를 선택했습니다."[3]

도입 전 이 팀은 배포 요청 같은 반복 작업에 일주일 약 15시간을 썼다. SRE 봇을 들인 뒤 일주일에 6시간 넘게 아꼈고, 배포 요청 한 건은 약 30분에서 1분 안쪽으로 줄었다. 제목의 "10분의 1" 은 제목에만 나오는 표현이다[3].

세 도구를 한 표로 보면?

  • SRE Observer [1]

    AI와 도구가 맡은 일
    상관분석, 원인 가설 다섯 개, Slack 보고
    사람이 쥔 일
    재시작과 롤백 승인
  • SRELens [2]

    AI와 도구가 맡은 일
    자연어 질문을 받아 원인 분석 거들기
    사람이 쥔 일
    원인 결론, 토큰 한도 설정
  • SRE 봇 [3]

    AI와 도구가 맡은 일
    Slack으로 들어온 반복 요청 처리
    사람이 쥔 일
    버튼 클릭으로 승인

세 기록 모두 LY 한 회사의 글이다. 다른 회사 SRE 팀이 같은 선을 그었는지는 이 근거로 알 수 없다.

AI가 낸 원인 분석에서 근거가 약한 곳을 얼마나 빨리 짚는지, 인프라 문항으로 확인해 보자

인프라 4분 테스트 하기

자주 묻는 질문

AI가 장애를 스스로 복구하게 해도 되나?
LY 기록에서는 하지 않았다. 분석과 보고는 자동으로 돌지만 재시작과 롤백은 사람 승인을 거친다.
AI 장애 분석에서 가장 먼저 정할 것은?
에이전트가 어디까지 움직일지다. 승인 지점과 사용량 한도를 먼저 걸고 자동화 범위는 그다음에 넓혔다.
SRE 지원자는 AI 경험을 어떻게 말하면 좋나?
AI에게 무엇을 맡겼는지보다 어디에 승인 지점을 두었고 왜 그랬는지를 설명하는 편이 위 팀들의 기준과 맞는다.

출처

  1. 1장애 Alert의 원인을 스스로 찾다: SRE Observer 개발기 LY Tech Blog, 2026.09.04
  2. 2Grafana에서 자연어로 장애 원인을 분석하기: SRELens 개발기 LY Tech Blog, 2026.07.31
  3. 3SRE 팀의 반복 작업을 10분의 1로 줄인 SRE 봇 개발기 LY Tech Blog, 2026.03.24

이 글은 더블테이크 노아가 누구나 열어 볼 수 있는 공개 자료만 근거로 썼어요. 초안은 AI 도구로 쓰고, 사람이 출처와 맞춰 보며 고쳤어요. 틀린 내용은 hello@dropdown.xyz로 알려 주세요. 확인하고 고친 날을 글에 남겨요. 편집 원칙 보기