쿠버네티스 기반의 실시간 장애 전파 및 자동 복구 시스템 설계:

Prometheus + Alertmanager + Webhook + GitOps Rollback 통합 아키텍처

🧭 배경

대규모 마이크로서비스 환경에서 가장 큰 리스크는 무중단 서비스 유지입니다. 단일 컴포넌트가 장애를 일으키면 다음과 같은 연쇄 작용이 발생합니다:
• 사용자 응답 지연 또는 오류 전파
• APM·Sentry 로그 증가 → 운영비용 상승
• 고객 이탈 및 SLA 위반 리스크

이러한 장애 상황에서 단순 Slack 알림만 받고 사람이 개입하던 기존 방식은 한계가 있습니다.

✅ 목표: “알림이 아닌 자동 조치가 우선되는 구조”

⸻

🔧 핵심 아키텍처 구성요소

구성 요소 역할
Prometheus 메트릭 수집 및 실시간 모니터링
Alertmanager 경보 평가 및 라우팅
Webhook Receiver 자동 복구 트리거링
Argo CD / Flux GitOps 방식 롤백 및 배포 복원
Slack / Opsgenie 운영팀 실시간 상황 공유


⸻

🧩 장애 → 자동 롤백 흐름 구성
1. Prometheus가 다음과 같은 규칙을 감지:
• HTTP 5xx 에러율 3분간 > 2%
• latency > 1s 이상 5분간 지속
• 특정 Pod restart 수 급증
2. Alertmanager가 Webhook 트리거를 호출:
• 웹훅 URL은 내부 GitOps 컨트롤러에 등록
3. Webhook Receiver가 다음과 같은 작업 수행:
• Git 레포지토리에서 previous-stable 태그 확인
• kubectl rollout undo 또는 Git revert + Argo CD sync 수행
4. Slack에는 다음과 같은 메시지 자동 발송:
🚨 [user-api] 서비스에서 에러율 5.6% 감지됨
🛠️ 자동 롤백 트리거됨: v1.6.2 → v1.6.1
⏱️ Argo CD Sync 완료, 시스템 안정화 중

⸻

🧪 실전 Alertmanager 설정 예시

groups:
- name: service-health
  rules:
  - alert: HighErrorRate
    expr: rate(http_requests_total{status=~"5.."}[3m]) > 0.05
    for: 3m
    labels:
      severity: critical
    annotations:
      summary: "Service error rate exceeds 5%"
      description: "Check rollout status or rollback immediately"

→ 위 경보는 Webhook을 호출하고 Slack으로도 동시에 알림을 보냅니다.

⸻

🪛 자동 롤백 트리거 예시 (Webhook Handler)

#!/bin/bash

APP_NAME=$1
PREV_VERSION=$(git tag --sort=-creatordate | grep "$APP_NAME" | sed -n 2p)

echo "[Webhook Trigger] Detected incident. Reverting $APP_NAME to $PREV_VERSION"

git checkout $PREV_VERSION
git push origin HEAD:main

curl -X POST https://argocd.local/api/sync/$APP_NAME

→ 복구에 ‘사람’이 개입하지 않아도 Git 기준으로 완전 자동 롤백이 실행됩니다.

⸻

✅ 성공 조건 및 체크리스트

항목 설명
GitOps 기반 배포 구조 Argo CD 또는 FluxCD 활용
Alertmanager Webhook 연동 curl 또는 Lambda 등 가능
자동화된 git revert 스크립트 tag 또는 hash 기준 롤백 지원
Slack / MS Teams 연동 운영자 실시간 상황 공유 필수
서비스 Mesh 연동 시 Traffic Shift 가능 여부 Istio 사용 시 Canary Traffic 롤백 지원


⸻

🧠 실리콘밸리 실전 사례
• Netflix: Spinnaker + Prometheus 기반 자동 rollback 및 카나리 트래픽 제한 조치
• DoorDash: SLA 기반 에러율 초과 시 GitOps 기반 rollback 자동 트리거링
• Coupang: Retry Failure Rate 기반, 서비스 단위 auto sync rollback 구현

⸻

🔚 결론

장애 감지는 누구나 합니다.
장애 대응을 자동화하는 조직만이 ‘진짜’ 무중단 아키텍처를 구축합니다.

GitOps, Prometheus, Alertmanager, Webhook, Slack을 연결해
사람이 없을 때도 ‘스스로 회복하는 인프라’를 구축하세요.