Workflow: Production Incident

Workflow: Production Incident

Sev1/Sev2 incident'ında multi-agent koordinasyon.

Roller

• Lead: incident-commander — koordineyi sahiplenir; kararları kayda alır.
• IC desteği (paralel):
  • deployment-strategist — son deploy <15dk? rollback?
  • devops-debugger — runtime arıza (CrashLoop, OOM, 5xx, throttle)
  • performance-profiler — saturation, hot span, bottleneck
  • database-optimizer — DB lock, slow query, replica lag
  • observability-engineer — sinyal kalitesi, dashboard
  • security-reviewer — security incident ise blast radius
  • websocket-protocol-auditor — WS ilgili ise
• Post: runbook-author + release-manager — runbook update + postmortem

Akış

T+0   incident-commander triage başlat
       ├─► severity, scope, impact
       ├─► comms hattı (status page, internal)
       └─► deployment-strategist: son deploy < 15dk? -> rollback öner

T+5   paralel teşhis
       ├─► devops-debugger      (pod state, OOM, throttle, ingress)
       ├─► performance-profiler (saturation, hot span)
       ├─► database-optimizer   (pg_locks, slow query, lag)
       └─► observability-engineer (sinyal kapsamı)

T+15  mitigate karar
       ├─► rollback (deploy <15dk)
       ├─► scale up (saturation)
       ├─► feature flag OFF (yeni feature ilgili)
       └─► circuit breaker (3rd party)

T+30  stabilize
       ├─► metric yeşilleniyor mu doğrulama
       ├─► customer comms güncelleme
       └─► incident commander: closure check

T+24h postmortem
       ├─► runbook-author       (runbook update)
       ├─► release-manager      (release notes / hotfix)
       ├─► observability-engineer (alert/SLO revize)
       └─► action item issue'ları

Karar Çatışması

incident-commander karar verir. Bağımsız bulgular çatışırsa: en güvenilir kanıt + en geri-alınabilir aksiyon önce.

Kayıt

incident-commander her kararı timestamp + gerekçe + kanıtla yazar. Postmortem bu log'dan üretilir.

Yazıcı Komut Politikası

Prod context'te yazıcı komut (rollback, scale, kill pod) incident-commander onayı + kullanıcı onayı ile. --no-verify / --force yasak.

Çıktı (Postmortem Şablonu)

# Postmortem: <title> (Sev<N>)

## Özet
- başlangıç / bitiş / süre / etki

## Timeline
- T+0  ...
- T+5  ...

## Kök Neden
- contributing factors (blameless)

## Mitigasyon
- ne uygulandı, ne sürdü

## Tetikleyici Yok Ettik mi?
- evet/hayır + açıklama

## Action Items
- [ ] alert iyileştirme (@observability-engineer)
- [ ] runbook update (@runbook-author)
- [ ] regression test (@regression-test-runner)
- [ ] architecture revisit (@architecture-reviewer)

## Lessons
- ...