#17 Was können wir beim Incident Management von der Feuerwehr lernen?

Was haben die Methoden der Feuerwehr zur Bekämpfung von
Großschadensereignissen mit dem Incident Management von
IT-Systemen gemeinsam? 


Diese Frage klären wir in der folgenden Episode. Wolfgang, als
Mitglied der freiwilligen Feuerwehr, gibt einen Einblick in das
Prozedere, wenn die Feuerwehr ausrückt. Andy vergleicht dies mit
dem Incident Management von Cloud-Systemen. Wir klären wie man
den Schaden eines Incidents misst, was dies mit dem Vertrauen von
Kunden zu tun hat, wie ordentliche Prävention aussehen kann und
warum es dafür wenig Ruhm gibt, was man unter War- und Peacetime
versteht, wie ein moderner “Schreiberling” aussieht, wie dreist
Presseleute sein können und was eine kleine Konferenz in
Kalifornien damit zu tun hat.


Bonus: Was Gartenschläuche und Stahl-Hochöfen damit zu tun haben
und wieso Kaffee holen doch eine Strategie sein kann.





Feedback an stehtisch@engineeringkiosk.dev oder via Twitter an
https://twitter.com/EngKiosk





Unsere aktuellen Werbepartner findest du auf
https://engineeringkiosk.dev/partners


 
Links

Datenverlust bei 1.500 Snapshots von Hetzner Cloud:
https://www.golem.de/news/trotz-redundanz-datenverlust-bei-1-500-snapshots-von-hetzner-cloud-2204-164628.html

Ceph Storage: https://ceph.io/

Inside the Longest Atlassian Outage of All Time:
https://newsletter.pragmaticengineer.com/p/scoop-atlassian

Atlassian stoppt den Verkauf von On-Premise Lizenzen:
https://www.atlassian.com/migration/assess/journey-to-cloud

auditd: https://linux.die.net/man/8/auditd

rsyslog: https://www.rsyslog.com/

Incident.io: https://incident.io/

5-Why-Methode: https://de.wikipedia.org/wiki/5-Why-Methode

Postmortem “Roblox Return to Service 10/28-10/31 2021”:
https://blog.roblox.com/2022/01/roblox-return-to-service-10-28-10-31-2021/

Postmortem “The Discovery of Apache ZooKeeper’s Poison
Packet”:
https://www.pagerduty.com/blog/the-discovery-of-apache-zookeepers-poison-packet/

Postmortem “etcd: v3.5 data inconsistency”:
https://github.com/etcd-io/etcd/blob/main/Documentation/postmortems/v3.5-data-inconsistency.md

Postmortem: “Gocardless: Incident review: API and Dashboard
outage on 10 October 2017”:
https://gocardless.com/blog/incident-review-api-and-dashboard-outage-on-10th-october/

Postmortem: “Monzo,Outage, 29. July 2019”:
https://monzo.com/blog/2019/09/08/why-monzo-wasnt-working-on-july-29th

Sammlung von verschiedenen Postmortems:
https://github.com/danluu/post-mortems

OpsGenie: https://www.atlassian.com/de/software/opsgenie

PagerDuty: https://www.pagerduty.com/

Buch “Incident Management for Operations”:
https://www.amazon.de/Incident-Management-Operations-Rob-Schnepp/dp/1491917628


Sprungmarken

(00:00:00) Intro


(00:01:21) Wie viel Feuerwehr-Leute gibt es in Deutschland?


(00:02:58) Was ist Incident Management im
DevOps/Infrastruktur-Bereich


(00:07:33) Firmen-Interne Incidents können ebenfalls richtig
teuer werden


(00:09:14) Wie wichtig ist Prävention und Monitoring?


(00:10:26) Wie agiert ein Unternehmen bei einem IT-Incident?
Chaotische Hilfe


(00:12:33) Inwieweit kann ein IT-Incident mit einem
Großschadensereignis verglichen werden?


(00:14:14) Was ist ein Großschadensereignis?


(00:15:57) Wie bekommen denn alle mit, dass ein Incident gerade
eintritt? Und welche Strukturen sind notwendig?


(00:17:43) Wer übernimmt die Rolle des (Incident) Commanders?


(00:19:21) Was beinhaltet denn die Übernahme eines Incidents?


(00:21:23) Vergleich von der Übernahme eines Incidents zwischen
der Feuerwehr und einem IT-System


(00:23:43) Strategie der Feuerwehr bei Incidents und Hierarchien


(00:26:14) Ist der Einsatzleiter ein aktiver Teil des Incidents?
Und welche Rollen gibt es noch?


(00:30:09) Kommunikationsstrukturen in IT-Incidents


(00:33:01) Der aktuelle Atlassian-Incident


(00:34:44) Die Rollen von Logistik und Administration in der
Feuerwehr und in der IT


(00:37:16) (Essens)-Logistik bei Remote-Incidents


(00:40:19) War-Rooms: Anti-Pattern oder Must-Have + Pro-Aktive
Kommunikation


(00:43:26) War- und Peace-Time


(00:44:19) Incident Commander, Rollen und Rollen-Rotation im
IT-Bereich


(00:45:53) Die Rolle des Protokollführers / Schreiberlings


(00:50:46) Post Mortems und Nachbesprechungen: Warum machen die
Sinn?


(00:54:21) Vorbereitungen, Prävention und Training in der
Friedenszeit


(00:57:51) Lernen aus Incidents und die Post Mortem-Struktur


(01:00:09) Employer Branding mit Post Mortems


(01:01:45) Happy-Path in Post Mortems


(01:02:35) Nachbesprechung bei der Feuerwehr und Post Mortem
Conferences


(01:06:45) Web-Ops / Fire-Ops-Conference


(01:09:40) Outro

Hosts

Wolfgang Gassler (https://twitter.com/schafele)

Andy Grunwald (https://twitter.com/andygrunwald)






Engineering Kiosk Podcast: Anfragen an
stehtisch@engineeringkiosk.dev oder via Twitter an
https://twitter.com/EngKiosk