Wenn der Alarm im Postfach hängen bleibt: Was der Chlor-Unfall in Brühl über Servicekontinuität lehrt
Am Freitag, dem 13. November, ist Microsoft 365 für mehrere Stunden weltweit ausgefallen, und die meisten von uns haben sich kurz darüber geärgert, dass Outlook nicht wollte, und dann eben etwas anderes gemacht oder einen Tick früher Feierabend. Im Hotelschwimmbad des Phantasialands in Brühl ist an diesem Tag allerdings etwas ganz anderes passiert: Das automatische Dosiersystem hat zu viel Chlor ins Becken gepumpt, das Wartungssicherheitssystem hat das auch ordnungsgemäß gemeldet, nämlich per E-Mail, und genau diese E-Mails sind wegen der Störung nie angekommen. So berichtet es der WDR unter Berufung auf das Unternehmen. Laut dpa wurden 15 Menschen verletzt, vier davon kamen ins Krankenhaus.
Mir geht es hier um das Muster und nicht um die Frage, wer in Brühl was hätte anders machen müssen, denn ich bin mir ziemlich sicher, dass genau dieses Muster in sehr vielen Unternehmen schlummert. Dort ist es nur noch nicht aufgefallen, weil der eine Kanal bisher immer funktioniert hat, und das ist ja gerade das Tückische daran.
Eine E-Mail ist ein Briefkasten, keine Sirene
E-Mail ist ein wunderbares Werkzeug für alles, was ein paar Stunden warten kann, und ein ziemlich unzuverlässiges für alles, was nicht warten kann. Eine Mail kann im Spamfilter landen, in einem Postfach, das am Freitagnachmittag niemand mehr öffnet, bei einer Kollegin, die gerade im Urlaub ist, oder eben gar nicht erst ankommen, weil der Dienst dahinter steht. Und das ist kein Jahrhundertereignis: Microsoft 365 hatte allein in diesem Jahr mehrere stundenlange Ausfälle, Anfang Juni, Ende August und jetzt im November.
Trotzdem hängen erstaunlich viele Alarme genau dort, weil es bei der Inbetriebnahme der einfachste Weg war, eine Adresse einzutragen, und weil danach niemand mehr gefragt hat, was eigentlich passiert, wenn diese Adresse einmal nichts empfängt.
Ein Alarm, der nur über einen Kanal läuft, ist kein Alarm, sondern eine Hoffnung, und zwar die Hoffnung, dass dieser Kanal funktioniert, wenn es darauf ankommt.
Wer merkt es, wenn nichts passiert?
In meinen Audits stelle ich gern eine Frage, die erstaunlich selten jemand auf Anhieb beantworten kann: Wer merkt es eigentlich, wenn nichts passiert? Wenn keine Meldung kommt, kein Ticket, keine Mail, wer stutzt dann und fragt nach, ob wirklich alles in Ordnung ist oder ob nur die Leitung tot ist?
Ruhe ist nämlich auch ein Signal, nur eben eines, das man bewusst einplanen muss. Ein System, das regelmäßig ein Lebenszeichen schickt, und eine Stelle, die stutzig wird, wenn dieses Lebenszeichen ausbleibt, kosten wenig und hätten an einem Freitag wie diesem einen großen Unterschied gemacht. Dazu ein zweiter Alarmweg, der nicht an derselben Cloud hängt wie der erste, also eine SMS, ein Anruf, eine Leuchte im Technikraum, irgendetwas, das nicht ausgerechnet dann schweigt, wenn das Postfach schweigt.
Vom Ende her gedacht: Woran ein Alarm alles hängt
Spannend wird es, wenn man den Alarm einmal Ende zu Ende betrachtet, also nicht nur das eine Gerät, sondern die ganze Kette, die zwischen dem Messwert im Becken und dem Menschen liegt, der etwas tun soll. In einem Fall wie diesem gehören dazu typischerweise der Sensor, die Steuerung mit dem Dosiersystem, das System, das den Alarm erzeugt, das Netzwerk, ein Mailserver oder eben ein Cloud-Dienst wie Microsoft 365, ein Postfach, eine Person, die dieses Postfach liest, und am Ende jemand, der weiß, was zu tun ist, und es auch darf. Jedes einzelne Glied kann ausfallen, und das Tückische ist, dass die meisten davon gar nicht im Blick derer liegen, die die Anlage betreuen.
Genau dafür gibt es Monitoring, und zwar eines, das nicht nur fragt, ob ein Gerät antwortet, sondern ob der Ablauf funktioniert, den man eigentlich erwartet: Kommt der Alarm wirklich bei einem Menschen an, und reagiert dieser Mensch? Ein Gerät, das auf eine technische Abfrage antwortet, ist noch lange kein funktionierender Service. Mehr dazu steht in unserem Artikel Service Ende zu Ende.
Wer so eine Kette einmal aufzeichnet, landet ziemlich schnell bei der Frage, mit der im Business Continuity Management jede Business-Impact-Analyse beginnt: Welche Prozesse sind besonders kritisch, und was passiert, wenn sie ausfallen? Bewertet wird dabei nicht nur der Umsatz, sondern die ganze Bandbreite an Folgen:
| Auswirkung | Die Frage dahinter |
|---|---|
| Gefahr für Leib und Leben | Kann ein Ausfall Menschen verletzen, Kunden, Gäste oder Mitarbeitende? |
| Betrieb und Verfügbarkeit | Wie lange darf der Prozess stehen, bevor es ernst wird? |
| Finanzieller Schaden | Was kostet jede Stunde Ausfall, an Ware, Umsatz oder Vertragsstrafen? |
| Informationsverlust | Gehen Messwerte, Protokolle oder Kundendaten verloren? |
| Rechtliche Folgen | Drohen Haftung, Meldepflichten oder Auflagen? |
| Vertrauen und Ruf | Wie erfahren Kunden und Öffentlichkeit davon, und von wem? |
Ein Chlor-Alarm in einem Schwimmbad landet in dieser Tabelle gleich in der ersten Zeile, und spätestens dann ist klar, dass eine einzelne E-Mail-Adresse als Alarmweg nicht die richtige Antwort sein kann. Die Business-Impact-Analyse sorgt dafür, dass man diese Prozesse kennt, bevor sie ausfallen, und nicht erst hinterher aus der Zeitung.
Warum das eine Servicefrage ist
Man könnte jetzt sagen, das ist ein Thema für die IT, und damit wäre es elegant weggeschoben. Ich sehe das anders, denn eingerichtet werden solche Anlagen meist vom Hersteller oder vom Wartungsdienstleister, also vom technischen Service, und genau dort fällt die Entscheidung, wohin ein Alarm geht und was passiert, wenn niemand reagiert. Der Service ist oft auch die einzige Stelle, die beim Kunden die richtigen Fragen stellen kann, weil er die Anlage kennt und regelmäßig vor Ort ist.
Dass es dabei nicht nur um E-Mails geht, zeigen die Angriffe auf Kühlgeräte in Supermärkten, über die der Guardian Anfang November berichtet hat: Erst in Frankreich, dann in mindestens sieben weiteren europäischen Ländern wurden die Steuerungen aus der Ferne übernommen und die Temperaturen hochgedreht. Laut dem Bericht hatte der Hersteller der betroffenen Steuerungen Sicherheitslücken schon im Vorjahr erkannt und seinen Kunden seit Langem Updates empfohlen. Empfohlen ist eben noch nicht eingespielt, und die Frage, wer das beim Kunden eigentlich tut, steht in den wenigsten Serviceverträgen.
Fünf Fragen für Montagmorgen
Wer jetzt für den eigenen Service oder für die eigenen Kunden einmal durchgehen möchte, wie es um die Alarmwege steht, fängt am besten bei den Prozessen an, die in der Tabelle oben ganz weit oben landen, und stellt dort diese fünf Fragen:
Über welche Wege kommt der Alarm?
Und gibt es einen zweiten Weg, der nicht an derselben Cloud oder demselben Postfach hängt?
Wer empfängt ihn?
Auch nachts, am Wochenende und im Urlaub, mit einer benannten Vertretung statt einer Sammeladresse.
Wird Ende zu Ende überwacht?
Ein Monitoring, das prüft, ob der Alarm bei einem Menschen ankommt, und eine Stelle, die stutzig wird, wenn ein erwartetes Lebenszeichen ausbleibt.
Wurde der Alarmweg schon einmal getestet?
Und zwar ohne E-Mail, so wie am 13. November.
Wer kümmert sich um Updates und Fernzugriffe?
Hersteller, Betreiber oder Dienstleister, und steht das so auch im Servicevertrag?
Was ich daraus mitnehme
Ich beschäftige mich seit diesem Sommer auch als Business-Continuity-Beauftragte mit solchen Fragen, und je länger ich das tue, desto klarer wird mir, dass Kontinuität selten an der Technik scheitert und sehr oft an der Frage, wer zuständig ist, wenn die Technik etwas meldet oder eben nicht meldet. Genau deshalb nehmen wir diese Fragen ab sofort in unsere Service Audits mit, für den technischen Service genauso wie für IT-Abteilungen, und zwar in der Reihenfolge, die sich bewährt hat: erst klären, welche Prozesse kritisch sind, dann die Kette Ende zu Ende anschauen und erst danach über Technik reden.
Sie möchten wissen, wie belastbar die Alarm- und Informationswege in Ihrem Service sind, bevor es ein Freitag wie dieser für Sie herausfindet?
Mehr zum Service AuditWeiterlesen
Service Ende zu Ende
Warum ein Gerät, das antwortet, noch lange kein funktionierender Service ist.
Zum Artikel →Souverän durch die Störung
Wer bei einer großen Störung die Fäden zusammenhält: der Incident Commander.
Zum Beitrag →Wenn die Störung beim Kunden beginnt
Incident Management für Hersteller, deren Anlagen und Anwendungen beim Kunden laufen.
Zum Beitrag →