Alarmmüdigkeit vermeiden: Ruhezeiten und Eskalation
Kurz gesagt
Alarmmüdigkeit entsteht, wenn die meisten Benachrichtigungen keine Handlung verlangen und deshalb auch die wichtige übersehen wird. Die Lösung sind nicht weniger Prüfungen, sondern strengere Regeln dafür, was einen Menschen erreichen darf: Fehler erst bestätigen, zusammengehörige Fehler zu einem Vorfall bündeln, eine Entwarnung senden, Unkritisches aus der Nacht heraushalten, Unbeantwortetes eskalieren und auf Folgen statt auf rohe Messwerte alarmieren.
Alarmmüdigkeit entsteht, wenn die meisten Benachrichtigungen Ihres Monitorings keine Handlung verlangen. Dann liest sie niemand mehr, und die eine, auf die es ankommt, geht unter. Die Lösung ist nicht, weniger zu überwachen. Entscheidend ist, streng festzulegen, was einen Menschen unterbrechen darf: einen Fehler erst bestätigen, zusammengehörige Fehler zu einem Vorfall machen, immer eine Entwarnung senden, Unkritisches aus der Nacht heraushalten, Unbeantwortetes eskalieren und auf Folgen statt auf rohe Messwerte alarmieren. Dieser Artikel geht die sechs Regeln mit Beispielen durch.
Woher kommt der Lärm?
Zählen Sie die Benachrichtigungen einer gewöhnlichen Woche und sortieren Sie sie auf drei Stapel: sofort gehandelt, irgendwann gehandelt, nichts getan. In den meisten Umgebungen ist der dritte Stapel mit Abstand der größte. Darauf liegen typischerweise:
- Ausschläge. CPU eine Minute lang bei 95 % während der Sicherung, eine langsame Antwort während eines Deployments.
- Echos. Ein Server fällt aus, und jede Prüfung darauf meldet sich einzeln: Ping, HTTP, Datenbank, drei Websites, der Heartbeat des Cronjobs.
- Flattern. Ein Wert direkt an der Schwelle überschreitet sie immer wieder und meldet alle paar Minuten „Störung“ und „behoben“.
- Bekannte Zustände. Geplante Wartung, ein Testserver, der immer fast voll ist, ein Job, der jeden Sonntag scheitert und von dem alle wissen.
- Meldungen ohne Aussage. „Load liegt bei 4,2“ sagt nichts, solange man die Zahl der Kerne nicht kennt und nicht weiß, ob jemand betroffen war; siehe Load Average unter Linux verstehen.
Für jede dieser Quellen gibt es ein passendes Mittel.
Regel 1: Erst bestätigen, dann alarmieren (Entprellen)
Eine einzelne fehlgeschlagene Messung ist ein Messwert, kein Vorfall. Entprellen heißt, dass eine Prüfung mehrmals in Folge scheitern muss, bevor jemand benachrichtigt wird:
12:00 ok
12:01 FEHLER (1 von 2) keine Benachrichtigung
12:02 ok Zähler zurückgesetzt, nichts passiert
12:07 FEHLER (1 von 2) keine Benachrichtigung
12:08 FEHLER (2 von 2) Vorfall eröffnet, eine BenachrichtigungBei Prüfungen im Minutentakt kosten zwei oder drei Fehler in Folge eine bis zwei Minuten Erkennungszeit und beseitigen die meisten Ausschläge. Bei Prüfungen von außen kommt eine zweite Dimension hinzu: die Bestätigung durch mehrere Standorte, beschrieben im Artikel Uptime-Monitoring von mehreren Standorten.
Dasselbe gilt in der Gegenrichtung. Schließen Sie den Vorfall erst, wenn die Prüfung mehrere Messungen hintereinander gesund war. Sonst erzeugt eine flatternde Prüfung einen Strom aus Alarmen und Entwarnungen. Wechselt eine Prüfung innerhalb kurzer Zeit ständig den Zustand, ist das ein einziger Vorfall „instabil“, nicht viele.
Regel 2: Ein Vorfall statt zwanzig Meldungen
Fällt ein Server aus, scheitert innerhalb derselben Minute alles, was von ihm abhängt. Zwanzig Benachrichtigungen enthalten die Information von einer. Gute Alarmierung fasst zusammen:
- Nach Ursache. Ist der Server selbst nicht erreichbar, sind die ausgefallenen Dienste darauf Folgen und gehören unter denselben Vorfall.
- Nach Abhängigkeit. Virtuelle Maschinen auf einem ausgefallenen Wirt, Websites hinter einer ausgefallenen Datenbank.
- Nach Zeit. Was auch gesendet wird: Eine Benachrichtigung je Vorfall und Stufe genügt. Wer dieselbe Meldung alle fünf Minuten wiederholt, bringt den Leuten bei, den Kanal stummzuschalten.
In der Benachrichtigung gehört die wahrscheinliche Ursache nach oben und die Folgen darunter – nicht umgekehrt.
Regel 3: Immer entwarnen
Ein Alarm ohne Entwarnung lässt eine Frage offen: Ist es noch kaputt? Jemand muss sich anmelden und nachsehen, auch um drei Uhr nachts. Eine Entwarnung mit dem Satz „behoben nach 4 Minuten“ beantwortet die Frage und sagt zugleich etwas über die Schwere. Ein Aussetzer von vier Minuten während eines Deployments und ein Ausfall von vier Stunden sind verschiedene Ereignisse und sollten im Postfach auch so zu erkennen sein.
Regel 4: Ruhezeiten für alles, was warten kann
Nicht jeder Befund ist es wert, jemanden zu wecken. Eine Platte, die in neun Tagen voll ist, ein Zertifikat mit zwölf Resttagen, ein ausstehendes Sicherheitsupdate: Das alles ist wichtig, und nichts davon ist um 03:00 Uhr dringend. Ruhezeiten halten solche Benachrichtigungen bis zum Morgen zurück.
Zwei Bedingungen machen Ruhezeiten sicher:
- Die Messung läuft weiter. Eine Ruhezeit darf die Meldung unterdrücken, niemals die Prüfung. Der Verlauf bleibt vollständig, und was am Ende des Fensters noch gestört ist, wird dann gemeldet.
- Dringendes nimmt einen anderen Weg. Legen Sie je Schweregrad oder je Kanal fest, was die Ruhe durchbrechen darf. Ein Shop, der nachts nicht erreichbar ist, ist etwas anderes als eine Warnung.
Geplante Wartung funktioniert genauso: ein Fenster ankündigen, die Alarme für die betroffenen Systeme währenddessen stummschalten und die Messung weiterlaufen lassen, damit sich hinterher nachvollziehen lässt, was geschehen ist.
Regel 5: Eskalieren, was niemand annimmt
Eine Benachrichtigung ist noch keine Reaktion. Telefone sind lautlos, Menschen sitzen im Zug, Nachrichten landen in einer Gruppe, in der jeder annimmt, ein anderer kümmere sich. Eskalation schließt diese Lücke mit einer einfachen Zeitregel:
| Stufe | Wann | Wer | Weg |
|---|---|---|---|
| 1 | sofort | Person in Bereitschaft | Push oder Messenger |
| 2 | nach einer festgelegten Zeit noch offen | zweite Person | Messenger und E-Mail |
| 3 | nach einer weiteren Frist noch offen | Teamleitung oder ganzes Team | alle Wege |
Die Fristen hängen davon ab, was ein Ausfall Sie kostet – zum Beispiel 15 Minuten bis Stufe 2 und 30 Minuten bis Stufe 3 als Ausgangswert, den Sie anpassen. Eskalation funktioniert nur zusammen mit Regel 1 und Regel 2. Wer Lärm eskaliert, macht ihn schlimmer.
Regel 6: Auf Folgen alarmieren, nicht auf Ursachen
Die wirksamste Änderung ist oft, Alarme zu löschen. Ein nützlicher Test für jede Regel: Was tut die Person, wenn dieser Alarm kommt? Lautet die ehrliche Antwort „nachsehen, Schultern zucken, schließen“, gehört der Wert in ein Diagramm, nicht in einen Alarm.
| Statt zu alarmieren auf | Alarmieren auf |
|---|---|
| CPU über 90 % | Antwortzeit, eine volle Warteschlange, dauerhaft hohe Last je Kern |
| Platte über 80 % | Platte bei aktuellem Wachstum in wenigen Tagen voll, oder über einer harten Grenze |
| Arbeitsspeicher über 85 % | stetig wachsender Swap, der OOM-Killer wird aktiv |
| ein Fehler im Protokoll | steigende Fehlerrate, eine neue Art von Fatal Error |
| die Mail-Ausgabe eines Cronjobs | der Job meldet innerhalb seines Zeitplans keinen Erfolg |
Die rechte Spalte beschreibt, was Nutzern schadet oder bald schaden wird. Die linke beschreibt Zustände, die häufig normal sind. Eine Platte bei 85 %, die seit einem Jahr bei 85 % steht, braucht keine Aufmerksamkeit; eine bei 60 %, die täglich um 5 % wächst, sehr wohl. Kommt der Plattenalarm dann doch, beschreibt der Artikel Festplatte voll unter Linux: Speicherfresser finden den nächsten Schritt.
Häufige Fehler
- Schwellen anheben, bis Ruhe ist. Das entfernt Lärm und echte Warnungen gleichermaßen. Korrigieren Sie die Regel, nicht die Zahl.
- Alles in einen Gruppenchat senden. Ohne Zuständigen gehört jede Meldung niemandem.
- Warnungen und kritische Alarme über denselben Weg mit demselben Ton senden.
- Ruhezeiten nutzen, die das Messen abschalten. Die Lücke in den Daten liegt genau dort, wo Sie später nachsehen wollen.
- Nie nachprüfen. Alarmregeln altern. Sehen Sie einmal im Monat nach, welche Alarme am häufigsten kamen und was daraufhin getan wurde.
- Alarme behalten, bei denen niemand handeln kann, etwa für Systeme, auf die der Empfänger keinen Zugriff hat.
Checkliste
- Die Benachrichtigungen der letzten Woche zählen und markieren, welche zu einer Handlung führten.
- Vor jeder Benachrichtigung mindestens zwei Fehler in Folge verlangen.
- Fehler desselben Servers zu einem Vorfall bündeln.
- Sicherstellen, dass auf jeden Alarm eine Entwarnung mit Dauer folgt.
- Ruhezeiten für Warnungen festlegen und entscheiden, was sie durchbrechen darf.
- Mindestens eine zweite Eskalationsstufe mit einer anderen Person einrichten.
- Schwellen auf Messwerte wo möglich durch Regeln auf Folgen ersetzen.
- Die häufigsten Alarme einmal im Monat durchsehen.
Wie Lynx Heartbeat dabei hilft
In Lynx Heartbeat sind diese Regeln eingebaut. Fehler werden entprellt, zusammengehörige Fehler eines Servers zu einem Vorfall mit der Ursache an erster Stelle gebündelt, flatternde Prüfungen erkannt, und die Entwarnung nennt die Dauer. Ruhezeiten und Wartungsfenster halten die Benachrichtigung zurück, während die Messung weiterläuft, und eine Eskalation in Stufen erreicht weitere Personen, wenn niemand reagiert. Vorhersagen wie „Festplatte voll in ≈ 9 Tagen“ für Platten, Inodes und Arbeitsspeicher decken die Alarmierung auf Folgen ab. Benachrichtigungswege und Optionen stehen auf der Funktionsseite.
Häufige Fragen
Was ist Alarmmüdigkeit?
Alarmmüdigkeit (englisch: Alert Fatigue) ist die Gewohnheit, Benachrichtigungen des Monitorings zu ignorieren, weil sich die meisten als unwichtig erwiesen haben. Gefährlich ist das, weil der eine wichtige Alarm dann genauso behandelt wird wie alle anderen.
Was bedeutet es, einen Alarm zu entprellen?
Entprellen heißt: Eine einzelne fehlgeschlagene Messung benachrichtigt niemanden. Erst wenn weitere Messungen in Folge den Fehler bestätigen, wird ein Vorfall eröffnet. Kurze Ausschläge, Neustarts und Deployments bleiben so still.
Soll das Monitoring während der Ruhezeit weitermessen?
Ja. Eine Ruhezeit sollte die Benachrichtigung zurückhalten, nicht die Messung. Die Prüfung läuft weiter und der Vorfall wird aufgezeichnet; was am Ende der Ruhezeit noch gestört ist, wird dann gemeldet.
Was ist eine Eskalation bei Alarmen?
Eskalation bedeutet, dass ein Alarm, auf den niemand reagiert, nach einer festgelegten Zeit erneut gesendet wird – an eine weitere Person oder über einen lauteren Weg. So geht ein Vorfall nicht verloren, weil jemand schläft, im Urlaub ist oder keinen Empfang hat.
Sollte ich auf CPU-Auslastung alarmieren?
Für sich allein meist nicht. Hohe CPU-Auslastung ist eine Ursache, die jemandem schaden kann oder auch nicht. Alarmieren Sie auf Folgen wie langsame Antworten, einen erschöpften Worker-Pool oder eine Platte, die in wenigen Tagen voll ist, und behalten Sie die CPU als Diagramm für die Diagnose.