Cronjobs überwachen: stille Ausfälle per Heartbeat erkennen
Kurz gesagt
Cronjobs fallen still aus, weil Cron Fehler nur per lokaler Mail meldet, die auf den meisten Servern nie ankommt – und weil ein Job, der gar nicht startet, auch nichts melden kann. Zuverlässig ist nur der umgekehrte Weg: Der Job meldet sich nach erfolgreichem Lauf bei einer geheimen Adresse, und die Überwachung schlägt Alarm, wenn die Meldung ausbleibt. Dafür genügt ein curl-Befehl am Ende des Jobs.
Cronjobs fallen still aus, weil Cron Ihnen gar nicht richtig Bescheid geben kann. Es verschickt die Ausgabe eines Jobs als lokale Mail – und die kommt auf den meisten Servern nirgends an. Ein Job, der nie startet, erzeugt nicht einmal eine Ausgabe. Verlässlich wird es erst, wenn Sie die Logik umdrehen: Der Job meldet sich nach jedem erfolgreichen Lauf, und eine Überwachung alarmiert, sobald diese Meldung überfällig ist. Das Prinzip heißt Heartbeat oder Totmannschalter und kostet einen einzigen curl-Befehl.
Warum fallen Cronjobs unbemerkt aus?
Ein Job kann auf drei Arten scheitern, und die übliche Fehlerbehandlung deckt nur eine davon ab.
Der Job läuft und schlägt fehl. Das Skript endet mit einem Fehler. Cron sammelt die Ausgabe und versucht, sie an den Besitzer der Crontab oder die Adresse in MAILTO zu schicken. Ohne eingerichteten Mailversand wird sie verworfen oder landet in einem lokalen Postfach, das niemand liest.
Der Job startet gar nicht. Keine Ausgabe, keine Mail, keine Zeile im Protokoll der Anwendung. Häufige Gründe:
- Der Cron-Dienst läuft nicht, oder der Server war zum geplanten Zeitpunkt aus.
- Die Crontab wurde bei einem Deployment oder Serverumzug überschrieben.
- Der Pfad des Skripts oder seine Rechte haben sich geändert.
- Der Job funktioniert in Ihrer Shell, aber nicht unter Cron – dort gibt es nur eine minimale Umgebung und einen kurzen
PATH. - Ein Prozentzeichen in der Crontab-Zeile. Cron behandelt ein
%ohne Backslash als Zeilenumbruch, was Befehle wiedate +%Fzerlegt. Richtig ist\%.
Der Job startet und wird nie fertig. Er wartet auf eine Sperre, ein Netzlaufwerk oder einen entfernten Server. Der nächste Lauf staut sich dahinter.
Eine Prüfung nach dem Muster „melde dich, wenn ein Fehler auftritt“ erwischt nur den ersten Fall. Die beiden anderen sind das Ausbleiben eines Ereignisses – und ein Ausbleiben lässt sich nur von außen feststellen.
Wie prüfe ich, ob ein Cronjob gelaufen ist?
Für einen schnellen Blick: Cron protokolliert jeden Start. Unter Debian und Ubuntu:
journalctl -u cron --since today | grep CMDNov 18 02:30:01 web-01 CRON[41822]: (root) CMD (/usr/local/bin/backup.sh)Auf Systemen mit rsyslog stehen dieselben Zeilen in /var/log/syslog. In der RHEL-Familie heißt der Dienst crond und schreibt nach /var/log/cron. Für systemd-Timer:
systemctl list-timers
systemctl status backup.serviceBeachten Sie, was dieses Protokoll beweist: Der Job wurde gestartet. Ob er erfolgreich war, steht dort nicht. Und Protokolle von Hand zu lesen taugt für die Fehlersuche, nicht als Überwachung.
Wie funktioniert das Heartbeat-Prinzip?
Sie legen in einem Überwachungsdienst eine Prüfung an und nennen ihr den Zeitplan, etwa „meldet sich alle 24 Stunden, eine Stunde Kulanz“. Der Dienst gibt Ihnen eine geheime Adresse. Der Job ruft diese Adresse auf, wenn er erfolgreich fertig ist. Solange die Aufrufe pünktlich eintreffen, passiert nichts. Bleibt ein Aufruf aus, eröffnet der Dienst eine Störung und benachrichtigt Sie.
Damit sind alle drei Fälle mit demselben Mechanismus abgedeckt. Ein fehlgeschlagener Job ruft nicht auf. Ein nie gestarteter Job ruft nicht auf. Ein hängender Job ruft nicht rechtzeitig auf. Auch Ursachen außerhalb des Skripts fallen auf: ein gestoppter Cron-Dienst, ein ausgeschalteter Server, eine geänderte Firewall.
Wie sieht der curl-Aufruf aus?
Die Beispiele verwenden eine Platzhalter-Adresse. Die echte bekommen Sie von Ihrem Überwachungsdienst.
In der Crontab verketten Sie den Aufruf mit &&. So läuft er nur, wenn der Job mit Exit-Code 0 endet:
30 2 * * * /usr/local/bin/backup.sh && curl -fsS -m 10 --retry 5 -o /dev/null https://monitoring.example/ping/IHR-TOKENDie Optionen sind mit Bedacht gewählt:
-flässt curl bei einem HTTP-Status ab 400 mit Fehler enden, statt eine Fehlerseite als Erfolg zu werten.-sSunterdrückt die Fortschrittsanzeige, zeigt Fehler aber weiterhin an.-m 10begrenzt den gesamten Aufruf auf zehn Sekunden – ein Netzproblem kann den Job so nicht aufhängen.--retry 5wiederholt den Aufruf bei vorübergehenden Fehlern.-o /dev/nullverwirft den Inhalt der Antwort.
In einem Skript steht der Aufruf ganz am Ende, und das Skript muss beim ersten Fehler abbrechen:
#!/bin/bash
set -euo pipefail
mysqldump --single-transaction shop | gzip > /var/backups/db/shop-$(date +%F).sql.gz
rsync -a /var/backups/db/ backup-host:/srv/backups/web-01/
curl -fsS -m 10 --retry 5 -o /dev/null https://monitoring.example/ping/IHR-TOKENset -e beendet das Skript, sobald ein Befehl scheitert, und pipefail lässt eine Pipeline scheitern, wenn irgendein Teil davon scheitert. Ohne pipefail gilt ein fehlgeschlagenes mysqldump, dessen Ausgabe in gzip läuft, als Erfolg – und der Heartbeat meldet ein Backup, das aus einer leeren Datei besteht.
Bei einem systemd-Timer gehört der Aufruf in die Service-Unit:
[Service]
Type=oneshot
ExecStart=/usr/local/bin/backup.sh
ExecStartPost=/usr/bin/curl -fsS -m 10 --retry 5 -o /dev/null https://monitoring.example/ping/IHR-TOKENsystemd führt ExecStartPost nur aus, nachdem ExecStart erfolgreich beendet wurde.
Viele Heartbeat-Dienste nehmen zusätzlich ein Startsignal und ein ausdrückliches Fehlersignal an. Mit dem Startsignal kann der Dienst die Laufzeit messen und bemerkt Jobs, die begonnen haben, aber nie fertig wurden. Mit dem Fehlersignal erfahren Sie von einem Fehlschlag sofort und nicht erst nach Ablauf der Kulanzzeit.
Wie wähle ich Takt und Kulanzzeit?
Der Takt entspricht dem Zeitplan des Jobs. Die Kulanzzeit legt fest, wie spät die Meldung kommen darf, bevor sie als verpasst gilt. Sie muss die Laufzeit des Jobs und deren übliche Schwankung abdecken.
| Job | Takt | Übliche Kulanz |
|---|---|---|
| Prüfung der Warteschlange alle 5 Minuten | 5 Minuten | 5 Minuten |
| Stündlicher Import | 1 Stunde | 15 Minuten |
| Nächtliches Backup, läuft 20 bis 40 Minuten | 1 Tag | 1 Stunde |
| Wöchentlicher Bericht | 7 Tage | einige Stunden |
Eine zu kurze Kulanzzeit erzeugt Fehlalarme und bringt allen bei, die Prüfung zu ignorieren. Ist sie zu lang, erfahren Sie erst einen Tag später vom ausgefallenen Backup. Beginnen Sie großzügig, beobachten Sie zwei Wochen lang die echten Laufzeiten und ziehen Sie dann an.
Häufige Fehler
- Eine eigene Crontab-Zeile für den Ping. Eine Zeile, die um 03:00 Uhr pingt, während das Backup um 02:30 Uhr läuft, beweist, dass Cron funktioniert – nicht, dass das Backup geklappt hat. Der Ping muss vom Exit-Code des Jobs abhängen.
- Semikolon statt
&&. Mit;wird der Ping auch nach einem Fehlschlag gesendet. - Nur am Anfang pingen. Das meldet „gestartet“, nicht „fertig“.
- Kein Zeitlimit für curl. Ohne
-mkann ein nicht erreichbarer Überwachungsdienst den Job blockieren. - Die Adresse wie eine öffentliche behandeln. Wer sie kennt, kann Erfolg melden. Sie gehört nicht in öffentliche Repositories oder Tickets.
- Den Lauf prüfen, aber nicht das Ergebnis. Ein Heartbeat sagt: Das Skript endete mit 0. Ob die Backup-Datei vollständig und wiederherstellbar ist, ist eine zweite Frage.
- Überlappende Läufe. Kann ein Job länger dauern als sein Takt, verhindert der Start über
flock -n /run/lock/jobname.lock /usr/local/bin/job.sh, dass sich Läufe stapeln.
Einen Heartbeat verdienen nicht nur Backups. Die Erneuerung von Zertifikaten ist ein Klassiker: Fällt der zuständige Timer aus, passiert wochenlang nichts, und dann zeigt die Website eine Browserwarnung. Mehr dazu im Artikel SSL-Zertifikat: Ablauf überwachen. Auch Logrotation und Aufräumjobs gehören dazu – ein Aufräumjob, der leise stehen bleibt, ist eine häufige Ursache für eine volle Festplatte.
Checkliste
- Alle geplanten Jobs auflisten:
crontab -lfür jeden Benutzer,/etc/cron.d/,systemctl list-timers. - Die Jobs markieren, deren Ausfall wehtut: Backups, Erneuerungen, Importe, Rechnungsläufe, Aufräumarbeiten.
- Je Job eine Heartbeat-Prüfung mit Takt und Kulanzzeit anlegen.
- Den curl-Aufruf mit
&&oder alsExecStartPosteinbauen, in Skriptenset -euo pipefailverwenden. - Den Alarm testen: Job für einen Durchlauf auskommentieren und prüfen, ob die Benachrichtigung ankommt.
- Festlegen, wer wann benachrichtigt wird, damit ein verpasster Nachtjob niemanden unnötig weckt. Siehe Alarmmüdigkeit, Ruhezeiten und Eskalation.
Wie Lynx Heartbeat dabei hilft
Lynx Heartbeat bringt Heartbeat-Monitore für genau dieses Prinzip mit. Jeder Monitor hat eine geheime Ping-Adresse und einen Zeitplan – als Takt oder als Cron-Ausdruck – samt Kulanzzeit; bleibt die Meldung aus, eröffnet der Monitor eine Störung und benachrichtigt Sie über dieselben Wege wie jede andere Prüfung. Neben dem einfachen Erfolgs-Ping kann ein Job seinen Start melden, indem er /start an die Adresse anhängt, einen Fehlschlag mit /fail oder schlicht seinen Exit-Code: 0 gilt als Erfolg, alles andere als Fehlschlag. Auf der Seite des Monitors stehen fertige Beispiele für Crontab, Shell-Skript und systemd-Unit mit Ihrer echten Adresse. Die übrigen Prüfarten finden Sie auf der Seite Funktionen.
Häufige Fragen
Warum hat niemand bemerkt, dass mein Cronjob nicht mehr läuft?
Cron meldet Probleme nur, indem es die Ausgabe eines Jobs als lokale Mail verschickt. Auf den meisten Servern ist dafür kein Mailversand eingerichtet, die Nachricht geht verloren. Startet der Job gar nicht erst – weil der Cron-Dienst steht oder die Crontab überschrieben wurde –, gibt es überhaupt keine Ausgabe.
Was ist ein Heartbeat oder Totmannschalter für Cronjobs?
Der Job meldet sich nach jedem erfolgreichen Lauf, indem er eine geheime Adresse aufruft. Die Überwachung kennt den Zeitplan und schlägt Alarm, wenn der Aufruf nicht innerhalb des erwarteten Abstands plus einer Kulanzzeit eintrifft. So fallen fehlgeschlagene, hängende und nie gestartete Jobs gleichermaßen auf.
Wie baue ich einen Heartbeat in einen bestehenden Cronjob ein?
Hängen Sie an die Crontab-Zeile mit zwei Und-Zeichen einen curl-Aufruf an, zum Beispiel: backup.sh && curl -fsS -m 10 --retry 5 -o /dev/null und dahinter die Ping-Adresse. Der Aufruf erfolgt nur, wenn der Job mit Exit-Code 0 endet.
Wie lang sollte die Kulanzzeit sein?
Lang genug für die üblichen Schwankungen der Laufzeit, kurz genug, damit Sie rechtzeitig von einem Ausfall erfahren. Für ein nächtliches Backup, das 20 bis 40 Minuten braucht, ist eine Stunde ein guter Anfang. Beobachten Sie die Laufzeiten ein bis zwei Wochen und passen Sie den Wert an.
Funktioniert das auch mit systemd-Timern?
Ja. Tragen Sie den curl-Aufruf als ExecStartPost in die Service-Unit ein. systemd führt ihn nur aus, wenn der eigentliche Befehl erfolgreich war. Alternativ meldet eine OnFailure-Unit Fehlschläge aktiv.