Zum Inhalt springen

Load Average unter Linux verstehen: Ab wann ist er zu hoch?

Der Load Average ist die durchschnittliche Zahl der Prozesse, die laufen, auf eine CPU warten oder in nicht unterbrechbarem I/O hängen, gemittelt über 1, 5 und 15 Minuten. Aussagekräftig wird er erst geteilt durch die Zahl der CPU-Kerne: Liegt er dauerhaft über 1,0 je Kern, staut sich Arbeit. Unter Linux kann eine hohe Last auch von langsamen Platten oder Netzlaufwerken kommen, während die CPUs kaum etwas tun.

Der Load Average gibt an, wie viele Prozesse in den letzten 1, 5 und 15 Minuten im Schnitt laufen wollten. Ob ein Wert zu hoch ist, hängt von der Zahl der CPU-Kerne ab: Eine Last von 4,0 bedeutet auf vier Kernen eine voll ausgelastete Maschine, auf einem einzelnen Kern eine massiv überlastete. Als Faustregel gilt: Liegt die Last dauerhaft über 1,0 je Kern, wartet Arbeit. Unter Linux kommt eine Besonderheit hinzu: Prozesse, die auf Platten- oder Netzwerk-I/O warten, zählen mit. Eine hohe Last bedeutet deshalb nicht immer eine beschäftigte CPU.

Wo sehe ich den Load Average?

uptime
 21:11:22 up 3 days,  3:27,  1 user,  load average: 0.99, 0.25, 0.14

Dieselben drei Zahlen stehen in der Kopfzeile von top und stammen direkt vom Kernel:

cat /proc/loadavg
0.99 0.25 0.14 2/461 10988

Das vierte Feld nennt die gerade lauffähigen Ausführungseinheiten und ihre Gesamtzahl (2/461), das fünfte die zuletzt vergebene Prozessnummer.

Was bedeuten die drei Zahlen?

Es handelt sich um exponentiell geglättete gleitende Mittelwerte über etwa 1, 5 und 15 Minuten. Das sind keine einfachen Durchschnitte: Jüngere Aktivität zählt stärker, ältere klingt allmählich ab. Lesen Sie die drei Werte als Trend:

MusterBedeutung
1 min über 5 min über 15 minDie Last steigt, etwas hat vor Kurzem begonnen
1 min unter 5 min unter 15 minDie Last sinkt, die Spitze ist vorbei
alle drei etwa gleich und hochanhaltende Überlast, keine Spitze

Im Beispiel oben steht der 1-Minuten-Wert bei 0,99, der 15-Minuten-Wert bei 0,14: Gerade eben ist etwas angelaufen. Für Alarme ist der 15-Minuten-Wert das ruhigere Signal; der 1-Minuten-Wert springt bei jedem Cronjob.

Ab wann ist der Load Average für meinen Server zu hoch?

Ermitteln Sie die Zahl der logischen CPUs:

nproc
4

Dann teilen Sie. Eine Last von 3,2 auf vier Kernen entspricht 0,8 je Kern.

Last je KernEinordnung
unter 0,7Reserve für Spitzen vorhanden
um 1,0ausgelastet, keine Reserve
dauerhaft über 1,0Prozesse warten, Antwortzeiten steigen
ein Mehrfaches der Kernzahlschwere Überlast oder blockiertes I/O

Verstehen Sie diese Werte als Orientierung, nicht als Grenzwerte. Ein Server für Stapelverarbeitung darf den ganzen Tag bei 1,0 je Kern laufen und ist dabei völlig gesund; ein interaktiver Webserver fühlt sich schon deutlich früher träge an. Hyper-Threads zählen in nproc als CPUs, zwei Threads auf einem Kern leisten aber nicht das Doppelte. Auf solchen Maschinen beginnen die Probleme etwas früher, als die Zahl vermuten lässt. Bei virtuellen Servern lohnt außerdem ein Blick auf die Steal-Zeit (siehe unten): Die sichtbaren Kerne gehören Ihnen nicht immer allein.

Warum kann die Last hoch sein, obwohl die CPU kaum arbeitet?

Auf den meisten Unix-Systemen zählt die Last Prozesse, die laufen oder lauffähig sind. Linux zählt zusätzlich Tasks im nicht unterbrechbaren Schlaf (Zustand D), die typischerweise auf Platte oder Netzwerkspeicher warten. Das ist Absicht: Eine Maschine, deren Prozesse alle auf eine sterbende Platte warten, ist überlastet, auch wenn die CPU nichts zu tun hat.

Die erste Frage bei jeder hohen Last lautet deshalb: CPU oder I/O?

vmstat 1 5
procs -----------memory---------- ---swap-- -----io---- -system-- -------cpu-------
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st gu
 6  0      0 812344  10148 451391    0    0    12    40 1317 2890 91  7  2  0  0  0
 0  7      0 801120  10148 452034    0    0  9480   115 4201 6674  3  4 11 82  0  0

Die erste Ausgabezeile von vmstat enthält Mittelwerte seit dem Systemstart; aussagekräftig sind die folgenden. Die beiden Beispielzeilen zeigen die zwei Fälle nebeneinander (in der Praxis träten sie so nicht gemeinsam auf):

  • r hoch, us plus sy nahe 100, wa nahe 0: Die CPU ist der Engpass. Es wollen mehr Prozesse rechnen, als Kerne da sind.
  • b hoch, wa hoch, id mäßig: Das I/O ist der Engpass. Prozesse sind blockiert und warten auf den Speicher.
  • si und so ungleich null: Das System lagert aus. Damit wird aus Speichermangel ein I/O-Problem.
  • st hoch: Der Hypervisor gibt Rechenzeit an andere Gäste. Ihre Prozesse warten, obwohl auf Ihrem Server nichts falsch läuft.

Wie finde ich die Prozesse hinter der Last?

Alles, was gerade läuft (R) oder im nicht unterbrechbaren Schlaf steckt (D), listet dieser Befehl:

ps -eo state,pid,user,comm --sort=state | awk '$1 ~ /^[RD]/'

Bei CPU-Last sortieren Sie nach CPU-Verbrauch:

ps -eo pid,user,comm,%cpu --sort=-%cpu | head -8
top -o %CPU

Bei I/O-Last liefert das Paket sysstat (apt install sysstat, auf der RHEL-Familie heißt es genauso) die Einzelheiten:

iostat -x 1 3      # je Gerät: %util und await
pidstat -d 1 3     # je Prozess: gelesene und geschriebene kB pro Sekunde

Ein Gerät mit %util nahe 100 und wachsendem await ist gesättigt. Hängt ein Netzlaufwerk, bleiben auch df oder ls auf diesem Pfad stehen, und jeder Prozess, der es anfasst, erhöht die Last um eins.

Aktuelle Kernel bieten außerdem die Pressure Stall Information. Sie beantwortet die Frage „Wartet tatsächlich etwas?“ direkter als die Last:

cat /proc/pressure/cpu
cat /proc/pressure/io

Die Werte avg10, avg60 und avg300 geben an, in wie viel Prozent der Zeit zumindest einige Tasks auf diese Ressource warten mussten. Die Dateien gibt es nur, wenn der Kernel die Funktion aktiviert hat; bei den meisten aktuellen Distributionskerneln ist das der Fall.

Was der Load Average nicht verrät

Die Last misst die Nachfrage in der Warteschlange des Kernels, mehr nicht. Sie sieht keinen Webserver, dessen Worker alle von langsamen Clients belegt sind, und keinen PHP-FPM-Pool, der sein Prozesslimit erreicht hat: Diese Prozesse schlafen, während sie auf einen Socket warten. Die Last bleibt niedrig, die Besucher sehen Zeitüberschreitungen. Ist die Website langsam und die Last unauffällig, sehen Sie beim Dienst selbst nach, etwa wie im Artikel PHP-FPM: pm.max_children richtig einstellen beschrieben.

Auch das Gegenteil kommt vor: Eine kurze Lastspitze während des nächtlichen Backups ist harmlos, und ein Alarm dafür bringt allen nur bei, Alarme zu ignorieren.

Häufige Fehler

  • Die Zahl ohne Kernzahl beurteilen. „Last 8“ sagt nichts, solange unklar ist, ob die Maschine 2 oder 32 Kerne hat.
  • Last mit CPU-Auslastung gleichsetzen. Eine Last von 20 bei untätiger CPU deutet auf den Speicher hin, nicht auf fehlende Kerne.
  • Auf den 1-Minuten-Wert alarmieren. Er reagiert auf jeden kurzen Job. Nehmen Sie den 5- oder 15-Minuten-Wert je Kern und verlangen Sie, dass er anhält.
  • Server anhand der rohen Last vergleichen. Vergleichen Sie die Last je Kern, und vergleichen Sie Gleiches mit Gleichem: Ein Datenbankserver und eine Build-Maschine haben unterschiedliche Normalwerte.
  • Steal-Zeit auf virtuellen Maschinen übersehen. Ist st hoch, hilft es nicht, die eigenen Prozesse zu optimieren. Sprechen Sie mit dem Hoster oder ziehen Sie die Maschine um.
  • Im Störfall nur auf die Last schauen. Nehmen Sie Arbeitsspeicher, Swap-Aktivität, Plattenfüllstand und die Kennzahlen der Dienste dazu. Eine volle Festplatte etwa zeigt sich oft zuerst durch hängende Prozesse.

Checkliste

  1. uptime: die drei Werte als Trend lesen, steigend oder fallend?
  2. nproc: die Last durch die Zahl der Kerne teilen.
  3. vmstat 1 5: CPU (r, us, sy) oder I/O (b, wa)?
  4. Wird ausgelagert? si und so prüfen.
  5. Virtuelle Maschine? st prüfen.
  6. ps nach CPU sortiert oder iostat -x und pidstat -d, um Prozess oder Gerät zu finden.
  7. Last niedrig, Website trotzdem langsam: Webserver-Worker und PHP-FPM prüfen.
  8. Alarmschwellen je Kern und auf die ruhigeren Mittelwerte setzen.

Wie Lynx Heartbeat dabei hilft

Der Agent von Lynx Heartbeat misst die Last jede Minute und bezieht sie auf die Zahl der Kerne des jeweiligen Servers. Dieselben Schwellen ergeben so auf einer kleinen virtuellen Maschine ebenso Sinn wie auf einem großen Datenbankserver. Daneben sehen Sie CPU, Arbeitsspeicher, Swap, Platten und die Prozesse, die gerade am meisten verbrauchen, und zwar nur mit ihrem Namen. Weil die Last gesättigte Dienste übersieht, liest der Agent zusätzlich den Status von Apache, PHP-FPM und MySQL aus. Alarme werden entprellt, eine kurze Spitze während des Backups weckt also niemanden; mehr dazu im Artikel über Alarmmüdigkeit, Ruhezeiten und Eskalation. Alle Messungen finden Sie auf der Seite Funktionen.

Häufige Fragen

Welcher Load Average ist unter Linux normal?

Eine absolute Zahl gibt es nicht. Teilen Sie die Last durch die Zahl der CPU-Kerne aus nproc: Dauerhaft unter etwa 0,7 je Kern ist entspannt, um 1,0 je Kern ist die Maschine ausgelastet, deutlich über 1,0 je Kern wartet Arbeit.

Was bedeuten die drei Zahlen beim Load Average?

Es sind exponentiell geglättete Mittelwerte über ungefähr die letzten 1, 5 und 15 Minuten. Liegt der 1-Minuten-Wert über dem 15-Minuten-Wert, steigt die Last; liegt er darunter, sinkt sie.

Ist der Load Average dasselbe wie die CPU-Auslastung?

Nein. Die CPU-Auslastung ist der Anteil der Zeit, in der die Prozessoren beschäftigt waren. Der Load Average zählt Prozesse, die laufen oder warten, und unter Linux auch solche, die in nicht unterbrechbarem I/O blockiert sind. Ein Server kann eine hohe Last bei fast untätiger CPU haben.

Warum ist die Last hoch, obwohl die CPU nichts zu tun hat?

Die Prozesse warten auf etwas anderes als die CPU, meist auf eine langsame oder überlastete Platte, ein hängendes Netzlaufwerk oder auf ausgelagerten Speicher. Prüfen Sie die Spalte wa in vmstat oder %iowait in mpstat und suchen Sie Prozesse im Zustand D.

Kann eine Website ausfallen, obwohl der Load Average niedrig ist?

Ja. Sind alle Worker des Webservers oder alle PHP-FPM-Prozesse durch wartende Verbindungen belegt, stauen sich neue Anfragen, während die Prozesse überwiegend schlafen. Die Last zeigt das nicht, wohl aber die Statusseite des jeweiligen Dienstes.

Server

Verwandte Artikel

Alle Artikel