Energieeffizienz im HPC: Von Flop/s bis Abwärme
Energieeffizienz im HPC: Von Flop/s bis Abwärme
High-Performance Computing (HPC) klingt nach spektakulären Anwendungen, Power und Schnelligkeit. Es hat aber auch mit profanen Dingen wie Steckdosen zu tun, Trafostationen, Kühlwasser und Stromrechnungen in Millionenhöhe. (Okay, das ist schon wieder spektakulär.) Was geht in einem Zentrum für Supercomputing energietechnisch ab und wie können wir energie-effizienter Rechnen? Ein FAQ für alle, die ungern Rechenzentren ins All schießen, wie Captain Musk das vorhat.
Bettina Benesch
Frage Nummer eins: Wie viel Energie verbraucht ein HPC Zentrum?
Laut Internationaler Energieagentur (IEA) saugen Rechenzentren weltweit jährlich 415 TWh Strom; das sind rund 1,5 Prozent der gesamten Verbrauchs.*
Ein konventionelles Data-Center benötigt typischerweise etwa 10 bis 25 Megawatt (MW) an Leistung; ein hyperskaliertes, auf KI ausgerichtetes Zentrum kann eine Kapazität von 100 MW oder mehr haben und damit jährlich so viel Strom verbrauchen wie ungefähr 100.000 Haushalte. Die IEA geht bis 2035 von einer Verdreifachung des Stromverbrauchs von Rechenzentren aus; mit starker geografischer Konzentration auf die USA, China und die Europäische Union.
Die größten wissenschaftlichen HPC-Cluster in Österreich sind VSC-4, VSC-5 und MUSICA. Auf ihnen rechnen im Rahmen des EuroCC-Projekts auch österreichische und europäische Unternehmen. Diese drei Cluster werden von Austrian Scientific Computing (ASC) gemanaged; die mittlere Leistungsaufnahme liegt bei etwa 1 bis 1,5 MW
Auch in Österreich wird der Stromverbrauch steigen, da mehrere internationale Unternehmen, unter anderem Google, große Rechenzentren bauen. Dazu müssen Netzkapazitäten ausgebaut werden. Ob das klimaneutral machbar ist, weiß heute kaum jemand.
Der Stromverbrauch wird also steigen; und das bringt uns zur nächsten Frage:
Können HPC und KI auch helfen, Strom zu sparen?
Ja, und zwar auf mehreren Ebenen: von schnelleren, genaueren Wettervorhersagen für Wind- und Photovoltaikanlagen über optimierte Industrieprozesse bis hin zur intelligenten Steuerung von Heizung und Kühlung in Gebäuden:
In der Industrie könnte AI die Produktentwicklung beschleunigen, Kosten senken und Qualität erhöhen, sagt die internationale Energieagentur. Die breite Nutzung bereits bestehender KI-Anwendungen zur Optimierung von Prozessen in der Industrie kann zu Energieeinsparungen führen, die mehr als dem heutigen gesamten Energieverbrauch Mexikos entsprechen (rd. 353,5 TWh/Jahr).
Die IEA hat ebenso ausgerechnet, dass AI auch dabei helfen kann, Heizung und Kühlung in Gebäuden schlau zu steuern, was Stromeinsparungen von bis zu 300 TWh möglich macht. Das entspricht der jährlichen Stromproduktion von Australien und Neuseeland zusammen.
Insgesamt werden HPC-Systeme in Bezug auf das Verhältnis von Rechenleistung zu Energieverbrauch immer effizienter; also in der Frage, wie viele Flop/s pro Watt ein System liefert. Für die drei oben genannten großen HPC-Cluster stellt sich das aktuell so dar: VSC‑4 mit 2,7 PFlop/s (Rmax), VSC‑5 mit 3,31 PFlop/s (aggregierte Rmax-Gesamtleistung) und MUSICA mit 45,11 PFlop/s (aggregierte Rmax-Gesamtleistung).
Der erste große österreichische Supercomputer, VSC‑1, hatte eine Rechenleistung von 35 Teraflop/s und benötigte rund 400 kW Dauerleistung. Heute bietet bereits eine einzelne GPU im neuen System MUSICA mehr Rechenleistung bei einem Bruchteil dieses Stromverbrauchs. Konkret: Während VSC‑1 rund 5,1 kW pro TFlop/s benötigte (etwa 0,2 GFLOP/s pro Watt), kommt MUSICA mit etwa 16 Watt pro TFlop/s aus. Das entspricht rund 61 GFLOP/s pro Watt. Bezogen auf die Rechenleistung pro Watt ist MUSICA damit gut 300‑mal effizienter als VSC‑1.
Frage Nummer drei: Wie viel Strom brauchen die Cluster des ASC jeweils für Rechenleistung und Kühlung?
Der größte Teil des Stroms geht in die Rechenhardware selbst. Bei den HPC-Clustern des österreichischen ASC liegt die Ratio bei 10:90: Zehn Prozent des Strombedarfs geht auf die Kühlung, 90 Prozent stehen für das Rechnen zur Verfügung.
Frage Nummer vier: Wie werden ASC-Systeme gekühlt?
Wenn wir Nachrichten über die großen Rechenzentren von Amazon oder Google lesen, ist immer wieder die Rede von Flüssen, mit deren Hilfe gekühlt wird, und die durch die Data-Centres erwärmt werden. In Österreich geht man mit dem Thema deutlich umweltschonender um, nämlich mit Wasserkühlung in einem geschlossenen Kreislauf. Konkret sieht das so aus:
Beim ASC gehen zehn Prozent des Strombedarfs auf die Kühlung, 90 Prozent stehen für das Rechnen zur Verfügung.
Am ASC werden die aktuellen Systeme VSC-4, VSC-5 und MUSICA mit einer gemischten Wasserkühlung betrieben, dem sogenannten Direct Liquid Cooling. Dabei führen Kupferleitungen Wasser (plus Glykol) direkt zu den heißesten Komponenten im Server; also zu GPUs, CPUs, Speichermodulen. Das Wasser ist dabei relativ warm, und hat um die 40 bis 50 °C. Dort, wo im Server Wärme entsteht, geht diese unmittelbar in die Kühlflüssigkeit über, wird abtransportiert und mit Pumpen aufs Dach zu großen Trockenkühlern fördert. Dort blasen Ventilatoren Außenluft über die Register und kühlen die Glykollösung wieder ab. Etwa 80 Prozent der Abwärme, bei MUSICA sogar rund 90 Prozent, werden so direkt über Wasser aus dem System geleitet. Die restlichen 10 bis 20 Prozent werden noch über Luft abgeführt: Ventilatoren saugen die warme Serverluft an und leiten sie über ein weiteres, mit rund 18 °C kaltem Wasser durchströmtes System, das die Luft wieder auf Raumtemperatur bringt. All dies geschieht in einem geschlossenen System; man muss keine Flüsse in die Geschichte miteinbeziehen.
Frage Nummer fünf: Warum hat sich die Luftkühlung nicht durchgesetzt?
Luft ist als Kühlmedium bequem, aber physikalisch ungünstig, denn sie besitzt eine geringe Wärmekapazität, braucht hohe Volumenströme und man benötigt viel Energie für Lüfter und Kälteerzeugung. Ein Vorteil der Wasserkühlung: Je näher das Wasser an der Hitzequelle ist und je höher seine Temperatur sein darf, desto effizienter wird die Kühlung.
Frage Nummer sechs: Wird Energie bald der limitierende Faktor für den KI- und HPC Ausbau?
Energie ist weltweit schon jetzt ein limitierender Faktor. Auch am ASC stellt sich bei jeder Anschaffung eines neuen Clusters die Frage: Geht sich das aus? Was muss umgebaut werden, um mehr Trafos aufstellen zu können? Wie viel Strom kann man am Standort überhaupt noch ziehen?
Der weltweite Bau der riesigen Rechenzentren, wie wir ihn gerade sehen, verlangt nach mehr Energiequellen. Das ist ein Grund, warum der Ausstieg aus Atomkraft auch in Europa verschoben wird – wobei Europa eher darauf achtet, Strom CO2-neutral herzustellen. In den USA läuft das anders: Dort kommt es immer wieder vor, dass Betreiber von Rechenzentren Gasturbinen für die Stromproduktion verwenden. Aber egal ob Europa, USA oder China: Energie ist heute ein Standortkriterium, gleichwertig mit Netzwerktopologie und Storage Architektur. Und: In den nächsten Jahren werden wir auch noch unseren Fokus auf Rechenleistung haben – allerdings wird der Maßstab zunehmend „Flop/s pro Watt“ sein (Flop/W) statt nur „Flop/s“.
Daher wurde auch die Green500-Liste ins Leben gerufen, auf der die weltweit energie-effizientesten HPC-Systeme gelistet sind.
Frage Nummer sieben: Wird die Abwärme am ASC für andere Anwendungen genutzt?
Am ASC ist die Wärmenachnutzung grundsätzlich vorgesehen, wird aber derzeit noch nicht umgesetzt. Es gab konkrete Überlegungen, die Wärme in das Fernwärmenetz einzuspeisen und damit das Gebäude zu heizen. Dies scheitert aktuell an einem technischen Detail: Das Fernwärmenetz arbeitet mit deutlich höheren Temperaturen als das Rechenzentrum liefern kann. Man müsste also das leicht warme Wasser noch einmal zusätzlich aufheizen, um es einspeisen zu dürfen, was energetisch kaum sinnvoll ist. Dass es grundsätzlich funktionieren kann, zeigen unter anderem die Betreiber des HPC-Systems LUMI in Finnland: Dort wird die Abwärme in Campus oder Fernwärmenetze eingespeist und zum Heizen von Gebäuden genutzt.
Frage Nummer acht: Warum ist es so kompliziert, die Abwärme zu nutzen?
Weil drei Dinge zusammenpassen müssen:
Erstens: das Temperaturniveau. HPC Kühlwasser kommt typischerweise mit 40 bis 50 °C aus den Racks, klassische Fernwärmenetze laufen jedoch oft mit 70 bis 120 °C. Um Abwärme in diese Netze zu speisen, braucht es also Wärmepumpen oder zusätzliche Erhitzung, sonst passt die Temperatur nicht.
Zweitens: Abnehmer in der Nähe. Abwärme lässt sich wirtschaftlich nur nutzen, wenn der Wärmeverbrauch lokal ist, also in angrenzenden Gebäuden, Campus Heizung oder angeschlossenen Stadtteilen mit passendem Netz stattfindet.
Drittens: Es geht um die Planung von Anfang an. Wenn die Integration in Fernwärme oder Campus Netze nicht von Beginn an mitgeplant wurde, ist der Umbau später teuer, weil mit unpassenden Vorlauftemperaturen gearbeitet wird, es keine Leitungen gibt. Auch fehlende Genehmigungs und Geschäftsmodelle können eine Rolle spielen. Daher braucht es in Österreich und auch anderen Ländern noch etwas Zeit, bis Abwärmenutzung aus Rechenzentren effizient umsetzbar ist.
Aber: International gibt es bereits erfolgreiche Beispiele, bei denen Rechenzentren ihre Abwärme in Fernwärmenetze einspeisen: Etwa in Stockholm, wo über 20 Rechenzentren rund 1,5 Prozent des Fernwärmebedarfs decken und die CO2-Emissionen senken. Studien der International Energy Agency zeigen, dass Rechenzentren in Europa theoretisch bis zu zehn Prozent des Gebäudewärmebedarfs in der Nähe mit Abwärme versorgen könnten.
Frage Nummer neun: Wie stark beeinflusst Softwareeffizienz den Energieverbrauch eines HPC-Systems?
Sehr. Im Prinzip gilt: Je besser eine Software funktioniert, je schneller also der Job rechnet, umso weniger Energie wird verbraucht. Durch Optimierung des Codes spart man Zeit, und wer Zeit spart, spart Strom.
Typische Effizienzfallen sind:
- Falsche oder fehlende Parallelisierung (z. B. MPI falsch eingesetzt)
- Jobs, die auf Verdacht zu viele Knoten/Cores anfordern
- Unnötig hohe I/O Last, die Laufzeiten nach oben treibt
Als Gegenmaßnahmen werden empfohlen:
- Profiling und Performance Analyse
- Trainings zu MPI / verteiltes Rechnen, Node Level Optimierung, GPU Programmierung (CUDA, OpenACC)
Frage Nummer zehn: Wo finden diese HPC-Trainings statt?
Direkt am ASC-eigenen Trainingszentrum, das auch KI-Trainings anbietet. Die meisten Kurse finden online statt; alle umfassen auch Hands-on-Training auf europäischen HPC-Systemen. Im Rahmen des EuroCC-Projekts sind diese Trainings kostenlos, und zwar auch für Unternehmen aus einem EU- und/oder EuroHPC JU Mitgliedsstaat. EuroHPC JU
Infos und Anmeldung zu den Trainings.
+++
* Energy and AI, International Energy Agency, 10 April 2025: https://www.iea.org/reports/energy-and-ai