Von Mainframe zu Exascale Claudia Blaas Schenner
Von Mainframe zu Exascale: Die aufregende Zukunft der HPC-Enthusiasten
Claudia Blaas-Schenner ist eine der führenden Expert:innen für High-Performance Computing (HPC) und nimmt uns mit auf eine Zeitreise durch 30 Jahre Supercomputing an der TU Wien: Von den Anfängen des numerisch intensiven Rechnens bis zur heutigen Ära der Exascale-Systeme und dem Aufkommen von Künstlicher Intelligenz (KI). Claudia erzählt uns auch, wie sich die Welt um HPC weiter entwickeln wird und welche Chance es jetzt für alle gibt, die sich beruflich in Richtung HPC und KI entwickeln möchten.
Das Interview führte Bettina Benesch
Claudia, du arbeitest seit 30 Jahren an der TU Wien mit Supercomputern. Wie hat alles angefangen?
Ich habe Technische Physik studiert und danach an der TU Wien weiter geforscht. Und wenn du in der Physik etwas berechnen möchtest, ist klar: Du brauchst einen großen Rechner. So bin ich in das Thema High-Performance Computing (HPC) eingestiegen. Und das, was man regelmäßig macht, kann man irgendwann gut und so wurde HPC immer mehr mein zweites Standbein.
Hat man vor 30 Jahren schon von HPC gesprochen?
Wir haben meistens numerisch intensives Rechnen dazu gesagt, aber ich habe mein erstes paralleles Programm im Sommer 1992 geschrieben.
Was hat sich seither verändert?
Im Vergleich zu heute waren die Maschinen viel langsamer; der damalige Superrechner war weniger leistungsfähig als mein jetziges Handy. Der wichtigste Schritt war, dass die Interconnects auf den Clustern schneller geworden sind; also die Verbindung zwischen den einzelnen Teilen des Rechners. Das war Anfang 2000. Und ab da hat paralleles Rechnen massiv zugenommen und so hat die Ära von HPC begonnen. Vor ein paar Jahren sind die schnellen GPUs (Grafikkarten) auf den Markt gekommen, die der Künstlichen Intelligenz jetzt einen Boost verpassen. Es hat sich also sehr viel getan in diesen 30 Jahren.
“
Das, was früher eine Woche Rechenzeit gebraucht hat, braucht jetzt weniger als eine Minute.
„
Wie glaubst du, wird sich HPC in den nächsten zehn Jahren entwickeln?
Das wird ordentlich so weitergehen. Wir haben in den letzten Jahren sehr viel Entwicklung gesehen, gerade in Europa, seit das EuroHPC Joint Undertaking gegründet wurde, bei dem auch Österreich Mitglied ist. Mittlerweile haben wir in Europa die drei großen Pre-Exascale-Systeme LUMI in Finnland, Leonardo in Italien und MareNostrum 5 in Spanien.
Alle drei Systeme sind unter den besten zehn auf der weltweiten TOP500-Liste der schnellsten Rechner. Das wäre vor wenigen Jahren noch unvorstellbar gewesen, denn damals haben China, Japan und die USA dominiert. Heute ist Europa mit drei Systemen dabei und wir werden wahrscheinlich noch 2024 in Europa unser erstes Exascale-System bekommen, JUPITER in Jülich/Deutschland.
Welche Rolle spielt Künstliche Intelligenz bei HPC?
KI und HPC werden immer mehr zusammenwachsen und voneinander profitieren; das Wechselspiel ist hier sehr vielschichtig. Künstliche Intelligenz wird seit Jahrzehnten in HPC eingesetzt bei Simulationen, besonders bei Ensemblesimulationen, bei denen gleichzeitig viele verschiedene Rechnungen laufen, wo jeweils nur ein oder zwei Parameter anders sind als bei der Rechnung „daneben“.
Ich kann zum Beispiel ein Phasendiagramm von Kupfer und Nickel ausrechnen, die eine Legierung bilden. Dazu muss ich viele Rechnungen machen, nämlich für jede Konzentration von Kupfer und Nickel eine eigene Simulation. Bei der Auswertung hilft mir dann die KI. Man kann mit ihr auch den laufenden Betrieb der HPC-Systeme überwachen und sie zur Fehlererkennung oder für effizientes Scheduling einsetzen.
“
Der Hype um die Large Language Models kommt daher, dass jetzt erst die Ressourcen vorhanden sind, um solche Modelle rechnen zu können.
„
Das heißt, KI ist schon länger da. Ist das, was wir gerade erleben, nur ein Hype?
Es gibt einen Unterschied zu früher: Wir leben im Datenzeitalter und haben immer mehr Daten verfügbar. Nicht nur die, die wir durch Simulationen selbst erzeugen und dann auswerten, sondern auch solche, die gemessen werden, beispielsweise in Unternehmen. Und je mehr Daten ich habe, umso wichtiger wird KI: Sind da drei Zahlen, schaue ich mir die als Mensch an und weiß, was sie bedeuten und was ich damit anfangen kann. Wenn ich drei Millionen Zahlen habe, dann schaue ich ziemlich verzweifelt auf meine drei Millionen Zahlen. Dann brauche ich Hilfe und das ist das, was man mit Machine Learning und KI macht.
Wir hatten 2019 einen Deep Learning Hype. Der war nur deshalb möglich, weil erstmals Rechensysteme zur Verfügung standen, mit denen man überhaupt in einer sinnvollen Zeit ein gutes Ergebnis bekommen hat. Das braucht alles enorme Rechenleistung. Und der Hype, den wir seit 2022 mit den Large Language Models (LLM) sehen, der kommt auch daher, dass jetzt erst die Ressourcen vorhanden sind, solche LLMs rechnen zu können.
HPC ist also ein Boost für KI, kann man das sagen?
Ja, zurzeit ist HPC ein starker Boost für KI und umgekehrt. Wir sehen auch bei unseren Trainings, dass das Interesse am Thema AI deutlich zunimmt.
Ihr bietet am VSC seit 2015 Trainings an. Welche Kurse habt ihr zurzeit im Programm?
Das, wofür wir bekannt sind und wo unser guter Ruf herkommt, ist paralleles Programmieren, also MPI, OpenMP oder MPI+X. Das waren unsere ersten Kurse und sie sind nach wie vor unser Aushängeschild. Der Renner schlechthin ist der Intro-Kurs für den VSC, den jeder unserer neuen User:innen belegt, um sich zurechtzufinden. Der Kurs läuft vier oder fünf Mal im Jahr und ist immer voll. Und seit einigen Jahren haben wir natürlich Trainings, die neuere Themen abdecken, wie KI, Deep Learning, Large Language Models und – auch immer voll – Python for HPC.
“
Unsere Top-Kurse sind paralleles Programmieren, Einführung in VSC und Python für HPC. Sie laufen mehrmals pro Jahr und sind immer voll.
„
HPC ist ein sehr großer Bereich. Gibt es klassische Berufe im HPC-Umfeld?
Zurzeit existiert kein klares Berufsprofil und es laufen europaweit viele Projekte, in denen erarbeitet wird, wie es genau aussieht. Es ist ein komplexes Thema, denn es braucht ganz unterschiedliche Skills, um im HPC-Bereich zu arbeiten. Das sind einerseits Expert:innen, die die HPC-Systeme betreuen; da braucht es besondere Fähigkeiten, was die Systemadministration betrifft.
Andererseits gibt es Spezialist:innen, die ein System von null weg aufbauen, und wieder andere, die den Bereich Application Engineer oder Programmierer abdecken. Dann hängt es natürlich davon ab, ob es eine klassische Simulation ist, die ich programmiere oder ob ich etwas mit KI oder Data Science machen möchte. Also es ist sehr, sehr vielfältig und man braucht definitiv ein ganzes Team, das die verschiedenen Skills gemeinsam abdeckt.
Die Fähigkeiten sind unterschiedlich, sagst du – aber gibt es Eigenschaften, die Menschen brauchen, die sich beruflich die Richtung HPC entwickeln möchten?
Es ist sicher gut, wenn man gerne neue Sachen ausprobiert, bereit ist sich in neue Themen einzudenken und keine Angst hat, Fehler zu machen. Weil es Teamarbeit ist, ist das Entscheidende, dass man gut kommunizieren kann. Kommunikationsfähigkeit ist also essenziell.
“
Wer eine Karriere im Bereich Supercomputing anstrebt, sollte idealerweise einen PhD in einem MINT-Fach machen.
„
Wie viele Leute kennen sich mit HPC aus in Österreich?
Es sind vielleicht 100 bis 500, die sich gut auskennen; Menschen mit Basiswissen etwa 5.000 bis 10.000.
Wird es mehr brauchen in Zukunft?
Auf jeden Fall wird es viel mehr brauchen und auch geben. Zurzeit nimmt man weniger qualifizierte Leute auf und sie lernen on the job.
Welchen Ausbildungsweg empfiehlst du einem jungen Menschen, der in Richtung HPC gehen möchte?
Einen Master, oder noch besser einen PhD, in einem MINT-Fach, egal ob Physik, Chemie oder Mathematik und dazu Interesse an HPC. Oder womöglich gleich einen HPC-Master, wie den EUMaster4HPC. Großartig ist ein Internship an einem HPC-Zentrum und dort ein halbes Jahr mitzuarbeiten und HPC in der Praxis kennen und lieben zu lernen.
Zur Person
Claudia Blaas-Schenner hat an der TU Wien Technische Physik studiert und hier auch ihren PhD und ihren Postdoc gemacht. Sie startete 1990 mit ersten Berechnungen an Supercomputern und ist danach immer tiefer in die Materie eingestiegen. Heute gehört Claudia Blaas-Schenner weltweit zu den anerkanntesten HPC-Expert:innen. 2015 hat sie das Trainingsprogramm an Österreichs Supercomputer, dem VSC, gegründet und ist seither dessen Leiterin.
Sie ist eine der Top-Expert:innen für MPI und Chair der Konferenz EuroMPI/Australia 2024.
MPI ist die Abkürzung für Message-Passing Interface, ein Standard, ohne den paralleles Rechnen auf Clustern unmöglich wäre. EuroMPI ist eine internationale Konferenz mit sehr hoher Reputation und einem hohen Qualitätsanspruch. Von allen Vortrags-Einreichungen werden nur knapp 50 Prozent akzeptiert. Das Programm-Komitee besteht aus Vertretern aus Europa, den USA, Japan und Australien.
Trainings am Vienna Scientific Cluster (VSC)
Österreichs Supercomputer, der VSC, wurde 2009 erstmals in Betrieb genommen, 2015 wurden die ersten Trainings abgehalten, die auf Anhieb ausgebucht waren. Heute bietet der VSC jährlich rund 35 unterschiedliche Trainings an, vom VSC-Intro-Kurs, über MPI und C++ bis hin zu Python for HPC und Large Language Models.
Jährlich nehmen rund 1.200 Personen an den Trainings teil. Die Kurse sind kostenlos für alle VSC-User:innen und Mitarbeiter:innen österreichischer Universitäten bzw. für alle in Europa, solange der Kurs über EuroCC mitfinanziert wird. Nur für Kurse, die nicht in EuroCC fallen, zahlen Teilnehmer aus der Industrie und nicht-österreichische Teilnehmer eine kleine Kursgebühr.
Infos zu den Kursen gibt es hier: events.vsc.ac.at
Die wichtigsten Begriffe kurz erklärt
HPC ist die Abkürzung für High-Perfomance Computing, zu Deutsch Hochleistungsrechnen. Ob man es glaubt oder nicht, aber HPC ist eigentlich eine relativ alte Sache: Das Wort „Supercomputing“ wurde 1929 zum ersten Mal verwendet und die ersten Großrechner gab es in den 1950er-Jahren. Damals hatten sie allerdings sehr viel weniger Kapazität als ein heutiges Handy. So richtig Fahrt nahm die Technologie in den 1970er-Jahren auf.
HPC-Systeme kommen immer dann zum Einsatz, wenn der eigene Arbeitsspeicher zu klein ist, größere Simulationen gefragt sind, die auf dem eigenen System keinen Platz haben oder wenn das, was bisher lokal gerechnet wurde, künftig sehr viel öfter gerechnet werden soll.
Die Leistungsfähigkeit von Supercomputern wird in FLOPS (auch FLOP/s) gemessen (Floating Point Operations Per Second). 1997 erreichte ein Supercomputer erstmals 1,06 TeraFLOPS (1 TeraFLOPS = 1012 FLOPS), Österreichs aktuell leistungsstärkster Supercomputer, der VSC-5, bringt es auf 2,31 PetaFLOPS oder umgerechnet 2.310 TeraFLOPS (1 PetaFLOPSs = 1015 FLOPS). 2022 brach die Ära der Exascale-Computer an, deren Leistung in ExaFLOPS gemessen wird (1 ExaFLOPS = 1018 FLOPS). Ein ExaFLOPS entspricht einer Trillion (1018) Gleitkommaoperationen pro Sekunde.
Mit Stand Juni 2024 gab es in der TOP500-Liste der weltbesten Supercomputer nur zwei Exascale-System, nämlich Frontier am Oak Ridge National Laboratory und Aurora am Argonne National Laboratory, beide in den USA. In Europa gibt es derzeit drei Pre-Exascale-Rechner, also Vorstufen der Exascale-Systeme. Zwei europäische Exascale-Systeme werden in naher Zukunft in Betrieb gehen.
Der VSC (Vienna Scientific Cluster)ist der Supercomputer Österreichs, gemeinsam finanziert von mehreren österreichischen Universitäten. Die Rechner befinden sich in Wien an der TU Wien. Ab 2025 ist der neueste Supercomputer MUSICA (Multi-Site Computer Austria) an den Standorten Wien, Linz und Innsbruck im Einsatz. Forscher:innen der beteiligten Unis können den VSC für ihre Simulationen nutzen und im Rahmen von EuroCC haben auch Unternehmen einfachen Zugriff auf Rechenzeit auf Österreichs Supercomputer. Zudem ist das Team des VSC eine wichtige Quelle von Know-how: In zahlreichen Workshops lernen künftige HPC-User:innen, egal welcher Niveaus, alles über Supercomputing, KI und Big Data.
Das EuroHPC Joint Undertaking ist eine öffentlich-private Partnerschaft der Europäischen Union, um eine europaweite Hochleistungsrechnerinfrastruktur aufzubauen und international wettbewerbsfähig zu halten. EuroCC ist eine Initiative von EuroHPC.
Jedes der teilnehmenden Länder (EU plus einige assoziierte Staaten) hat ein nationales Kompetenzzentrum für Supercomputing, Big Data und Künstliche Intelligenz aufgebaut, die nationalen EuroCCs (z. B. EuroCC Austria). Sie sind Teil des gleichnamigen EU-Projekts, das künftigen User:innen die Technologie näherbringt und den Zugang zu Supercomputern erleichtert. Der Fokus liegt auf kleinen und mittleren Unternehmen und Start-ups, die unter anderem mit Trainings und Support unterstützt werden, HPC zu nutzen. Das Joint Undertaking fördert auch das EUMaster4HPC-Projekt, ein Ausbildungsprogramm für angehende HPC-Expert:innen.
Das EuroHPC JU hat mit dem EUMaster4HPC ein europäisches Masterstudium als Pilot ins Leben gerufen. Die ersten Studierenden schlossen im Sommer 2024 ab. Es ist ein Gemeinschaftsprojekt verschiedener Universitäten. Die TU Wien ist als Contributing University beteiligt: Ihre Mitarbeiter:innen stellen Expertise für das Projekt zur Verfügung, es finden jedoch keine Lehrgänge an der TU Wien statt. Der Master dauert vier Semester und verlangt von den Studierenden Mobilität, da die Universität nach dem ersten Jahr gewechselt wird.