Trainings am VSC - Simeon Harrison

Ich unterstütze sie und halte auch eigene Trainings, wie zum Beispiel den Einsteigerkurs Linux Command Line, die Intermediatekurse Python for HPC, Introduction to Deep Learning oder Large Language Models on Supercomputers. Zusätzlich sind andere Kolleg:innen im Team, etwa bei Trainings zur GPU- oder C++-Programmierung. Auch beim Introduction-Kurs für alle neuen VSC-User:innen haben wir weitere Trainer:innen dabei, um das Angebot abwechslungsreicher zu machen und auch auf sehr spezifische Fragen eingehen zu können.
 

Was kosten eure Trainings?
 

Im Rahmen von EuroCC sind unsere Trainings kostenlos für Personen, die an Universitäten oder in Unternehmen in den teilnehmenden europäischen Ländern arbeiten. Es gibt am VSC weitere Kurse, die nicht ins Programm von EuroCC fallen; die sind teilweise kostenpflichtig für Kund:innen aus der Wirtschaft; das betrifft zum Beispiel den C++-Kurs. Aber selbst wenn Kurskosten anfallen, sind diese sehr moderat.

Wo steht denn Österreich im Bereich HPC-Training?

Ob man es glaubt oder nicht, aber Österreich ist ganz vorne mit dabei, was das Trainingsangebot betrifft. Wir sind eines der großen Trainingszentren in Europa.
 

Wenn du an Forscher:innen oder Unternehmen denkst, die in HPC einsteigen: Was sind die größten Herausforderungen, vor denen sie stehen?

Die erste große Hürde für Personen, die bis dato nichts mit HPC zu tun gehabt haben, ist, dass die Maschinen linuxbasiert sind. Das heißt. Man muss sich erst mit Linux auseinandersetzen. Das zeigen wir in unseren Kursen. Wenn man das einmal draufhat, ist der Rest relativ einfach. Wir bieten für alle User:innen unseres Supercomputers auch einen Linux-Kurs an, um diese Herausforderung zu meistern. Wenn die erste Hürde genommen ist, ist es eine sehr effiziente und schnelle Art, um zum Ziel zu gelangen.

Was sind deine Tipps für Menschen, die gerade mit HPC starten oder starten möchten?

Wer die Basics der Linux-Command-Line kennt, ist schon mal gut unterwegs. Ein weiterer Tipp ist: Befasse dich genau mit deinem Code und achte darauf, dass er lokal auf deinem Computer gut läuft. Da lässt sich schon viel an Performance herausholen.

Außerdem ist es wichtig, sich mit dem Thema Benchmarking/Profiling auseinanderzusetzen. Da geht es darum, Metriken zu erfassen: Welche Code-Abschnitte brauchen wie viel Zeit, wo sind die Flaschenhälse, wo dauert etwas ganz besonders lange, welche Hardware-Ressourcen brauche ich? Wenn man sich damit beschäftigt, bekommt man schon eine Ahnung, was man rausholen kann oder was machbar ist mit HPC.

So entsteht auch ein Gefühl dafür, wie viele Ressourcen am Supercomputer notwendig sind. Denn wer zu wenig Speicher anfordert oder zu wenig Zeit einplant, riskiert das berühmte OOM: Out of Memory oder das ebenso häufige Job Timeout. Dann heißt es: zurück zum Start.

Wie bildest du dich selbst weiter?

Ich bin da sehr oldschool: Ich liebe Bücher. Ich google auch und benutze verschiedene Foren, aber das Grundverständnis hole ich mir tatsächlich am liebsten aus Büchern. Wobei die Entwicklung natürlich so schnelllebig ist, dass der Buchdruck oder auch ein E-Book oft nicht hinterherkommt. Dann hilft es mir, wenn ich auf diversen Plattformen unterwegs bin.

Hugging Face ist zurzeit ganz groß im KI-Bereich, der Hardware-Hersteller Nvidia bietet einiges an, und es gibt andere Ressourcen wie TensorFlow Hub oder PyTorch Hub. Auch bei Papers with Code finde ich immer wieder Publikationen und den dazugehörigen Code. Auf Towards Data Science werden Artikel und Erklärungen zu diversen Themen veröffentlicht, und auf YouTube habe ich auch den einen oder anderen bekannten Namen abonniert. Das alles zusammen hält einen halbwegs fit.

Was ich an dieser Stelle auch betonen muss: Es hilft nicht, wenn man 100 Bücher liest oder die Beiträge der Hugging Face Webseite auswendig lernt. Man muss das Gelernte selbst ausprobieren, damit man vor allem durchs Scheitern lernt. Mein Motto dazu: „If in doubt, code it out!“, sprich Probieren geht über Studieren. Es ist natürlich hilfreich, wenn man an einem konkreten Problem arbeitet. Ich bin beispielsweise in diversen Kundenprojekten bei EuroCC Austria involviert, durch die ich ebenfalls viel an Praxisnähe lerne.
 

Gibt es etwas, was dich verblüfft hat, als du begonnen hast, dich mit HPC zu beschäftigen?

Als ich angefangen habe, bei EuroCC zu arbeiten, und das erste Mal den Supercomputer gesehen habe, war ich ein bisschen underwhelmed, könnte man sagen. Je neuer die Maschine ist, umso kleiner ist sie. Ich habe mir eine riesige Halle mit hunderten von Racks vorgestellt, wo man kaum das andere Ende sieht. Ich glaube, der durchschnittliche Schrankraum in einer Hietzinger Villa ist größer als ein Supercomputer. Was mich dann weiter verblüfft hat, war, wie komplex die Kühlung dieser Geräte ist. Die nimmt dann nämlich wirklich viel Raum ein.
 

Was fasziniert dich persönlich an HPC?

Mich fasziniert in erster Linie die Tatsache, dass da gerade eine industrielle Revolution stattfindet. Es wird sich vermutlich in sehr kurzer Zeit sehr viel tun; wahrscheinlich mehr als in irgendeiner der industriellen Revolutionen davor. Ich finde es spannend und beflügelnd zu wissen, dass man Teil dieses Geschehens und da an vorderster Front mit dabei ist – selbst wenn man nur die Rolle eines verschwindend kleinen Rädchens spielt.

Was mich auch fasziniert, ist, dass man mit sehr vielen unterschiedlichen wissenschaftlichen Disziplinen in Kontakt kommt, sei es Materialwissenschaften oder der Engineering-Bereich oder auch Geisteswissenschaften. Mir gefällt, dass ich von allem ein bisschen was mitbekomme.

Simeon Harrison arbeitet seit 2021 im nationalen Kompetenzzentrum EuroCC Austria daran, Know-how rund um die Themen High-Performance Computing (HPC), Big Data und Künstliche Intelligenz (KI) in Österreich und Europa zu verbreiten. Wissen zu vermitteln war immer schon Simeons Leidenschaft: Bevor er sich mit Supercomputern beschäftigte, brachte er Matura-Schüler:innen alles rund um Polynome, Asymptoten und Integralfunktionen bei. Bei EuroCC hat er sich auf das heute boomende Feld Deep Learning/Machine Learning spezialisiert.

Österreichs Supercomputer, der VSC, wurde 2009 erstmals in Betrieb genommen, 2015 wurden die ersten Trainings abgehalten, die auf Anhieb ausgebucht waren. Heute bietet der VSC jährlich rund 35 unterschiedliche Trainings an, vom VSC-Intro-Kurs, über MPI und C++ bis hin zu Python for HPC und Large Language Models.

Jährlich nehmen rund 1.200 Personen an den Trainings teil. Die Kurse sind kostenlos für alle VSC-User:innen und Mitarbeiter:innen österreichischer Universitäten bzw. für alle in Europa, solange der Kurs über EuroCC mitfinanziert wird. Nur für Kurse, die nicht in EuroCC fallen, zahlen Teilnehmer aus der Industrie und nicht-österreichische Teilnehmer eine kleine Kursgebühr.

Infos zu den Kursen gibt es hier: events.vsc.ac.at

Zurück zum Blog