Das neue Cerebras-System CS-2 am LRZ geht in den Betrieb: Was kann es?

Dr. Nicolay Hammer: Das System arbeitet mit dem derzeit größten Chip. Die Wafer Scale Engine 2 oder WSE-2 enthält 850.000 Rechenkerne und integrierten Speicher. Das bringt nicht nur Rechenkraft, sondern auch noch sehr hohe Speicher- und Interconnect-Bandbreiten. Wenn selbst größere Datenmengen zwischen den Kernen fließen und zwischengespeichert werden können, werden Workflows des maschinellen Lernens und von künstlich intelligenten Verfahren effizienter ausgeführt.

Das CS-2-System ermöglicht und beschleunigt folglich das Training von KI-Modellen und neuronalen Netzen.
Für welche Forschungsaufgaben wird das interessant?
Hammer: Wir erwarten, dass vor allem Anwendungen der Mustererkennung oder Computer Vision sowie die Verarbeitung von natürlicher Sprache, das Natural-Language-Processing oder NLP, von der Leistung der WSE-2 profitieren. Das dürfte insbesondere für Geistes- und Sprachwissenschaften, aber auch für vielfältige datenintensive Projekte der Umwelt- und Lebenswissenschaften, der Medizin, außerdem von Chemie und Physik interessant sein. Am LRZ ist das Cerebras-System auch noch Ziel eigener Grundlagenforschung rund um das maschinelle und tiefe Lernen. Zusammen mit Forschenden wollen wir am LRZ etwa analysieren, welche KI-Methoden das Cerebras-System besser oder weniger gut verarbeitet oder wie sich neuronale Netze auf seine Anforderungen zuschneiden lassen.

Kann KI auch das Simulieren, die klassische Anwendung des Supercomputings, unterstützen?
Hammer: Auch das ist eine spannende Frage, der wir zusammen mit Forschenden nachgehen wollen. Tatsächlich konnten wir bei der Suche von Wirkstoffen gegen Corona beobachten, dass die Kombination KI und Supercomputing oder Mustererkennung und Simulation die Evaluierung nach Wirkstoffen beschleunigen und präzisieren kann. Andererseits zeichnet sich ein weiterer Trend ab: Es gibt beim Modellieren immer noch weiße Flecken, einige Phänomene können mit bestehenden Formeln nur unzureichend beschrieben werden, für andere fehlen überhaupt Gleichungssysteme. Hier können die Methoden der KI Lücken schließen helfen oder im Modell – eventuell noch nicht in der gewünschten Genauigkeit – klassische Rechenmethoden ersetzen. Diese Surrogat-Modellierung könnte das Simulieren enorm weiterbringen und viele sinnvolle Ergänzungen bieten, ähnliche Effekte erwarten wir übrigens auch vom Quantencomputing.

Wie können Forschende das CS-2-System nutzen?
Hammer: Im ersten Schritt werden Anwender:innen, mit denen wir kooperieren und deren Applikationen wir bereits kennen, das neuen System einsetzen. So sammeln auch wir erste Erfahrungen mit Anwendungsfällen. Wissenschaftler:innen mit Bedarf an hohen Rechenkapazitäten für smarte Datananalyse-Methoden beschreiben uns in einem Konzept kurz ihre Projekte, danach können wir gemeinsam entscheiden, ob das Cerebras-System oder unsere anderen KI-Ressourcen zu den Anforderungen passen. Am besten eine Anfrage über den Servicedesk an die Big Data Beratung starten.

Das LRZ bietet weitere Systeme für KI-Anwendungen – wie bekommen Forschende Zugriff?
Hammer: Wissenschaftler:innen zu den technischen Ressourcen zu führen, die sich am besten für ihre Projekte eignen, ist eine unserer wichtigsten Aufgaben. Das LRZ unterstützt bei der Migration von Programmen und Applikationen, hilft dabei, eigens entwickelte KI-Modelle zu verbessern oder Daten für die Analyse vorzubereiten. Generell stehen die LRZ AI Systems und damit bald auch das Cerebras-System allen Forschenden Bayerns zur Verfügung. Wer sie einsetzen will, benötigt einen Zugang zum LRZ Linux Cluster und kann anschließend auch die LRZ AI Systems benutzen.

Was wäre ein Wunschprojekt von Team BDAI für das neue Cerebras-System?
Hammer: Ein Wunschprojekt im eigentlichen Sinn gibt es zurzeit nicht, aber wir sind mit einigen Teams mit spannenden Forschungsfragen im Gespräch und vor allem sehr gespannt darauf, wie sich das System im Forschungsalltag schlägt. Dazu sammeln wir Betriebsdaten, um daraus Benchmarks abzuleiten und valide Aussagen treffen zu können, für welche Anwendungen das CS-2-System am besten geeignet ist. Das ideale Projekt wäre eines, das einen hohen Bedarf an Rechenleistung hat und ein spannendes Fachgebiet – Biomedizin, Robotik oder Ähnliches – mit innovativen Methoden oder Forschungsansätzen vereint. Ich bin mir sicher – wir haben solche Aufgaben bald auf dem Tisch.

Könnte man das Cerebras-System in einen Supercomputer integrieren, um diesen zu beschleunigen?
Hammer: Den Versuch ist es wert, aber das ist Zukunftsmusik. Zunächst wollen wir das System besser kennenlernen. Tatsächlich ist das Zusammenspiel von diversen Rechnersystemen und Clustern ein Gegenstand der LRZ-Grundlagenforschung. Die Integration des CS-2 in einen Supercomputer könnte die Entwicklung neuer High Performance Computing-Systeme auch für KI-Anwendungen beeinflussen. Zu beobachten ist, dass für Simulationen jetzt immer öfter KI mit klassischem HPC kombiniert wird, dass also vor der eigentlichen Modellierung am Supercomputer Daten mit Hilfe von KI vorbereitet oder vorberechnet werden oder dass Simulationsergebnisse mit KI-Methoden weiterverarbeitet werden.

(interview: vs)