Supercomputer made in Jülich setzt neue Maßstäbe

Der Rechner, den das Forschungszentrum Jülich, das französisch-deutsche Unternehmen Atos und der Münchner Supercomputing-Spezialist ParTec gemeinsam mit dem US-Hersteller NVIDIA entwickelt haben, ist aktuell das schnellste System in Europa. Der Jülicher Superrechner, der durch das nationale Gauss Centre for Supercomputing finanziert wird, erreichte den siebenten Platz auf der TOP500-Liste der schnellsten Computer der Welt. Auf der aktuellen Green500-Liste rangiert JUWELS auf Platz drei und ist das energieeffizienteste System in der höchsten Leistungsklasse.

„Wir verstehen Supercomputing nicht nur als Gegenstand unserer Forschung, sondern vor allem auch als mächtiges Werkzeug, mit dem wir gemeinsam mit unseren Partnern aus Wissenschaft und Industrie komplexe Forschungsfragestellungen beantworten können“, sagt Prof. Wolfgang Marquardt, Vorstandsvorsitzender des Forschungszentrums Jülich. „Mit dem vollständig ausgebauten JUWELS-System ermöglicht das Forschungszentrum Jülich Wissenschaftlerinnen und Wissenschaftlern unterschiedlichster Institutionen und wissenschaftlicher Disziplinen den Zugriff auf Höchstleistungsrechenkapazitäten auf allerhöchstem Niveau. Gleichzeitig demonstrieren wir mit dem System aber auch den verantwortungsvollen Umgang mit dem immer weiter zunehmenden Energiebedarf für die Bereitstellung von Rechenleistung.“

Größere Realitätsnähe

„Ein in der derzeitigen COVID-19-Krise sehr aktuelles Beispiel liefert die Unterstützung der Medikamentenentwicklung am Computer“, erklärt Prof. Thomas Lippert, der Leiter des Jülich Supercomputing Centre. „Erst die Rechenpower des Boosters ermöglicht es unseren Forschern, die Prozesse vor, während und nach dem Aufeinandertreffen eines potenziellen Wirkstoffs mit einem Rezeptor oder Protein realitätsnah genug zu simulieren.“

Ein weiteres Beispiel ist die detaillierte Simulation von Oberflächen-, Erd- und Grundwasserbewegungen. Mit dem neuen JUWELS-Booster sind Forscher erstmals in der Lage, Simulationen für Deutschland und Europa mit der erforderlichen Feinauflösung, zum Beispiel von einzelnen Hängen oder Flusskorridoren, durchzuführen.

Intelligente Aufgabenteilung – höchste Energieeffizienz

JUWELS beruht auf einer hochflexiblen modularen Architektur, die das Forschungszentrum Jülich gemeinsam mit europäischen und internationalen Partnern entwickelt hat. „Das neue Booster-Modul ist mit seinen leistungsstarken, hocheffizienten Grafikprozessoren speziell für ausgesprochen rechenintensive Anwendungen ausgelegt, die sich gut parallel auf einer großen Zahl von Rechenkernen bearbeiten lassen“, erläutert Dr. Dorian Krause, der in Jülich für den Aufbau und Betrieb des außerordentlich komplexen Systems verantwortlich ist. „Zudem ist JUWELS unter den Top Ten der weltweit schnellsten Rechner führend in der Energieeffizienz.“

Der Jülicher Supercomputer ist als einer der ersten mit NVIDIA A100 Tensor Core GPUs ausgestattet, die auf der NVIDIA Ampere-Architektur basieren. Etwa zwölf Millionen sogenannte Cuda-Kerne (FP64) vereint der Booster auf seinen über 3.700 Grafikprozessoren, die über ein NVIDIA Mellanox HDR Infiniband Höchstleistungsnetz mit 200 Gb/s miteinander verbunden sind. Der Booster allein erreicht eine Spitzenleistung von 73 Petaflops. Speziell für KI-Anwendungen, die andere Anforderungen an die Hardware stellen, sind sogar bis zu 2,5 Exaflops möglich: das entspricht 2,5 Trillionen Rechenoperationen pro Sekunde. Das Modul ist damit die stärkste Plattform Europas für den Einsatz künstlicher Intelligenz (KI).

„Der Clou bei JUWELS ist, dass beide Module, das bisherige ‚Cluster-Modul‘, das mit schnellen Prozessoren (CPUs) arbeitet, und das Booster-Modul mit seinen GPUs, ganz eng verschaltet sind“, sagt Bernhard Frohwitter, CEO des Münchner Supercomputing Spezialisten ParTec. Die Zusammenarbeit der Module steuert dabei ParTecs modulares Software-System ParaStation Modulo, eine weltweit führende Entwicklung aus Deutschland. „Mit ParaStation Modulo kann JUWELS innerhalb eines Codes dynamisch beliebig auf CPUs und GPUs zugreifen und die Rechnung so optimieren.“

„Beide Module stammen von Atos und basieren auf unserer BullSequana X Infrastruktur, deren hocheffiziente, wassergekühlte, patentierte DLC-Lösung (Direct Liquid Cooling) wesentlich zum niedrigen Energieverbrauch des Systems beiträgt", erklärt Agnès Boudot, Senior Vice President, Head of HPC & Quantum bei Atos. „Das Design von Atos stellt sicher, dass die Rechenleistung der CPU- und GPU-Blades in vollem Umfang von Anwendungen genutzt werden kann.“

Vorbereitet auf Zukunftstechnologien

Für Prof. Thomas Lippert ist das JUWELS-System ein Meilenstein hin zum europäischen Exascale-Rechner, der ab 2023 an den Start gehen soll. Der Bau und Betrieb eines solchen Supercomputers gilt weltweit als nächster großer Schritt im Supercomputing. Mit einer Rechenleistung von mindestens einem Exaflops, also von einer Trillion Gleitkommaoperationen pro Sekunde, wäre er noch mindestens zwölfmal schneller als der JUWELS-Supercomputer. „JUWELS modulare Architektur, das Design seiner Rechenknoten, das Netzwerk, die Infrastruktur und die Kühlung sowie die Software-Architektur lassen sich ohne Weiteres auf einen Exascale-Rechner übertragen, wobei Kosten und Energieaufwand vertretbar bleiben“, erklärt Thomas Lippert.

Auch in anderer Hinsicht ist JUWELS perfekt auf die Zukunft des Supercomputing vorbereitet. Die modulare Bauweise ermöglicht es, Zukunftstechnologien zu integrieren, an denen auch im Forschungszentrum Jülich intensiv geforscht wird: Dazu gehören beispielsweise Quantencomputer-Module oder neuromorphe Module, die nach dem Vorbild des menschlichen Gehirns arbeiten.

Förderung durch Bund und Land

Die Anschaffung des JUWELS-Boosters wird vom Bund und vom Land Nordrhein-Westfalen finanziert. Das JSC betreibt JUWELS als Mitglied des Gauss Centre for Supercomputing (GCS), dem Zusammenschluss der nationalen Höchstleistungsrechenzentren in Deutschland, zu denen die drei Rechenzentren des Forschungszentrums Jülich (JSC), der Bayerischen Akademie der Wissenschaften (LRZ) und der Universität Stuttgart (HLRS) gehören.

Die Rechenzeit wird nach Antragstellung und wissenschaftlicher Begutachtung auf nationaler und europäischer Ebene vergeben. Das GCS und das Forschungszentrum Jülich werden unterstützt vom Bundesministerium für Bildung und Forschung (BMBF) und dem Ministerium für Kultur und Wissenschaft des Landes Nordrhein-Westfalen sowie dem Ministerium für Wissenschaft, Forschung und Kunst Baden-Württemberg und dem Bayerischen Staatsministerium für Wissenschaft und Kunst.

Jülicher Konzept

Das am Jülich Supercomputing Centre (JSC) verwirklichte modulare Konzept wurde in langjähriger Zusammenarbeit mit der Münchner Softwarefirma ParTec entwickelt. Es sieht einen Superrechner aus mehreren spezialisierten Bausteinen vor, die sich über eine einheitliche Software je nach Bedarf dynamisch kombinieren lassen. Seit 2011 haben europäische Partner aus Industrie und Forschung unter Jülicher Leitung erste Systeme in modularer Bauweise entwickelt und erprobt, und das Konzept in den EU-geförderten DEEP-Forschungsprojekten beständig weiter ausgebaut.

Der Booster entstand aus einer Zusammenarbeit der Experten des JSC mit dem Supercomputer-Hersteller Atos (Frankreich), dem Software-Spezialisten ParTec (Deutschland) und dem Grafikprozessoren-Hersteller NVIDIA (USA). Der ebenfalls beteiligte israelische Netzwerkspezialist Mellanox wurde im Frühjahr dieses Jahres von NVIDIA übernommen.