Status Lustre am DKRZ

• Carsten Beyer

Room: Senatssaal (7. OG) - Status Lustre / laufender Betrieb - Probleme mit MultiRail bei zusätzlichem tcp LNET (auf IB) und externen Clients - Dateisystemanalyse / MDT-Scans

Performanceverhalten von CephFS für HPC und AI

• Sebastian Krey (GWDG)

Room: Senatssaal (7. OG) Im Bereich der Enterprise IT ist Ceph als Open Source Storage Plattform, die Block-, File- und Object Storage bereitstellen kann, seit Jahren etabliert und wird dort insb. in OpenSource Virtualisierungsumgebungen wie OpenStack, Proxmox, etc. eingesetzt. In den letzten Jahren hat sich aber auch das Performanceverhalten insb. von CephFS sehr positiv entwickelt, sodass der NHR Standort GWDG/Uni Göttingen es als Storage Plattform für den Capacity Tier seiner HPC Systeme etabliert, um damit seine Storagelandschaft zu vereinheitlichen. In diesem Vortrag wir das Performanceverhalten der installierten Storage Cluster mit der IO500 Benchmarksuite in der Performanceoptimierungsphase der Inbetriebnahme vorgestellt und mit anderen Storagesystemen am Standort verglichen.

Lustre at GSI

• Thomas Roth (GSI Darmstadt)

Room: Senatssaal (7. OG) GSI Helmholtzzentrum in Darmstadt betreibt ein Lustre-Dateisystem zur Speicherung und Analyse von Experimentdaten, Simulationsdaten und "Theorie-Daten" aller verbundener Kollaborationen und Gruppen. Der Vortrag berichtet von verschiedenen Aspekten und Schwierigkeiten im Aufbau und Betrieb des Dateisystems.

Transfer von grossen Datenmengen zwischen entfernten parallelen Filesystemen mit Globus

• Christian Bolliger (ETH Zurich)

Room: Senatssaal (7. OG) Der Transfer von Daten im Tera- und Petabytebereich zwischen parallelen Filesystemen wirft spezifische Fragen auf. - Wie kann das Netzwerk optimal genutzt werden? - Wie kann ein abgebrochener Transfer wieder aufgenommen werden? - Wie kann eine gemeinsame Authentsierung und Authorisierung erreicht werden? - Wie können umfangreiche Rohdaten der entsprechenden Forschungscommunity zur Verfügung gestellt werden. Mit der Globus-Platform, die gridftp mit einem Zertifikatsmanagement verbindet, können diese Herausforderungen ohne übermässigen Aufwand angegangen werden.

Lustre-Installation an der JGU Mainz: Status Quo und Ausblick

• Sergey Noskov (ZDV Universität Mainz)

Room: Senatssaal (7. OG) Es wird die Lustre-Installation für den Cluster Mogon-NHR vorgestellt. Die Präsentation enthält technische Details über die eingesetzte Hardware und die Lustre-Tuning-Parameter. Der Ausblick zeigt geplante Änderungen und Erweiterungen für die Zukunft.

Lustre status and the path forward

• Marc Vef (DDN\Whamcloud)

Room: Senatssaal (7. OG) This talk will present the current status of Lustre development, upcoming features, and road map. Further, other topics, such as nodemaps and the evolution of I/O interfaces, will be discussed.

DAOS Community Update

• Michael Hennecke (HPE)

Room: Senatssaal (7. OG)

Data staging between different storage systems (BeeGFS)

• Ingo Martini (ThinkParQ / BeeGFS)

Room: Senatssaal (7. OG) One of the challenges of dealing with large amounts of data is distributing and moving data between specialized storage systems to take advantage of their individual benefits. The use of different storage technologies for central repositories and scratch space and the staging of data into and out of fast scratch file systems requires solutions that can move data between these systems efficiently, with high bandwidth and low administration overhead. During the talk, we will show the solutions ThinkParQ is currently working on in and around BeeGFS and discuss them with the participants.

Fraunhofer IML: A flexible storage toolbox.

• Mirko Rahn (Fraunhofer ITWM)

Room: Senatssaal (7. OG) The talk gives an overview over the architecture of the Fraunhofer Infinite Memory Layer (IML), a toolbox for software-defined storage and in-memory computing. Some examples of how the IML facilitates the construction of domain-specific distributed storage layers are given. Furthermore the talk will outline how the IML is used as a backend in the Memory-Centric Storage for Exascale (MCSE) project.

Beschleunigte Datenpfade mit SmartNICs in verteilten Dateisystemen

• Jan Saß (Johannes Gutenberg-Universität)

Room: Senatssaal (7. OG) Steigende Datenmengen und funktionale Anforderungen an verteilte Dateisysteme erschweren die Entwicklung und Administration verteilter Dateisysteme. SmartNICs bieten eine geeignete Alternative, die es erlaubt eine Aktivitäten in den Datenpfad der Client-Server-Architektur zu verlagern ohne die bestehende Architektur zusätzlich zu belasten. Die NVIDIA BlueField3 DPU (Data Processing Unit) ist eine solche SmartNIC. BlueField3 verfügt neben eigenen ARM-Prozessoren über dedizierte Beschleunigungshardware in Form von sogennten Data Path Accelerators (DPA) sowie Lookaside Accelerators. DPAs sind direkt an den Datenpfad eingebunden und bieten 256 Threads für latenzkritischge Anwendungen. Lookaside Accelerators werden über den ARM-Prozessor gesteuert und erlauben die Abarbeitung dedizierter Aufgaben, bspw. Ver- und Entschlüsselung sowie Dekompression. Wir diskutieren erste Erkenntnisse bei der Verwendung der BlueField3 auf dem Datenpfad und mögliche Einsatzmöglichkeiten in Lustre. Anwendungsszenarien beinhalten die client-seitige transparente Verschlüsselung und Entschlüsselung des Datenverkehr von Lustre.

Machine Learning for I/O: Challenges and Opportunities

• Radita Liem (RWTH Aachen University)

Room: Senatssaal (7. OG) The increasing integration of machine learning and AI into HPC workflows presents both challenges and opportunities for I/O performance analysis. AI workloads, for example, generate I/O patterns that differ significantly from traditional HPC workloads, making it difficult to balance with the current I/O optimization configurations. On the other hand, machine learning also offers powerful tools to address challenges for predicting I/O performance, thus improving scheduling strategy, procurement, and application tuning. In this talk, I will present two works related to machine learning for I/O. The first work is a benchmark extension to emulate AI workloads, and the second one utilizes a transfer learning workflow to create an effective I/O performance prediction with a fraction of the data and computing power compared to the predecessor works, which require resources not available to small and medium clusters.

Wird KI uns die Studierenden wegnehmen?

• Michael Kuhn (Otto von Guericke University Magdeburg)

Room: Senatssaal (7. OG) Systemnahe Themengebiete, insbesondere die der Speicher- und Dateisysteme, werden in der Studierendenausbildung häufig vernachlässigt. Notwendige Betriebssystemkonzepte werden häufig nicht mehr als Teil des Grundstudiums vermittelt, stattdessen werden zunehmend Veranstaltungen zu Machine Learning bzw. Künstlicher Intelligenz gewünscht und gefordert. Daher gestalten sich Arbeiten an Speicher- und Dateisystemen aufgrund des benötigten Vorwissens und der teilweise langen Einarbeitungszeiten schwierig. Im Rahmen des Vortrags soll sowohl auf die Entwicklungen bei der Besetzung von Professuren und der Entwicklung von Studiengängen als auch auf die Lehre an der Fakultät für Informatik der OVGU eingegangen werden.

ETP4HPC SRA 6 Update and the Path to Explainable I/O

• Sarah Neuwirth (Johannes Gutenberg University Mainz)

Room: Senatssaal (7. OG)