EOFS-Workshop 2025 "Offene Parallele Dateisysteme: Status, Entwicklungstrends und Aspekte der Ausbildung und des Betriebs"

Feb 27, 2025, 12:55 PM → Feb 28, 2025, 2:00 PM Europe/Berlin

Senatssaal (7. OG) (NatFak)

Sarah Neuwirth (Johannes Gutenberg University Mainz), Frank Baetke (EOFS), Michael Kluge (TU Dresden)

Motivation und Zielsetzung:

Nach dem ersten deutschen EOFS LUSTRE Workshop am DKRZ in Hamburg im Oktober 2022 und an der TU Dresden im Februar 2024 waren sich die Teilnehmer einig, dieses Konzept mit jeweils zwei Halbtagen weiterzuführen. Um eine zeitliche Nähe mit Veranstaltungen ähnlicher Thematik (LAD, SC, ISC) zu vermeiden und um eine vorlesungsfreie Zeit sicherzustellen, lädt die Johannes Gutenberg-Universität Mainz am Donnerstag, den 27. Februar ab 13:00, und Freitag, den 28. Februar bis 13:00, zum Deutschen EOFS Workshop 2025 ein. Für den Donnerstagabend planen wir ein gemeinsames Abendessen.

Der Fokus liegt wiederum auf allen im deutschsprachigen Umfeld eingesetzten quelloffenen Dateisystemen, wobei nicht nur Produkte im aktuellen Betrieb wie BeeGFS, DAOS und Lustre, sondern auch experimentelle Dateisysteme wie z. B. GekkoFS diskutiert werden.
Neben Aspekten des Betriebs im Rechenzentrum soll auch die deutsche Informatikausbildung im Hinblick auf parallele Dateisysteme, I/O-Architekturen und Betriebssysteme beleuchtet werden.

Die Beiträge (Kurzvorträge von 20 Minuten) sollen sich folgenden Themenbereichen zuordnen lassen:

• Status und Entwicklungstrends bei BeeGFS, DAOS und Lustre sowie bei experimentelle Architekturen
• Erfahrungen, Entwicklungswünsche und Aspekte des Betriebs im Rechenzentrum
• Probleme und Vorschläge zur Informatikausbildung im Bereich paralleler Dateisysteme, IO-Architekturen und Betriebssysteme

Konferenzsprache ist primär Deutsch, englische Vorträge und englischsprachige Folien werden ebenfalls akzeptiert. Wie beim letzten Workshop werden die Beiträge einer Sitzung jeweils am Ende der Sitzung gemeinsam diskutiert.

Die Zielsetzung des Workshops ist es, positive und negative Erfahrungen und Konzepte  auszutauschen, Entwicklungstrends zu beurteilen, Wünsche an die Entwicklungsteams zu formulieren und persönliche Kontakte auszubauen. 

Programmkomitee:

• Prof. Dr. Sarah Neuwirth (JGU Mainz)
• Dr. Frank Baetke (EOFS)
• Dr. Michael Kluge (TU Dresden)

Thu, February 27

EOFS-Workshop 2025 - Begrüßung, Zielsetzung und Agenda

Conveners: Frank Baetke (EOFS), Sarah Neuwirth (Johannes Gutenberg University Mainz)

1 Status Lustre am DKRZ

• Status Lustre / laufender Betrieb
• Probleme mit MultiRail bei zusätzlichem tcp LNET (auf IB) und externen Clients
• Dateisystemanalyse / MDT-Scans

Speaker: Carsten Beyer

2 Performanceverhalten von CephFS für HPC und AI

Im Bereich der Enterprise IT ist Ceph als Open Source Storage Plattform,
die Block-, File- und Object Storage bereitstellen kann, seit Jahren
etabliert und wird dort insb. in OpenSource Virtualisierungsumgebungen
wie OpenStack, Proxmox, etc. eingesetzt. In den letzten Jahren hat sich
aber auch das Performanceverhalten insb. von CephFS sehr positiv
entwickelt, sodass der NHR Standort GWDG/Uni Göttingen es als Storage
Plattform für den Capacity Tier seiner HPC Systeme etabliert, um damit
seine Storagelandschaft zu vereinheitlichen. In diesem Vortrag wir das
Performanceverhalten der installierten Storage Cluster mit der IO500
Benchmarksuite in der Performanceoptimierungsphase der Inbetriebnahme
vorgestellt und mit anderen Storagesystemen am Standort verglichen.

Speaker: Sebastian Krey (GWDG)

Krey.pdf

3 Lustre at GSI

GSI Helmholtzzentrum in Darmstadt betreibt ein Lustre-Dateisystem zur Speicherung und Analyse von Experimentdaten, Simulationsdaten und "Theorie-Daten" aller verbundener Kollaborationen und Gruppen.
Der Vortrag berichtet von verschiedenen Aspekten und Schwierigkeiten im Aufbau und Betrieb des Dateisystems.

Speaker: Thomas Roth (GSI Darmstadt)

Lustre_GSI.pdf

4 Transfer von grossen Datenmengen zwischen entfernten parallelen Filesystemen mit Globus

Der Transfer von Daten im Tera- und Petabytebereich zwischen parallelen Filesystemen wirft spezifische Fragen auf.

• Wie kann das Netzwerk optimal genutzt werden?
• Wie kann ein abgebrochener Transfer wieder aufgenommen werden?
• Wie kann eine gemeinsame Authentsierung und Authorisierung erreicht werden?
• Wie können umfangreiche Rohdaten der entsprechenden Forschungscommunity zur Verfügung gestellt werden.

Mit der Globus-Platform, die gridftp mit einem Zertifikatsmanagement verbindet, können diese Herausforderungen ohne übermässigen Aufwand angegangen werden.

Speaker: Christian Bolliger (ETH Zurich)

Globus-EOFS-2025.pdf

Diskussion zu den Vorträgen

3:45 PM Kaffeepause

5 Lustre-Installation an der JGU Mainz: Status Quo und Ausblick

Es wird die Lustre-Installation für den Cluster Mogon-NHR vorgestellt. Die Präsentation enthält technische Details über die eingesetzte Hardware und die Lustre-Tuning-Parameter. Der Ausblick zeigt geplante Änderungen und Erweiterungen für die Zukunft.

Speaker: Dr Sergey Noskov (ZDV Universität Mainz)

EOFS2025.pdf

6 Lustre status and the path forward

This talk will present the current status of Lustre development, upcoming features, and road map. Further, other topics, such as nodemaps and the evolution of I/O interfaces, will be discussed.

Speaker: Marc Vef (DDN\Whamcloud)

02_25_EOFS_workshop.pdf

7 DAOS Community Update

Speaker: Michael Hennecke (HPE)

8 Data staging between different storage systems (BeeGFS)

One of the challenges of dealing with large amounts of data is distributing and moving data between specialized storage systems to take advantage of their individual benefits. The use of different storage technologies for central repositories and scratch space and the staging of data into and out of fast scratch file systems requires solutions that can move data between these systems efficiently, with high bandwidth and low administration overhead. During the talk, we will show the solutions ThinkParQ is currently working on in and around BeeGFS and discuss them with the participants.

Speaker: Ingo Martini (ThinkParQ / BeeGFS)

Diskussion und Tagesabschluss

Gemeinsames Abendessen (Restaurant Baron)

Restaurant Baron
Johann-Joachim-Becher-Weg 3, 55128 Mainz

Fri, February 28

8:30 AM Kaffee, Tee und Snacks / Early Morning Discussions

9 Fraunhofer IML: A flexible storage toolbox.

The talk gives an overview over the architecture of the Fraunhofer Infinite Memory Layer (IML), a toolbox for software-defined storage and in-memory computing. Some examples of how the IML facilitates the construction of domain-specific distributed storage layers are given. Furthermore the talk will outline how the IML is used as a backend in the Memory-Centric Storage for Exascale (MCSE) project.

Speaker: Mirko Rahn (Fraunhofer ITWM)

10 Beschleunigte Datenpfade mit SmartNICs in verteilten Dateisystemen

Steigende Datenmengen und funktionale Anforderungen an verteilte Dateisysteme erschweren die Entwicklung und Administration verteilter Dateisysteme. SmartNICs bieten eine geeignete Alternative, die es erlaubt eine Aktivitäten in den Datenpfad der Client-Server-Architektur zu verlagern ohne die bestehende Architektur zusätzlich zu belasten. Die NVIDIA BlueField3 DPU (Data Processing Unit) ist eine solche SmartNIC. BlueField3 verfügt neben eigenen ARM-Prozessoren über dedizierte Beschleunigungshardware in Form von sogennten Data Path Accelerators (DPA) sowie Lookaside Accelerators. DPAs sind direkt an den Datenpfad eingebunden und bieten 256 Threads für latenzkritischge Anwendungen. Lookaside Accelerators werden über den ARM-Prozessor gesteuert und erlauben die Abarbeitung dedizierter Aufgaben, bspw. Ver- und Entschlüsselung sowie Dekompression. Wir diskutieren erste Erkenntnisse bei der Verwendung der BlueField3 auf dem Datenpfad und mögliche Einsatzmöglichkeiten in Lustre. Anwendungsszenarien beinhalten die client-seitige transparente Verschlüsselung und Entschlüsselung des Datenverkehr von Lustre.

Speaker: Jan Saß (Johannes Gutenberg-Universität)

presentation.pdf

11 Machine Learning for I/O: Challenges and Opportunities

The increasing integration of machine learning and AI into HPC workflows presents both challenges and opportunities for I/O performance analysis. AI workloads, for example, generate I/O patterns that differ significantly from traditional HPC workloads, making it difficult to balance with the current I/O optimization configurations. On the other hand, machine learning also offers powerful tools to address challenges for predicting I/O performance, thus improving scheduling strategy, procurement, and application tuning.

In this talk, I will present two works related to machine learning for I/O. The first work is a benchmark extension to emulate AI workloads, and the second one utilizes a transfer learning workflow to create an effective I/O performance prediction with a fraction of the data and computing power compared to the predecessor works, which require resources not available to small and medium clusters.

Speaker: Radita Liem (RWTH Aachen University)

10:30 AM Pause (Kaffee/Tee)

12 Wird KI uns die Studierenden wegnehmen?

Systemnahe Themengebiete, insbesondere die der Speicher- und Dateisysteme, werden in der Studierendenausbildung häufig vernachlässigt. Notwendige Betriebssystemkonzepte werden häufig nicht mehr als Teil des Grundstudiums vermittelt, stattdessen werden zunehmend Veranstaltungen zu Machine Learning bzw. Künstlicher Intelligenz gewünscht und gefordert. Daher gestalten sich Arbeiten an Speicher- und Dateisystemen aufgrund des benötigten Vorwissens und der teilweise langen Einarbeitungszeiten schwierig. Im Rahmen des Vortrags soll sowohl auf die Entwicklungen bei der Besetzung von Professuren und der Entwicklung von Studiengängen als auch auf die Lehre an der Fakultät für Informatik der OVGU eingegangen werden.

Speaker: Michael Kuhn (Otto von Guericke University Magdeburg)

13 ETP4HPC SRA 6 Update and the Path to Explainable I/O

Speaker: Sarah Neuwirth (Johannes Gutenberg University Mainz)

Diskussion zu den Vorträgen

Ergebnisse, Dissemination und Verabschiedung

Conveners: Frank Baetke (EOFS), Michael Kluge (TU Dresden), Sarah Neuwirth (Johannes Gutenberg University Mainz)