- Status Lustre / laufender Betrieb
- Probleme mit MultiRail bei zusätzlichem tcp LNET (auf IB) und externen Clients
- Dateisystemanalyse / MDT-Scans
GSI Helmholtzzentrum in Darmstadt betreibt ein Lustre-Dateisystem zur Speicherung und Analyse von Experimentdaten, Simulationsdaten und "Theorie-Daten" aller verbundener Kollaborationen und Gruppen.
Der Vortrag berichtet von verschiedenen Aspekten und Schwierigkeiten im Aufbau und Betrieb des Dateisystems.
Der Transfer von Daten im Tera- und Petabytebereich zwischen parallelen Filesystemen wirft spezifische Fragen auf.
- Wie kann das Netzwerk optimal genutzt werden?
- Wie kann ein abgebrochener Transfer wieder aufgenommen werden?
- Wie kann eine gemeinsame Authentsierung und Authorisierung erreicht werden?
- Wie können umfangreiche Rohdaten der entsprechenden Forschungscommunity zur...
Es wird die Lustre-Installation für den Cluster Mogon-NHR vorgestellt. Die Präsentation enthält technische Details über die eingesetzte Hardware und die Lustre-Tuning-Parameter. Der Ausblick zeigt geplante Änderungen und Erweiterungen für die Zukunft.
This talk will present the current status of Lustre development, upcoming features, and road map. Further, other topics, such as nodemaps and the evolution of I/O interfaces, will be discussed.
One of the challenges of dealing with large amounts of data is distributing and moving data between specialized storage systems to take advantage of their individual benefits. The use of different storage technologies for central repositories and scratch space and the staging of data into and out of fast scratch file systems requires solutions that can move data between these systems...
The talk gives an overview over the architecture of the Fraunhofer Infinite Memory Layer (IML), a toolbox for software-defined storage and in-memory computing. Some examples of how the IML facilitates the construction of domain-specific distributed storage layers are given. Furthermore the talk will outline how the IML is used as a backend in the Memory-Centric Storage for Exascale (MCSE) project.
Steigende Datenmengen und funktionale Anforderungen an verteilte Dateisysteme erschweren die Entwicklung und Administration verteilter Dateisysteme. SmartNICs bieten eine geeignete Alternative, die es erlaubt eine Aktivitäten in den Datenpfad der Client-Server-Architektur zu verlagern ohne die bestehende Architektur zusätzlich zu belasten. Die NVIDIA BlueField3 DPU (Data Processing Unit) ist...
The increasing integration of machine learning and AI into HPC workflows presents both challenges and opportunities for I/O performance analysis. AI workloads, for example, generate I/O patterns that differ significantly from traditional HPC workloads, making it difficult to balance with the current I/O optimization configurations. On the other hand, machine learning also offers powerful tools...
Systemnahe Themengebiete, insbesondere die der Speicher- und Dateisysteme, werden in der Studierendenausbildung häufig vernachlässigt. Notwendige Betriebssystemkonzepte werden häufig nicht mehr als Teil des Grundstudiums vermittelt, stattdessen werden zunehmend Veranstaltungen zu Machine Learning bzw. Künstlicher Intelligenz gewünscht und gefordert. Daher gestalten sich Arbeiten an Speicher-...
