
Willkommen auf unserer Infoseite zur Nutzung von Höchstleistungsrechnern! Hier finden Sie Informationen zu verschiedenen Themen im Kosmos Höchstleistungsrechnen. Nutzen Sie hierzu unsere Suche oder springen Sie über die Kacheln zu den verschiedenen Bereichen.
Bitte beachten Sie: Diese Seite sammelt Links und Informationen zu spezifischen Themen. Wenn Sie individuelle Fragen haben oder grundlegendere Informationen benötigen, besuchen Sie unsere Seite zu Trainings oder nutzen Sie unser Kontaktformular.
HPC ZUGANG
SOFTWARE
DATEN MANAGEMENT
VISUALISIERUNG & POSTPROCESSING
HPC-Zugang
- Voraussetzungen (Rechenzeitprojekt, JUDOOR-Account), Anleitung SSH-Login, GUI per X-Forwarding, Putty, VNC: JUWELS, JURECA oder via JupyterLab (Folien und Video)
- Job-Monitoring und Nutzer-Portal
- Nutzungsbeispiel: Deep Learning on Supercomputers – An Introduction (MNIST Tutorial mit Keras/Tensorflow, Anpassung für Distributed Training (Horovod), (GIT repo)
Projekt
- Am LRZ können Projekte ausschließlich durch akademische Einrichtungen, jedoch mit Industriebeteiligung (Projektpartner), beantragt werden.
- Projekt-Antrag:
- Wie weiter nach der Bewilligung?
SSH
Überblick und Status der HPC-Systeme
Graphisch aufbereitetes HPC-Job-Monitoring: Portal, Dokumentation
Arbeitsumgebungen
- Compute Cloud: Zugangsinformationen, Präsentation Überblick
VNC: Nutzung eines serverseitig vorkonfigurierten Remote-Desktops auf dedizierten Knoten des Linux Clusters oder Supercomputers
- HPC-Zugang
- SSH-Login über klassische Konsole mit fester IP-Adresse
- HPC-Zugang
- SSH-Login über klassische Konsole mit fester IP-Adresse
#HPE Apollo (#Hawk) #NEC Cluster access (#vulcan) #SSH-Login
Software
Ohne Software kein High Performance Computing, AI oder Cloud Computing! Moderne HPC-Systeme unterscheiden sich deutlich von Computern aus dem Consumer-Bereich hinsichtlich ihrer Architektur (z. B. Art und Anzahl der Rechenkerne, Größe des Arbeitsspeichers), der Speichermedien und vor allem der meist komplexen Netzwerktopologie. Daher kommen auf die HPC-Systeme angepasste Betriebssysteme zum Einsatz. Auf deren Grundlage wird den Nutzer/innen ein breites Software-Portfolio bereitgestellt. Das umfasst einerseits auf das HPC-System abgestimmte Basis-Software wie z. B. Compiler oder Kommunikationsbibliotheken für paralleles Rechnen, und andererseits die HPC-Anwendungen wie z. B. Simulationssoftware und wissenschaftliche Bibliotheken. Das Software-Angebot steht den Nutzer/innen üblicherweise über ein Modulsystem zur Verfügung. Software-Komponenten in den gewünschten Versionen können zusammengestellt und in Rechenjobs eingesetzt werden.
Das Angebot umfasst neben Open-Source-Paketen und Community-Anwendungen auch kommerzielle Software. Darüber hinaus steht es den Nutzer/innen frei, Software-Pakete oder selbst-entwickelte Programme in ihr privates Verzeichnis zu installieren. Auf Wunsch kann Software auch in das Portfolio aufgenommen oder auch Unterstützung bei der Installation und Konfiguration auf dem HPC-System geleistet werden.
Erklärungen und Beispiele zu Software sind nachfolgend aufgeführt.
#Anwendersoftware #Bibliotheken #Entwicklungsumgebung #Jupyter #Modulsystem #Paketmanager #Remote Access #Spack #Userspace
- Bereitgestellte Software-Umgebung: Modulsystem und Spack: Dokumentation, Präsentation Überblick
- Spack im User-Space zur eigenen Software-Installation durch Nutzer
- Jupyter on HPC systems
- Software mit Remote-Access-Funktionalität, z. B.: Visual Studio Code, Matlab
- Application software packages – HLRS Platforms
Datenmanagement
In HPC-Projekten entstehen typischerweise große Mengen an Daten. Speichersysteme mit anforderungsgerechten Eigenschaften gewährleisten bei der Handhabung dieser Daten eine optimale Leistung. Beispielsweise ermöglichen parallele Dateisysteme ein schnelles, paralleles Lesen und Schreiben von Daten während eines HPC-Jobs, welche zur dauerhaften Sicherung in Langzeit-Archive bewegt werden können. Erklärungen zu den verschiedenen Speichersystemen und deren Nutzung, sowie die Möglichkeiten des Datentransfers zwischen verschiedenen Dateisystemen sind in dieser Kategorie verlinkt.
#Archiv #Dateisysteme #Datenkurator #Datentransfer #DSS #GIT #GlobusOnline #HPSS Archiv #Langzeitspeicher #LinuxCluster #NEC Cluster Disk Storage #parallel #Ressourcen #scp #Speicher #Storage #SuperMUC-NG #WorkSpace
- Eigenschaften und Verwendung der Dateisysteme: Supercomputer, Linux Cluster
- Data Science Storage
- Data Science Archive
- Datentransfer zwischen den Zentren bzw. Nutzer-Arbeitsplatz und Zentrum via Globus Online oder scp
Visualisierung & Postprocessing
Wir unterstützen Ingenieure und Wissenschaftler, industriellen Nutzern aber auch den öffentlichen Sektor bei der visuellen Analyse von Daten, die typischerweise durch Simulationen auf Hochleistungsrechnern erzeugt werden.
Hierzu können unterschiedliche Visualisierungsmethoden und -technologien aus unser Portfolio angewendet werden. Zur Visualisierung von Ergebnissen ist ein gesonderter Zugang zu dafür vorgesehenen Visualisierungsknoten notwendig.
Der Zugang erfolgt über Remote Desktop (über einen Webbrowser) oder Client-Server (Software erforderlich). Eine weitere Möglichkeit ist über VNC-Viewer (Software erforderlich) oder die Nutzung von JupyterLab (Webbroswer). Weitere Informationen und Dokumentationen finden Sie hier.
#Browser #Desktop #LinuxCluster #OpenGL #Paraview #Remote #SuperMUC-NG #VirtualGL #VisIt #Visualisierung #VNC #Web-Frontend #Xpra
- Remote Visualisation 2021 als webbasiertes Frontend, Arbeit auf einem Remote Desktop: Portal, Dokumentation
- Paraview in Rechenjobs (batch-Modus) oder zur interaktiven Arbeit auf Rechenknoten (Client-Server-Modus)
- ParaView -> Anmeldung über Client: Hawk PrePostProcessing – HLRS Platforms
- Graphic Environment: VNC-Zugang: Graphic Environment – HLRS Platforms
- COVISE tutorial.pdf (hlrs.de)
- COVISE Online Documentation (hlrs.de)