Parallel

Computing

and I/O

Die parallele Programmierung gewinnt immer mehr an Bedeutung, da heutzutage bereits Mobiltelefone und Laptops über mehrere Prozessorkerne verfügen. Supercomputer besitzen teilweise sogar mehrere Millionen Kerne und haben sich als ein nützliches und mittlerweile unverzichtbares Werkzeug für viele Wissenschaftsbereiche etabliert. Die dadurch möglichen Analysen und Simulationen haben es erlaubt, den wissenschaftlichen Erkenntnisgewinn in vielen Bereichen deutlich zu steigern.

Die optimale Nutzung dieser Komponenten ist allerdings keine einfache Aufgabe, weshalb Wissenschaftlerinnen und Wissenschaftler bei der Entwicklung effizienter Anwendungen vor immer neue Herausforderungen gestellt werden. Für die parallele Programmierung ist daher ein tiefergehendes Verständnis der Hard- und Softwareumgebung sowie möglicher Fehlerursachen unabdingbar.

In der Vorlesung werden die Grundlagen der parallelen Programmierung gelehrt; die Übungen dienen der praktischen Anwendung und Umsetzung der erworbenen Kenntnisse in der Programmiersprache C.

Im Rahmen der Vorlesung werden einige der wichtigsten Themengebiete betrachtet: Hard- und Softwarekonzepte (Mehrkernprozessoren, Prozesse/Threads, NUMA etc.), unterschiedliche Ansätze zur parallelen Programmierung (OpenMP, POSIX Threads, MPI) sowie Werkzeuge zur Leistungsanalyse und Fehlersuche (Skalierbarkeit, Deadlocks, Race Conditions etc.). Zusätzlich werden Gründe und Lösungsansätze für Leistungsprobleme diskutiert und alternative Ansätze für die parallele Programmierung vorgestellt. Beispiele und Probleme werden anhand realer wissenschaftlicher Anwendungen veranschaulicht.

Veranstaltungsdaten

• Vorlesung: Dienstag 15:15-16:45 Uhr
• Übungen: Mittwoch 9:15-10:45 Uhr und Donnerstag 9:15-10:45 Uhr
• Ort: Online
• Kontakt: Michael Kuhn

Lernziel

Die Teilnehmenden lernen, parallele Programme mit verschiedenen Programmieransätzen zu erstellen, zur Ausführung zu bringen und im Ablauf zu optimieren. Außerdem werden weitere Konzepte zur Parallelisierung vermittelt und in den Übungen praktisch umgesetzt.

Voraussetzungen

Notwendige Voraussetzungen für die Vorlesung:

• Praktische Kenntnis einer Programmiersprache und die Fähigkeit, einfache Programme zu erstellen

Empfohlene Vorkenntnisse:

• Kenntnis der Grundmechanismen von Betriebssystemen
• Grundkenntnisse in Rechnerarchitekturen

Zeitplan der Vorlesung

• 27.10.2020: Introduction
• 03.11.2020: Performance Analysis and Optimization
• 10.11.2020: Hardware Architectures
• 17.11.2020: Parallel Programming
• 24.11.2020: Programming with OpenMP
• 01.12.2020: Operating System Concepts
• 08.12.2020: Programming with POSIX Threads
• 15.12.2020: Networking and Scalability
• 22.12.2020: Virtual Computer Room Tour
• 05.01.2021: Programming with MPI
• 12.01.2021: Advanced MPI and Debugging
• 19.01.2021: (Shared-Memory) Parallelization in Short-Range Molecular Dynamics (Gastvorlesung von Prof. Dr. Philipp Neumann)
• 26.01.2021: Parallel I/O
• 02.02.2021: Research Talks
  • Future Developments in Parallel Programming (Gastvortrag von Georgiana Mania)
  • Compiler Assisted Source Transformation of OpenMP Kernels (Gastvortrag von Jannek Squar)

Zeitplan der Übungen

• 26.10.2020: Einführung
• 02.11.2020: Debugging
• 09.11.2020: Leistungsoptimierung einer seriellen Anwendung
• 16.11.2020: Parallelisierungsschema
• 23.11.2020: Parallelisierung mit OpenMP
• 07.12.2020: Parallelisierung mit POSIX Threads
• 04.01.2021: MPI-Einführung
• 18.01.2021: Parallelisierung mit MPI

Literatur

• High Performance Computing: Modern Systems and Practices (Thomas Sterling, Matthew Anderson and Maciej Brodowicz)
• Parallel Programming: for Multicore and Cluster Systems (Thomas Rauber and Gudula Rünger)
• Parallel Programming: Concepts and Practice (Dr. Bertil Schmidt, Dr. Jorge Gonzalez-Dominguez, Christian Hundt and Moritz Schlarb)