Vorlesung Parallele Programmierung

Die parallele Programmierung gewinnt immer mehr an Bedeutung, da heutzutage bereits Mobiltelefone und Laptops über mehrere Prozessorkerne verfügen. Supercomputer besitzen teilweise sogar mehrere Millionen Kerne und haben sich als ein nützliches und mittlerweile unverzichtbares Werkzeug für viele Wissenschaftsbereiche etabliert. Die dadurch möglichen Analysen und Simulationen haben es erlaubt, den wissenschaftlichen Erkenntnisgewinn in vielen Bereichen deutlich zu steigern.

Die optimale Nutzung dieser Komponenten ist allerdings keine einfache Aufgabe, weshalb Wissenschaftlerinnen und Wissenschaftler bei der Entwicklung effizienter Anwendungen vor immer neue Herausforderungen gestellt werden. Für die parallele Programmierung ist daher ein tiefergehendes Verständnis der Hard- und Softwareumgebung sowie möglicher Fehlerursachen unabdingbar.

In der Vorlesung werden die Grundlagen der parallelen Programmierung gelehrt; die Übungen dienen der praktischen Anwendung und Umsetzung der erworbenen Kenntnisse in der Programmiersprache C.

Im Rahmen der Vorlesung werden einige der wichtigsten Themengebiete betrachtet: Hard- und Softwarekonzepte (Mehrkernprozessoren, Prozesse/Threads, NUMA etc.), unterschiedliche Ansätze zur parallelen Programmierung (OpenMP, POSIX Threads, MPI) sowie Werkzeuge zur Leistungsanalyse und Fehlersuche (Skalierbarkeit, Deadlocks, Race Conditions etc.). Zusätzlich werden Gründe und Lösungsansätze für Leistungsprobleme diskutiert und alternative Ansätze für die parallele Programmierung vorgestellt. Beispiele und Probleme werden anhand realer wissenschaftlicher Anwendungen veranschaulicht.

Veranstaltungsdaten

Vorlesung: Montag 17:15-18:45 Uhr (G10-110)
Übungen: Dienstag 7:15-8:45 Uhr (G50-018), Mittwoch 15:15-16:45 Uhr (G22A-111) und Mittwoch 15:15-16:45 Uhr (G50-018)
Kontakt: Michael Kuhn und Michael Blesel

Lernziel

Die Teilnehmenden lernen, parallele Programme mit verschiedenen Programmieransätzen zu erstellen, zur Ausführung zu bringen und im Ablauf zu optimieren. Außerdem werden weitere Konzepte zur Parallelisierung vermittelt und in den Übungen praktisch umgesetzt.

Voraussetzungen

Notwendige Voraussetzungen für die Vorlesung:

Praktische Kenntnis einer Programmiersprache und die Fähigkeit, einfache Programme zu erstellen

Empfohlene Vorkenntnisse:

Kenntnis der Grundmechanismen von Betriebssystemen (z. B. Technische Informatik)
Grundkenntnisse in Rechnerarchitekturen

Zeitplan der Vorlesung

11.10.2021: Introduction
18.10.2021: Performance Analysis and Optimization
25.10.2021: Hardware Architectures
01.11.2021: Parallel Programming
08.11.2021: Programming with OpenMP
15.11.2021: Operating System Concepts
22.11.2021: Programming with POSIX Threads
29.11.2021: Networking and Scalability
06.12.2021: Programming with MPI
13.12.2021: Advanced MPI and Debugging
20.12.2021: Virtual Computer Room Tour (Gastveranstaltung von Jannek Squar)
10.01.2022: (Shared-Memory) Parallelization in Short-Range Molecular Dynamics (Gastvorlesung von Prof. Dr. Philipp Neumann)
17.01.2022: Parallel I/O
24.01.2022: Research Talks und Nachbesprechung
- SPMDClang (Gastvortrag von Michael Blesel)

Zeitplan der Übungen

11.10.2021: Einführung
18.10.2021: Debugging
25.10.2021: Leistungsoptimierung einer seriellen Anwendung
01.11.2021: Parallelisierungsschema
08.11.2021: Parallelisierung mit OpenMP
22.11.2021: Parallelisierung mit POSIX Threads
06.12.2021: MPI-Einführung
13.12.2021: Parallelisierung mit MPI (Jacobi)
10.01.2022: Parallelisierung mit MPI (Gauß-Seidel)

Literatur

High Performance Computing: Modern Systems and Practices (Thomas Sterling, Matthew Anderson and Maciej Brodowicz)
Parallel Programming: for Multicore and Cluster Systems (Thomas Rauber and Gudula Rünger)
Parallel Programming: Concepts and Practice (Dr. Bertil Schmidt, Dr. Jorge Gonzalez-Dominguez, Christian Hundt and Moritz Schlarb)