Benchmark OpenLB

Gudrun spricht in dieser Folge mit Sarah Bischof, Timo Bohlig und
Jonas Albrecht. Die drei haben im Sommersemester 2021 am
Projektorientiertes Softwarepraktikum teilgenommen.


Das Praktikum wurde 2010 als forschungsnaher Lernort konzipiert.
Studierende unterschiedlicher Studiengänge arbeiten dort ein
Semester lang an konkreten Strömungssimulationen. Es wird
regelmäßig im Sommersemester angeboten. Seit 2014 liegt als
Programmiersprache die Open Source Software OpenLB zugrunde, die
ständig u.a. in der Karlsruher Lattice Boltzmann Research Group
(LBRG) weiter entwickelt wird.


Konkret läuft das Praktikum etwa folgendermaßen ab:
Die Studierenden erhalten eine theoretische Einführung in
Strömungsmodelle, die Idee von Lattice-Boltzmann-Methoden und die
Nutzung der Hochleistungrechner am KIT. Außerdem finden sie sich
für ein einführendes kleines Projekt in Gruppen zusammen.
Anschließend wählen sie aus einem Katalog eine Frage aus, die sie
bis zum Ende des Semesters mit Hilfe von Computersimulationen
gemeinsam beantworten. Diese Fragen sind Teile von
Forschungsthemen der Gruppe, z.B. aus Promotionsprojekten oder
Drittmittelforschung. Während der Projektphase werden die
Studierenden von dem Doktoranden/der Doktorandin der Gruppe, die
die jeweilige Frage gestellt haben, betreut. Am Ende des
Semesters werden die Ergebnisse in Vorträgen vorgestellt und
diskutiert oder es wird eine Podcastfolge aufgenommen. In einer
Ausarbeitung werden außerdem die Modellbildung, die Umsetzung in
OpenLB und die konkreten Simulationsergebnisse ausführlich
dargelegt und in den aktuellen Forschungsstand eingeordnet.


Sarah, Timo und Jonas sind am KIT im Masterstudiengang
Chemieingenieurwesen eingeschrieben. Neben den verschiedenen
Masterstudiengängen Mathematik kommen aus diesem Studiengang die
meisten Interessenten für das Softwarepraktikum. Im Podcast
erläutern sie, was sie an der Strömungssimulation interessiert
und inwieweit sie sich gut oder auch nicht so gut auf die
Anforderungen vorbereitet gefühlt haben, wie sie sich die Arbeit
in der Gruppe aufgeteilt haben und was sie an fachlichen und
überfachlichen Dingen dort gelernt haben.


Das Thema des Projektes war ein Benchmark für die Durchströmung
der Aorta. Dies ist einer der Showcases für OpenLB, die auf den
ersten Blick die Leistungsfähigkeit der Software demonstrieren
sollen.


Das Projekt wurde von der Gruppe in drei Teile gegliedert:


Benchmark Test auf dem bwUniCluster 2.0 (High Performance
Computer)

Performance Analyse mit selbstgeschriebener Source Code
Erweiterung

Performance Analyse mit externer Software (Validierung der
Source Code Erweiterung)



Mit Hilfe der Benchmark Tests auf dem HPC konnte die maximale
Skalierbarkeit des Aorta Source Codes in Abhängigkeit der
Problemgröße gefunden werden. Sie gibt an, auf wie vielen
Computerprozessoren der Showcase mit der höchsten Performance
simuliert werden kann. Des Weiteren wurde die parallele Effizienz
mit Hilfe der Speedup Kennzahl untersucht. Diese beschreibt
inwiefern sich die Simulationszeit infolge von Erhöhung der
Prozessoranzahl verringert. In beiden Fällen zeigten die
Performanceindikatoren ein Maximum bei 400-700 Prozessoreinheiten
für Problemgrößen bis zu einer Resolution von N = 80.


Das Softwarepaket OpenLB beinhaltet in Release 1.4r0 keine
detaillierten Schnittstellen zur Performancemessung. Durch eine
Source Code Erweiterung konnte eine interne Zeitmessung der
einzelnen Funktionen des Codes realisiert werden. Dabei wurden so
genannte Bottlenecks identifiziert und dokumentiert, welche durch
Updates in zukünftigen Versionen der Software eliminiert werden
sollen. Des Weiteren konnte auch durch die Code Erweiterung eine
Aussage über die Parallelisierung getroffen werden. Im Vergleich
zu den Benchmark Tests können direkt Funktionen des Source Codes,
die die Parallelisierung hemmen, bestimmt werden. Die Performance
Analyse durch das externe Programm und durch die Source Code
Erweiterung bestätigen eine gut funktionierende Parallelisierung.


Die Realisierung erfolgte dabei durch die Messung der Laufzeit
der Hauptschritte einer OpenLB Simulation, sowie der
detaillierten Analyse einzelner Funktionen. Diese finden sich zum
aktuellen Zeitpunkt im Post-Processing des "Collide And Stream"
Schrittes der Simulation. Collide And Stream beschreibt einen
lokalen Berechnungsschritt, einen lokalen und einen nicht lokalen
Übertragungsschritt. Der Kollisionsschritt bestimmt ein lokales
Gleichgewicht der Massen-, Momenten- und Energiebilanzen. Im
nicht-lokalen Streaming Schritt werden diese Werte auf die
angrenzenden Blöcke des Simulationsgitters übertragen. Dies
ermöglicht im Vergleich zu CFD-Simulationen, die auf Basis der
Finite-Volumen-Methode (FVM) die Navier-Stokes Gleichungen lösen,
effizientere Parallelisierung insbesondere bei Einsatz einer
HPC-Einheit. Die Post Prozessoren im Collide And Stream wenden
unter anderem bestimmte, im vorangegangenen Schritt gesetzte
Randbedingungen auf definierte Bereiche der Simulationsgeometrie
an. Sie werden dabei nur für nicht-lokale Randbedingungen
verwendet, weitere Randbedingungen können auch innerhalb des
Kollisionsschrittes modelliert werden. Im Showcase der Aorta ist
für das Fluid (Blut) am Eingang der Simulation eine
Geschwindigkeits-Randbedingung nach Bouzidi mit
Poiseuille-Strömungsprofil und am Ausgang eine "stress-free"
Bedingung gewählt. Für die Aortawand ist eine no-slip Bedingung
mit Fluidgeschwindigkeit null implementiert (Für genauere
Informationen zum Simulationsaufbau hier und hier.


Die Laufzeit der Post-Processor Funktionen, deren Aufgabe es ist
die Randbedingungen anzuwenden, können mit dem Timer des Release
1.4r0 nicht analysiert werden. Mit Blick auf spätere Releases ist
es mit der Source Code Erweiterung nun möglich mit geringem
Aufwand Daten über die Effizienz der vorhandenen, neuer oder
verbesserter Funktionen in OpenLB zu gewinnen.


Eine integrierte Zeitmessung als Analysetool kann einen direkten
Einfluss auf die Performance des Source Codes haben, weshalb mit
Hilfe der externen Software AMDµProf die Bottlenecks validiert
wurden. Sowohl bei der internen als auch externe Performance
Analyse sind die selben Post-Processing Schritte als Bottlenecks
erkennbar, welches die Code Erweiterung validiert. Zusätzlich
konnte mit der AMDμProf-Software die aktuelle OpenLB Version
1.4r0 mit der vorherigen Version 1.3r1 verglichen werden. Dabei
fällt auf, dass sich die Bottlenecks vom Berechnungsschritt in
Collide And Stream (Release 1.3r1) zum Post-Processing Schritt in
Collide And Stream (Release 1.4r0) verschoben haben. Abschließend
wurde eine vektorisierte Version von OpenLB erfolgreich getestet
und ebenfalls auf Bottlenecks untersucht. Eine Vektorisierung
eines Codes, auch bekannt als SIMD, soll die Parallelisierung
verbessern und der Aorta Simulation eine bessere Performance
verleihen. Das Bottleneck des Post-Processing Schritts in Collide
And Stream, speziell durch Implementierung neuer Bouzidi
Boundaries, wurde durch eine weitere Gruppe im Rahmen des
Projektorientierten Softwarepraktikums optimiert. Es konnte eine
Performance Verbesserung um einen Faktor 3 erreicht werden (mit
OpenMP Compiler). Durch eine gezielte Analyse der Bottlenecks im
Code konnte das Potential für die Beschleunigung der Simulation
erweitert werden.


Aber natürlich lohnt es sich hier weiterhin anzusehen, wo noch
konkretes Potential für die Beschleunigung der Simulation liegt.
Zumal seit dem letzten Relounch einige Pardigmen in der Software
OpenLB verändert wurden.


Podcasts

L. Dietz, J. Jeppener, G. Thäter: Gastransport - Gespräch
im Modellansatz Podcast, Folge 214, Fakultät für Mathematik,
Karlsruher Institut für Technologie (KIT) 2019.

A. Akboyraz, A. Castillo, G. Thäter: Poiseuillestrom -
Gespräch im Modellansatz Podcast, Folge 215, Fakultät für
Mathematik, Karlsruher Institut für Technologie (KIT) 2019.

A. Bayer, T. Braun, G. Thäter: Binärströmung, Gespräch im
Modellansatz Podcast, Folge 218, Fakultät für Mathematik,
Karlsruher Institut für Technologie (KIT), 2019.




Literatur und weiterführende Informationen

Showcase blood flow simulation auf der Seite der Software
OpenLB

Aortic Coarctation Simulation Based on the Lattice
Boltzmann Method: Benchmark Results, Henn, Thomas;Heuveline,
Vincent;Krause, Mathias J.;Ritterbusch, Sebastian

MRI-based computational hemodynamics in patients with
aortic coarctation using the lattice Boltzmann methods:
Clinical validation study; Mirzaee, Hanieh;Henn, Thomas;Krause,
Mathias J.;Goubergrits, Leonid; Schumann, Christian;
Neugebauer, Mathias; Kuehne, Titus; Preusser, Tobias;
Hennemuth, Anja