autoBLAS in verteilten Umgebungen

Massiv parallele Systeme sind das Ruckgrat des modernen Hochleistungsrechnens und werden es auch im kommenden Exascale-Zeitalter bleiben. Sie bestehen aus einer Vielzahl an Knoten mit CPUs und GPUs, mitunter auch TPUs, FPGAs und ASICs, die durch Hochgeschwindigkeitsnetzwerke miteinander verbunden sind. Um die bestmogliche Performance bezuglich Geschwindigkeit, Latenz, Speicherbedarf und Energiekonsum mit diesen komplexen Maschinen zu erreichen, wurden in den letzten Jahrzehnten zahlreiche Programmiersprachen und Softwarebibliotheken entwickelt. Die vorliegende Arbeit bietet einen Uberblick uber eine Teilmenge dieser Losungen und bewertet sie hinsichtlich ihrer Tauglichkeit fur den Einsatz im aktuellen Umfeld. Eine Losung zur Generierung von effizientem Code fur einen einzelnen Knoten ist das Programm autoBLAS. In dieser Arbeit wird demonstriert, wie eine Erweiterung von autoBLAS zur automatischen Verteilung von Berechnungen auf mehrere Knoten prinzipiell mittels MPI und Dask realisiert werden kann. Dabei auftretende praktische Probleme werden thematisiert und Losungsvorschlage geboten.