Paralelno programiranje na heterogenim sustavima

“Make no little plans. They have no magic to stir men’s blood and probably themselves will not be realized. Make big plans; aim high in hope and work, remembering that a noble, logical diagram once recorded will never die, but long after we are gone will be a living thing, asserting itself with ever-growing insistency. Remember that our sons and grandsons are going to do things that would stagger us. Let your watchword be order and your beacon beauty. Think big.”

—Daniel Burnham

Vježbe

Grafika i računanje

• Osnovni pojmovi paralelnog, distribuiranog i heterogenog računarstva
  • Paralelna obrada
  • Primjene paralelne obrade
  • Razvoj paralelnih računala
  • Distribuirano računarstvo
  • Heterogeno računarstvo

Heterogena sustavska arhitektura

• Pregled heterogene sustavske arhitekture
  • Kratka povijest računanja na GPU-ima

Grafički procesori AMD Radeon

Programiranje aplikacija za heterogenu sustavsku arhitekturu na platformi ROCm

• Mjerenje brzine izvođenja C++ aplikacija
• rocPRIM: ROCm parallel PRIMitives
  • Terminologija
  • Pregled dostupne funkcionalnosti u rocPRIM-u
  • Primjer korištenja
• Generiranje pseudoslučajnih brojeva u C++ aplikacijama
• rocRAND: ROCm RANDom number generator
  • Pregled dostupne funkcionalnosti u rocRAND-u
  • Primjer korištenja
• BLAS i LAPACK
  • BLAS
  • LAPACK
• C++ biblioteka predložaka za linearnu algebru Eigen
  • Guste matrice i polja
  • Rijetke matrice
• rocBLAS: ROCm Basic Linear Algebra Subprograms
  • Tipovi podataka
  • Enumeratori
  • Funkcije
  • Primjeri
• rocSOLVER: ROCm-ov linear algebra SOLVER
  • Primjer korištenja
• rocSPARSE: ROCm SPARSE basic linear algebra subroutines
  • Organizacija funkcionalnosti
  • Formati pohranjivanja matrica
  • Primjer
• rocALUTION: ROCm SPARSE Linear Algebra PACkage
  • Primjeri
• rocFFT: ROCm Fast Fourier Transforms
  • Tipovi podataka

Dokumentiranje razvijenog softvera

• Dokumentiranje programskog koda alatom Doxygen
  • Primjeri gotove dokumentacije
  • Osnovna konfiguracija
  • Dokumentiranje koda
  • Generiranje HTML-a i PDF-a
• Dokumentiranje programa alatom MkDocs
  • Stvaranje početnih datoteka
  • Uređivanje konfiguracije i sadržaja

Prevođenje OpenCL C koda u strojni kod mikroarhitektura GCN i RDNA

• Prevođenje OpenCL C koda program prevoditeljem Clang
  • Izvorni kod zrna
  • Prevođenje u asemblerski kod
  • Prevođenje u srednju reprezentaciju
• Prevođenje OpenCL C koda u asemblerski kod arhitektura AMD GCN i RDNA
  • Arhitekture i procesori
  • Prevođenje koda za različite procesore
  • Nivoi optimizacije
  • Vektorske instrukcije i tipovi podataka

Dodatni materijali

Rad u programskom jeziku Python

• Osnovna sintaksa programskog jezika Python
  • Rad s Python interpreterom
  • Rad s ljuskom IPython
  • Podrška za Python u uređivaču teksta Emacs
  • Objektni pristup programiranju
  • Naredbe if, else, for, while
  • Rad sa znakovnim nizovima
  • Rad s listama
• Python: ulaz i izlaz
  • Rad s korisničkim unosom
  • Rad s tekstualnim datotekama
• Python: funkcije
• Python: generatori
• Python: klase
• Python: moduli
  • Korištenje postojećih modula
  • Stvaranje vlastitih modula
  • Primjer modularizacije za PyCUDA aplikaciju
• Testiranje Python aplikacija
  • Modul pytest
• Dokumentiranje Python koda
  • Dokumentiranje korištenjem Docstringova
• Mjerenje brzine izvođenja Python aplikacija

Pomoćni Python moduli i alati

• Distribuirani sustav za upravljanje verzijama Git
  • Osnovna konfiguracija
  • Sučelje naredbenog retka i grafička sučelja
  • Vraćanje promjena
  • Rad s oznakama
  • Grananje i spajanje
  • Rješavanje konflikata kod spajanja
  • Napredna konfiguracija
  • Atributi
  • Zakačke
  • Ostali sustavi za upravljanje verzijama
• Rad s Python modulom numpy
  • Rad s poljima
  • Operacije na poljima
  • Pretvorba tipa
  • Čitanje polja iz datoteka
  • Posebne funkcije za generiranje polja
  • Indeksiranje, cijepanje i iteriranje polja
  • Manipulacija oblicima polja
  • Kopije objekata
  • Polinomski fit
• Rad s Python modulom scipy
  • Python modul scipy: podmodul sparse.csgraph
  • Python modul scipy: podmodul linalg
• Rad s Python modulom matplotlib i sučeljem pyplot
• Rad s Python okvirom waf

Programiranje aplikacija za heterogene sustave korištenjem tehnologije CUDA

• Python modul PyCUDA: osnove rada s GPU-om
  • Podešenja za rad u laboratoriju
  • Hello world primjer
  • Odvajanje CUDA C/C++ koda u posebnu datoteku
• Python modul PyCUDA: zbrajanje vektora
  • Nit, blok i rešetka
  • Atomične operacije
• Python modul PyCUDA: paralelna redukcija, norma i skalarno množenje vektora
  • Paralelna redukcija korištenjem jednog bloka
  • Paralelna redukcija korištenjem više od jednog bloka
  • Izračun norme i skalarnog produkta vektora
• Python modul PyCUDA: paralelni algoritmi na matricama
  • Rad s višedimenzionalnim poljima. Zbrajanje matrica
  • Množenje matrice i vektora
  • Naivno množenje matrica
  • Druge primjene matrica
• Python modul PyCUDA: rad s vektorskim tipovima podataka
• Python modul PyCUDA: funkcije uređaja i domaćina
• Python modul PyCUDA: funkcije i tipovi podatka dostupni u CUDA bibliotekama
  • Modul pycuda.gpuarray
  • Modul pycuda.cumath: funkcije koje rade element-po-element na poljima tipa GPUArray
  • Modul pycuda.curandom: generiranje polja sa slučajnim brojevima
• Python modul PyCUDA: hijerarhija GPU memorije
• Python modul PyCUDA: otklanjanje grešaka i curenja memorije
  • Program za otklanjanje grešaka
  • Otklanjanje curenja memorije
• Python modul PyCUDA: mjerenje performansi, profiliranje i optimizacija
  • Mjerenje performansi zrna
  • Vizualni profiler
  • Optimizacija
• Python modul PyCUDA: korištenje tokova i asinkronih kopiranja memorije za poboljšanje performansi
• Python modul PyCUDA: rad s više GPU-a

Programiranje aplikacija za heterogene sustave korištenjem tehnologije OpenCL

• Programiranje aplikacija za heterogene sustave korištenjem tehnologije OpenCL