Předmět je základní jednotka výuky, jejímž prostřednictvím si student osvojí ucelenou část souboru znalostí a dovedností, potřebnou pro zvládnutí studijního oboru/specializace. Za věcný obsah předmětu zodpovídá garant předmětu. Časovou náročnost předmětu zhruba vyjadřuje atribut předmětu rozsah kontaktní výuky. Například rozsah = 2+2  značí, že předmět bude mít týdně dvě hodiny přednášek a dvě hodiny cvičení týdně. Na závěr semestru musí vyučující provést vyhodnocení, nakolik si ten který student osvojil poznatky a dovednosti, kterých měl během výuky nabýt. Jakým způsobem toto hodnocení vyučující provedou určuje atribut způsob zakončení. U předmětu lze definovat, že předmět je zakončen pouze zápočtem(Z), klasifikovaným zápočtem(KZ), pouze zkouškou(ZK), nebo zápočtem a zkouškou(Z,ZK). Náročnost úspěšného absolvování předmětu je vyjádřena ECTS kreditními body. Výuka předmětu probíhá během semestru. Opakovaně se předmět vyučuje vždy v zimním(Z), nebo v letním(L) semestru každého akademického roku. Výjimečně může předmět být nabízen studentům v obou semestrech(Z,L). Za organizační zajištění výuky zodpovídá přiřazená katedra, která zejména vytvoří časový rozvrh předmětu a zajistí pro předmět vyučující. Někteří přednáší a zkouší, jiní vedou cvičení a udělují zápočty.
Obsahová náplň a další organizační informace, týkající se předmětu je popsána pomocí různých popisných textů(anotace, týdenní osnova, literatura, apod.)
$DODATEK_POPIS

Anotace:

21.

století v architekturách počítačů je dominantně ovlivněno posunem Moorova zákona do paralelizace CPU na úrovni výpočetních jader. Paralelní výpočetní systémy se tak stávají na této úrovni počítačových architektur běžně dostupnou komoditou a paralelní programování se stává základním paradigmatem vývoje efektivních aplikací na těchto platformách. Studenti se v tomto předmětu seznámí s architekturami paralelních a distribuovaných výpočetních systémů, s jejich modely, s teorií propojovacích sítí a kolektivních komunikačních operací a s jazyky a prostředími pro paralelní programování počítačů se sdílenou a distribuovanou pamětí. Seznámí se s fundamentálními paralelními algoritmy a na vybraných problémech se naučí techniky návrhu efektivních a škálovatelných paralelních algoritmů a metod hodnocení výkonnosti jejich implementací. Součástí výuky je i projekt praktického programování v OpenMP a MPI pro řešení zadaného netriviálního problému.

Osnovy přednášek:

1.		Úvod do paralelního a distribuovaného programování.
2.		Úvod do OpenMP.
3.		Paralelní algoritmy pro prohledávání stavového prostoru.
4.		Programování a ladění výkonu v OpenMP.
5.		Paralelní řazení v OpenMP.
6.		Úvod do MPI.
7.		Propojovací sítě paralelních počítačů I.
8.		Propojovací sítě paralelních počítačů II.
9.		Kolektivní komunikační algoritmy.
10.		Paralelní redukce a sken. Paralelní I/O.
11.		Paralelní algoritmy v OpenMP/MPI I.
12.		Paralelní algoritmy v OpenMP/MPI II.

Osnovy cvičení:

1.		Návrh a implementace sekvenčního algoritmu pro řešení semestrální úlohy.
2.		Návrh a implementace paralelního algoritmu pro vícejádrový systém s použitím OpenMP - verze s task paralelismem.
3.		Návrh a implementace paralelního algoritmu pro vícejádrový systém s použitím OpenMP - verze s datovým paralelismem.
4.		Návrh a implementace paralelního algoritmu pro distribuovaný klastr s použitím MPI.
5.		Teoretická a praktická analýza chování paralelního programu a vypracování technické zprávy.

Literatura:

[1]		Mattson, T.G. - Sanders, B.A. - Massingill, B.L.: Patterns for Parallel Programming. Addison-Wesley Professional. 2004. 978-0321940780.
[2]		Kumar, V. - Grama, A. - Gupta, A. - Karpis, G.: Introduction to Parallel Computing: Design and Analysis of Parallel Algorithms. Benjamin-Cummings. 1994. 0805331700.
[3]		Miller, R. - Boxer, L.: Algorithms Sequential and Parallel: A Unified Approach. Pearson Education. 1999. 0130863734.
[4]		Wilkinson, B. - Allen, M.: Parallel Programming: Techniques and Applications Using Networked Workstations and Parallel Computers. Prentice Hall. 1998. 0136717101.
[5]		Jaja, J.: An Introduction to Parallel Algorithms. Addison-Wesley. 1992. 0201548569.

Požadavky:
Základy sekvenční algoritmizace, programování, znalost jazyka C/C++, teorie složitosti, architektur počítačů, teorie grafů.

https://courses.fit.cvut.cz/MI-PDP/

Předmět je zahrnut do těchto studijních plánů:

Plán Obor Role Dop. semestr NI-PB.2020 Počítačová bezpečnost PP 2 NI-ZI.2020 Znalostní inženýrství PP 2 NI-SPOL.2020 Nespecifikovaný/á obor/specializace studia - Unspecified Branch/Specialisation of Study PP 2 NI-TI.2020 Teoretická informatika PP 2 NI-TI.2023 Teoretická informatika PP 2 NI-SP.2023 Systémové programování PP 2 NI-WI.2020 Webové inženýrství PP 2 NI-SP.2020 Systémové programování PP 2 NI-SI.2020 Softwarové inženýrství PP 2 NI-MI.2020 Manažerská informatika PP 2 NI-PSS.2020 Počítačové systémy a sítě PP 2 NI-NPVS.2020 Návrh a programování vestavných systémů PP 2