Předmět je základní jednotka výuky, jejímž prostřednictvím si student osvojí ucelenou část souboru znalostí a dovedností, potřebnou pro zvládnutí studijního oboru/specializace. Za věcný obsah předmětu zodpovídá garant předmětu. Časovou náročnost předmětu zhruba vyjadřuje atribut předmětu rozsah kontaktní výuky. Například rozsah = 2+2  značí, že předmět bude mít týdně dvě hodiny přednášek a dvě hodiny cvičení týdně. Na závěr semestru musí vyučující provést vyhodnocení, nakolik si ten který student osvojil poznatky a dovednosti, kterých měl během výuky nabýt. Jakým způsobem toto hodnocení vyučující provedou určuje atribut způsob zakončení. U předmětu lze definovat, že předmět je zakončen pouze zápočtem(Z), klasifikovaným zápočtem(KZ), pouze zkouškou(ZK), nebo zápočtem a zkouškou(Z,ZK). Náročnost úspěšného absolvování předmětu je vyjádřena ECTS kreditními body. Výuka předmětu probíhá během semestru. Opakovaně se předmět vyučuje vždy v zimním(Z), nebo v letním(L) semestru každého akademického roku. Výjimečně může předmět být nabízen studentům v obou semestrech(Z,L). Za organizační zajištění výuky zodpovídá přiřazená katedra, která zejména vytvoří časový rozvrh předmětu a zajistí pro předmět vyučující. Někteří přednáší a zkouší, jiní vedou cvičení a udělují zápočty.
Obsahová náplň a další organizační informace, týkající se předmětu je popsána pomocí různých popisných textů(anotace, týdenní osnova, literatura, apod.)
$DODATEK_POPIS

Anotace:
Diky rozvoji cloudových, webových a komunikačních technologií a přesunu Moorova zákona do úrovně paralelizace CPU se paralelní a distribuované aplikace stávají běžnými a všudypřítomnými. Studenti se seznámí s architekturami paralelních a distribuovaných výpočetních systémů a s jejich modely a s jazyky a prostředími pro jejich programování. Naučí se důležité paralelní algoritmy a návrhové vzory pro paralelní a distribuované programování.

Osnovy přednášek:

1.		Úvod do paralelního a distribuovaného programování.
2.		Úvod do OpenMP.
3.		Paralelní algoritmy pro prohledávání stavového prostoru.
4.		Programování a ladění výkonu v OpenMP.
5.		Paralelní řazení v OpenMP.
6.		Úvod do MPI.
7.		Propojovací sítě paralelních počítačů I.
8.		Propojovací sítě paralelních počítačů II.
9.		Kolektivní komunikační algoritmy.
10.		Paralelní redukce a sken. Paralelní I/O.
11.		Paralelní algoritmy v OpenMP/MPI I.
12.		Paralelní algoritmy v OpenMP/MPI II.

Osnovy cvičení:

1.		Návrh a implementace sekvenčního algoritmu pro řešení semestrální úlohy.
2.		Návrh a implementace paralelního algoritmu pro vícejádrový systém s použitím OpenMP - verze s task paralelismem.
3.		Návrh a implementace paralelního algoritmu pro vícejádrový systém s použitím OpenMP - verze s datovým paralelismem.
4.		Návrh a implementace paralelního algoritmu pro distribuovaný klastr s použitím MPI.
5.		Analýza paralelní výkonnosti a škálovatelnosti výsledného programu a vypracování technické zprávy.

Literatura:

[1]		Mattson, T.G. - Sanders, B.A. - Massingill, B.L.: Patterns for Parallel Programming. Addison-Wesley Professional. 2004. 978-0321940780.
[2]		Kumar, V. - Grama, A. - Gupta, A. - Karpis, G.: Introduction to Parallel Computing: Design and Analysis of Parallel Algorithms. Benjamin-Cummings. 1994. 0805331700.
[3]		Miller, R. - Boxer, L.: Algorithms Sequential and Parallel: A Unified Approach. Pearson Education. 1999. 0130863734.
[4]		Wilkinson, B. - Allen, M.: Parallel Programming: Techniques and Applications Using Networked Workstations and Parallel Computers. Prentice Hall. 1998. 0136717101.
[5]		Jaja, J.: An Introduction to Parallel Algorithms. Addison-Wesley. 1992. 0201548569.

Požadavky:
Základy sekvenční algoritmizace, programování, znalost jazyka C/C++, teorie složitosti, architektur počítačů, teorie grafů.

Tento předmět obsahově navazuje na bakalářský předmět Algoritmy a grafy 1 https://courses.fit.cvut.cz/MI-PDP/

Předmět je zahrnut do těchto studijních plánů:

Plán Obor Role Dop. semestr MI-ZI.2016 Znalostní inženýrství PP 2 MI-ZI.2018 Znalostní inženýrství PP 2 MI-SP-TI.2016 Systémové programování PP 2 MI-SP-SP.2016 Systémové programování PP 2 MI-SPOL.2016 Nespecifikovaný/á obor/specializace studia - Unspecified Branch/Specialisation of Study PP 2 MI-WSI-WI.2016 Webové a softwarové inženýrství PP 2 MI-WSI-SI.2016 Webové a softwarové inženýrství PP 2 MI-WSI-ISM.2016 Webové a softwarové inženýrství PP 2 MI-NPVS.2016 Návrh a programování vestavných systémů PP 2 MI-PSS.2016 Počítačové systémy a sítě PP 2 MI-PB.2016 Počítačová bezpečnost PP 2 NI-TI.2018 Teoretická informatika PP 2