Předmět je základní jednotka výuky, jejímž prostřednictvím si student osvojí ucelenou část souboru znalostí a dovedností, potřebnou pro zvládnutí studijního oboru/specializace. Za věcný obsah předmětu zodpovídá garant předmětu. Časovou náročnost předmětu zhruba vyjadřuje atribut předmětu rozsah kontaktní výuky. Například rozsah = 2+2  značí, že předmět bude mít týdně dvě hodiny přednášek a dvě hodiny cvičení týdně. Na závěr semestru musí vyučující provést vyhodnocení, nakolik si ten který student osvojil poznatky a dovednosti, kterých měl během výuky nabýt. Jakým způsobem toto hodnocení vyučující provedou určuje atribut způsob zakončení. U předmětu lze definovat, že předmět je zakončen pouze zápočtem(Z), klasifikovaným zápočtem(KZ), pouze zkouškou(ZK), nebo zápočtem a zkouškou(Z,ZK). Náročnost úspěšného absolvování předmětu je vyjádřena ECTS kreditními body. Výuka předmětu probíhá během semestru. Opakovaně se předmět vyučuje vždy v zimním(Z), nebo v letním(L) semestru každého akademického roku. Výjimečně může předmět být nabízen studentům v obou semestrech(Z,L). Za organizační zajištění výuky zodpovídá přiřazená katedra, která zejména vytvoří časový rozvrh předmětu a zajistí pro předmět vyučující. Někteří přednáší a zkouší, jiní vedou cvičení a udělují zápočty.
Obsahová náplň a další organizační informace, týkající se předmětu je popsána pomocí různých popisných textů(anotace, týdenní osnova, literatura, apod.)
$DODATEK_POPIS

Anotace:
V tomto předmětu se na neuronové sítě podíváme z pohledu teorie aproximace funkcí a z pohledu teorie pravděpodobnosti. Nejdříve si připomeneme základní koncepty týkající se umělých neuronových sítí, jako jsou neurony, spoje mezi nimi, typy neuronů z hlediska přenosu signálů, topologie sítě, somatická a synaptická zobrazení, učení sítě a role času v neuronových sítích. V souvislosti s topologií sítě se seznámíme s její transformovatelností do kanonické topologie a v souvislosti se somatickými a synaptickými zobrazeními s jejich skládáním do zobrazení počítaného sítí. Konečně v souvislosti s učením si všimneme problému přeučení a skutečnosti, že učení je ve skutečnosti specifická optimalizační úloha, přičemž si připomeneme nejtypičtější cílové funkce a nejdůležitější optimalizační metody používané pro učení neuronových sítí. Podíváme se na význam všech těchto konceptů si osvětlíme v kontextu běžných typů dopředných neuronových sítí. V tématu aproximační přístup k neuronovým sítím si nejdříve všimneme souvislosti neuronových sítí s vyjádřením funkcí více proměnných pomocí funkcí méně proměnných (Kolmogorovova věta, Vituškinova věta). Poté si ukážeme, jak lze univerzální aproximační schopnost neuronových sítí matematicky formalizovat jako hustotu množin zobrazení počítaných neuronovými sítěmi v důležitých Banachových prostorech funkcí, konkrétně v prostorech spojitých funkcí, prostorech funkcí integrovatelných vzhledem ke konečné míře, prostorech funkcí se spojitými derivacemi a Sobolevových prostorech. V tématu pravděpodobnostní přístup k neuronovým sítím se nejdříve seznámíme s učením založeným na střední hodnotě a s učením založeným na náhodném výběru a s pravděpodobnostními předpoklady o trénovacích datech, za kterých lze tyto dva druhy učení neuronových sítí použít. Ukážeme si, jak lze pomocí učení založeném na střední hodnotě získat odhad podmíněné střední hodnoty výstupů sítě podmíněných jejími vstupy. Připomeneme si silný a slabý zákon velkých čísel a seznámíme se s obdobou silného zákona velkých čísel pro neuronové sítě a s předpoklady, za kterých platí. Nakonec si připomeneme centrální limitní větu, seznámíme se s její obdobou pro neuronové sítě, s předpoklady, za kterých platí a s testy hypotéz, které jsou na ní založené. Ukážeme si také, jak lze těchto testů hypotéz využít při hledání topologie sítě.

Osnovy přednášek:

1.		a 2.: Základní koncepty umělých neuronových sítí
3.		a 4.: Umělé neuronové funkce z pohledu teorie aproximací
5.		a 6.: Umělé neuronové funkce z pohledu teorie pravděpodobnosti

Osnovy cvičení:

1.		Úvod do vývojového prostředí Matlab, seznámení s možnými tématy semestrálek.
2.		Přehled existujících knihoven pro neuronové sítě v jazyce Python
3.		a 4. Základy práce s mělkými neuronovými sítěmi v Matlabu
5.		a 6. Základy práce s hlubokými neuronovými sítěmi v Matlabu

Literatura:

[1]		M. Holeňa. Statistické aspekty dobývání znalostí z dat. Učební texty Univerzity Karlovy, Karolinum, 2006.
[2]		M.T. Hagan, H.B. Demuth, and M.H. Beale. Neural Network Design. PWS Publishing, 1996.
[3]		T. Hasti, R. Tibshirani, and J. Friedman. The Elements of Statistical Learning. Springer, 2001.
[4]		M.H. Beale, M.T. Hagan, and H.B. Demuth. Deep Learning Toolbox User's Guide, Version 12. Mathworks, 2018.
[5]		H. White. Artificial Neural Networks: Approximation and Learning Theory. Blackwell

Publishers,992.

Požadavky:
Znalosti z pravděpodobnosti a lineární algebry na úrovni absolventa bakalářského studia.

Informace o předmětu a výukové materiály naleznete na https://courses.fit.cvut.cz/MI-TNN/

Předmět je zahrnut do těchto studijních plánů:

Plán Obor Role Dop. semestr NI-PB.2020 Počítačová bezpečnost V Není NI-ZI.2020 Znalostní inženýrství V Není NI-SPOL.2020 Nespecifikovaný/á obor/specializace studia - Unspecified Branch/Specialisation of Study V Není NI-TI.2020 Teoretická informatika V Není NI-TI.2023 Teoretická informatika V Není NI-NPVS.2020 Návrh a programování vestavných systémů V Není NI-PSS.2020 Počítačové systémy a sítě V Není NI-MI.2020 Manažerská informatika V Není NI-SI.2020 Softwarové inženýrství V Není NI-SP.2020 Systémové programování V Není NI-WI.2020 Webové inženýrství V Není NI-SP.2023 Systémové programování V Není NI-TI.2018 Teoretická informatika V 2