Předmět je základní jednotka výuky, jejímž prostřednictvím si student osvojí ucelenou část souboru znalostí a dovedností, potřebnou pro zvládnutí studijního oboru/specializace. Za věcný obsah předmětu zodpovídá garant předmětu. Časovou náročnost předmětu zhruba vyjadřuje atribut předmětu rozsah kontaktní výuky. Například rozsah = 2+2  značí, že předmět bude mít týdně dvě hodiny přednášek a dvě hodiny cvičení týdně. Na závěr semestru musí vyučující provést vyhodnocení, nakolik si ten který student osvojil poznatky a dovednosti, kterých měl během výuky nabýt. Jakým způsobem toto hodnocení vyučující provedou určuje atribut způsob zakončení. U předmětu lze definovat, že předmět je zakončen pouze zápočtem(Z), klasifikovaným zápočtem(KZ), pouze zkouškou(ZK), nebo zápočtem a zkouškou(Z,ZK). Náročnost úspěšného absolvování předmětu je vyjádřena ECTS kreditními body. Výuka předmětu probíhá během semestru. Opakovaně se předmět vyučuje vždy v zimním(Z), nebo v letním(L) semestru každého akademického roku. Výjimečně může předmět být nabízen studentům v obou semestrech(Z,L). Za organizační zajištění výuky zodpovídá přiřazená katedra, která zejména vytvoří časový rozvrh předmětu a zajistí pro předmět vyučující. Někteří přednáší a zkouší, jiní vedou cvičení a udělují zápočty.
Obsahová náplň a další organizační informace, týkající se předmětu je popsána pomocí různých popisných textů(anotace, týdenní osnova, literatura, apod.)
$DODATEK_POPIS

Anotace:
The field of reinforcement learning is very hot recently, because of advances in deep learning, recurrent neural networks and general artificial intelligence. This course is intended to give you both theoretical and practical background so you can participate in related research activities. Presented in English.

Osnovy přednášek:
Algorithmic game theory

1.		Sealed-bid combinatorial auctions
2.		Iterative combinatorial auctions
3.		Stable matching
4.		Congestion games. Selfish routing and the price of anarchy
5.		Potential games. Network cost-sharing games
6.		Best response dynamics. No-regret dynamics.

Introduction to Reinforcement Learning

7.		Multiarmed Bandit Algorithms.
8.		Finite Markov Decision Processes
9.		Dynamic Programming
10.		Montecarlo methods
11.		Temporal-Difference learning
12.		Multi-step bootstrapping
13.		Planning and learning with tabular methods

Osnovy cvičení:
Algorithmic game theory

1.		Mechanism design basics. Auctions of physical goods.
2.		Sponsored search auctions (online advertising).
3.		Congestion games. Selfish routing and the price of anarchy
4.		Traffic assignment in networks.
5.		Best response dynamics. No-regret dynamics.
6.		Rock, paper, scissors.

Introduction to Reinforcement Learning

7.		Multiarmed Bandit Algorithms.
8.		Markov chains and MDP's.
9.		Algorithms: Q-learning, TD
10.		Playing tic-tac-toe, checkers.
11.		Tensorflow introduction.
12.		Case studies: TD-gammon, Atari games, Go playing.
13.		OpenAI Gym. Policy gradient algorithm.

Literatura:
Reinforcement Learning: An introduction, Sutton and Barto, 2nd edition draft, 2017. Algorithmic Game Theory, Roughgarden, Tardos, Vazirani and Nisan, 2007.

Požadavky:
BI-ZUM - Introduction to artificial intelligence

Informace o předmětu a výukové materiály naleznete na https://courses.fit.cvut.cz/MI-GLR/

Předmět je zahrnut do těchto studijních plánů:

Plán Obor Role Dop. semestr NI-PB.2020 Počítačová bezpečnost V 4 NI-ZI.2020 Znalostní inženýrství V 4 NI-SPOL.2020 Nespecifikovaný/á obor/specializace studia - Unspecified Branch/Specialisation of Study V 4 NI-TI.2020 Teoretická informatika V 4 NI-TI.2023 Teoretická informatika V 4 NI-NPVS.2020 Návrh a programování vestavných systémů V 4 NI-PSS.2020 Počítačové systémy a sítě V 4 NI-MI.2020 Manažerská informatika V 4 NI-SI.2020 Softwarové inženýrství V 4 NI-SP.2020 Systémové programování V 4 NI-WI.2020 Webové inženýrství V 4 NI-SP.2023 Systémové programování V 4 NIE-SI.21 Software Engineering 2021 V Není NIE-TI.21 Computer Science 2021 V Není NIE-DBE.2023 Digital Business Engineering V Není NIE-NPVS.21 Design and Programming of Embedded Systems 2021 V Není NIE-PSS.21 Computer Systems and Networks 2021 V Není NIE-PB.21 Computer Security 2021 V Není