Předmět je základní jednotka výuky, jejímž prostřednictvím si student osvojí ucelenou část souboru znalostí a dovedností, potřebnou pro zvládnutí studijního oboru/specializace. Za věcný obsah předmětu zodpovídá garant předmětu. Časovou náročnost předmětu zhruba vyjadřuje atribut předmětu rozsah kontaktní výuky. Například rozsah = 2+2  značí, že předmět bude mít týdně dvě hodiny přednášek a dvě hodiny cvičení týdně. Na závěr semestru musí vyučující provést vyhodnocení, nakolik si ten který student osvojil poznatky a dovednosti, kterých měl během výuky nabýt. Jakým způsobem toto hodnocení vyučující provedou určuje atribut způsob zakončení. U předmětu lze definovat, že předmět je zakončen pouze zápočtem(Z), klasifikovaným zápočtem(KZ), pouze zkouškou(ZK), nebo zápočtem a zkouškou(Z,ZK). Náročnost úspěšného absolvování předmětu je vyjádřena ECTS kreditními body. Výuka předmětu probíhá během semestru. Opakovaně se předmět vyučuje vždy v zimním(Z), nebo v letním(L) semestru každého akademického roku. Výjimečně může předmět být nabízen studentům v obou semestrech(Z,L). Za organizační zajištění výuky zodpovídá přiřazená katedra, která zejména vytvoří časový rozvrh předmětu a zajistí pro předmět vyučující. Někteří přednáší a zkouší, jiní vedou cvičení a udělují zápočty.
Obsahová náplň a další organizační informace, týkající se předmětu je popsána pomocí různých popisných textů(anotace, týdenní osnova, literatura, apod.)
$DODATEK_POPIS

Anotace:
Summary of probability theory; Multivariate normal distribution; Entropy and its application to coding; Statistical tests: T-tests, goodness of fit tests, independence test; Random processes - stacionarity; Markov chains and limiting properties; Queuing theory

Osnovy přednášek:

1.		Summary of basic terms of probability theory
2.		Random variables
3.		Random vectors
4.		Multivariate normal distribution
5.		Entropy of discrete distributions
6.		Application of entropy in coding theory
7.		Entropy of continuous distributions
8.		Summary of basic notions of statistics
9.		Paired and Two-sample T-test,
10.		Goodness of fit tests,
11.		Independence testing, contingency tables
12.		Estimation of PDF and CDF
13.		Gaussian mixtures and EM algorithm
14.		Random processes - stationarity
15.		Random processes - examples (Gaussian, Poisson)
16.		Memory-less distributions, exponential race
17.		Discrete-time Markov chains - introduction
18.		Discrete-time Markov chains - classification of states
19.		Discrete-time Markov chains - stationarity
20.		Discrete-time Markov chains - estimation of parameters

21 MCMC

22.		Continuous time Markov chains - introduction
23.		Continuous time Markov chains - Kolmogorov equations
24.		Queuing theory, Little's theorem
25.		Queuing systems M/M/1 and M/M/m
26.		Queuing systems M/G/infinity

Osnovy cvičení:

1.		Review lesson: basics of probability
2.		Random vectors, multivariate normal distribution
3.		Entropy and coding theory
4.		Entropy, mutual information
5.		T-tests
6.		Goodness of fit tests, independence test
7.		Estimation of PDF and CDF
8.		Random processes, Poisson process
9.		Discrete-time Markov chains - stationarity
10.		Discrete-time Markov chains - classification of states
11.		Exponential race
12.		Continuous-time Markov chains
13.		Queuing theory

Literatura:

1.		Cover, T. M. - Thomas, J. A. : Elements of Information Theory (2nd Edition). Wiley, 2006. ISBN 978-0-471-24195-9.
2.		Durrett, R. : Essentials of Stochastic Processes. Springer, 1999. ISBN 978-0387988368.
3.		Grimmett, G. - Stirzaker, D. : Probability and Random Processes (3rd Edition). Oxford University Press Inc., 2001. ISBN 978-0-19-857222-0.

Požadavky:
Basics of probability and statistics, multivariate calculus, and linear algebra.

Course information and study materials to be found at https://courses.fit.cvut.cz/NIE-VSM/

Předmět je zahrnut do těchto studijních plánů:

Plán Obor Role Dop. semestr NIE-SI.21 Software Engineering 2021 PP 2 NIE-TI.21 Computer Science 2021 PP 2 NIE-NPVS.21 Design and Programming of Embedded Systems 2021 PP 2 NIE-PSS.21 Computer Systems and Networks 2021 PP 2 NIE-PB.21 Computer Security 2021 PP 2 NIE-DBE.2023 Digital Business Engineering PP 2