Pokročilé techniky hlbokého učenia

Kurz je určený pre záujemcov o hlbšie porozumenie umelým neurónovým sieťam a najmä takzvanému hlbokému učeniu.

• Základná znalosť programovania v Pythone
• Stredoškolské znalosti lineárnej algebry, matematickej analýzy a teórie pravdepodobnosti. Predpokladá sa základné porozumenie pojmom ako vektor, matica, vektorový priestor, pravdepodobnosť, podmienená pravdepodobnosť, nezávislosť náhodných javov a znalosť násobenia matíc a derivácií funkcií.
• Znalosti strojového učenia na úrovni kurzu Úvod do strojového učenia

Študijný materiál spoločnosti Machine Learning College.

• Architektúry neurónových sietí (feed-forward, rekurentné, konvolučné, generatívne, autoenkódery, Unet, GAN, attention layer)
• Optimalizátory a ich evolúcia (Steepest Gradient Descent, Stochastic Gradient Descent, Mini-Batch Gradient Descent, Nesterov Accelerated Gradient, Adagrad, AdaDelta, Adam, hľadanie učiacich koeficientov)
• Chybové funkcie a ich vlastnosti (Mean squared error, Mean absolute error, Negative Log Likelihood)
• Regularizácia neurónových sietí (Dropout, Early stopping, Data augmentation, Batch and layer normalization)
• Inicializácia neurónových sietí (Gradient vanishing problem, Zero initialization, He initialization, Xavier initialization)
• Semi-supervised learning (Pseudo Labeling, Mean-Teacher, PI-Model)
• Odhad spoľahlivosti predikcií (Logit analysis, Confidence networks)
• AutoML (automatické hľadanie hyperparametrov, grid search, Bayesian optimization, meta-learning, automatické hľadanie architektúr neurónových sietí)
• Praktické príklady s knižnicou AutoKeras
• Interpretovateľnosť modelov strojového učenia (priamo interpretovateľné modely, Partial Dependence Plot, Permutation feature importance, Surrogate models, Activation Maximization, Grad-CAM)

Predošlé kurzy

Python I - úvod do programovania [PYTHON_INTRO]

Úvod do strojového učenia [MLC_INTRO]