Deep Learning

Познакомитесь с базовыми элементами нейронной сети. Научитесь строить простые модели для решения задач регрессии и классификации.

Узнаете принципы построения многослойной нейронной сети. Поймёте, как оценить качество обучения. Познакомитесь с понятием переобучения нейросети, изучите разные методы оптимизации нейронных сетей: градиентный спуск и его основные модификации. Изучите основные способы регуляризации нейронных сетей: ранняя остановка, L1/L2, dropout, batch normalization.

Узнаете, как работает свёрточная операция. Разберётесь, как повысить устойчивость сетей к сдвигам и трансформациям с помощью пулинга (pooling). Познакомитесь с первой свёрточной сетью LeNet.

Познакомитесь с различными архитектурами свёрточных сетей: LeNet, AlexNet, VGG, NiN, GoogLeNet, ResNet. 

Научитесь использовать в коде различные методы аугментации и Transfer Learning для улучшения обучения сети.

Поймёте, как построить языковые модели. Узнаете, зачем нужны рекуррентные нейронные сети и как они работают. Рассмотрите виды рекуррентных нейронных сетей: GRU и LSTM. Сгенерируете текст при помощи нейросети. Узнаете, как строить более глубокие RNN. Познакомитесь с двунаправленными RNN (bidirectional RNN). Узнаете о возможностях Residual Connections для RNN. Изучите архитектуру модели Encoder-decoder, познакомитесь с понятием информационный bottleneck. Потренируетесь решать задачи машинного перевода на основе рекуррентных сетей.

Познакомитесь с механизмом внимание (attention) и его основными видами: dot-product, линейная модель, аддитивная модель, self-attention и multi-head attention. Изучите два способа реализации внимания: на скалярном произведении и на MLP. Узнаете, как attention привёл к появлению архитектуры Transformer.

Изучите основные датасеты и метрики качества для решения задач визуального обнаружения объектов и распознавания изображений. Познакомитесь с подходами к детектированию объектов: Region Based, YoLo, SSD. Узнаете, что такое семантическая сегментация. Познакомитесь с архитектурами SegNet и U-Net. Узнаете различные методы модификации изображений: технология Deep dream, матрица Грама, генерация текстур, Neural style transfer.

Познакомитесь с понятием «векторное представление слов» (word embedding) и основными методами построения векторов слов: SVD, Word2vec. Узнаете, что такое transfer learning и как оно используется в NLP. Познакомитесь с основными предобученными текстовыми моделями: ELMo, BERT и его вариациями, GPT. Сможете решать задачи классификации, межъязыкового семантического поиска и генерации продолжения текста.

Научитесь применять обычные и вариационные автоэнкодеры и строить архитектуру генеративных состязательных сетей (Generative Adversarial Networks, GAN). Создадите генератор лиц аниме с использованием GAN. Познакомитесь с глубоким обучением с подкреплением.

Вы самостоятельно выбираете задачу и тему проекта и работаете над ним под руководством преподавателей курса. В результате защитите диплом перед экспертом.