Нейроматематика

Читается: 2 курс, 3-4 модуль, АУК Покровский, онлайн

Пререквизиты: «Теория нейронных сетей»

Трудоемкость: 5 кредитов

Программы дисциплины: 

...	...
2024\25	2023\24	2022\23

Содержание Дисциплины

Вторая дисциплина майнора, «Нейроматематика», изучает применение нейронных сетей (НС) для решения общематематических задач, таких как: аппроксимация и экстраполяция функций, классификация и кластеризация данных, прогнозирование времянных рядов, распознавание изображений и др. Изучается программная реализация таких методов.  Даются углубленные знания об устройстве биологических нейронных сетей.

В результате изучения дисциплины студенты:

• будут знать способы решения математических задач с помощью нейронных сетей
• будут уметь создавать нейронные сети, обучающие и тестовые выборки для них; получать  решения задач классификации, кластеризации, прогнозирования, снижения размерности данных и др.
• получат навыки проведения аналитических исследований на доступных программных средствах.

Для изучения дисциплины необходимо предварительно изучить дисциплину «Теория нейронных сетей».

Ориентировочный список тем, изучаемых на дисциплине:

• Рекуррентные нейронные сети. Явное и неявное использование времени в обучаемых моделях, проблемы явного учета времени. Дискретизация сигналов во времени, дискретное представление сигналов, равномерное и неравномерное, отсчеты сигнала. Время как порядок представления отсчетов. Элементы задержки (запоминания) сигнала, регистр сдвига как линия задержки. Обозначение операции задержки. Нейронная сеть с временными задержками (Time Delay Neural Network, TDNN), архитектура.  Задержки по входу. Задержки сигналов внутри нейронной сети.  Обучение TDNN. Ограничения TDNN, понятие "конечной памяти". Бесконечно долгие зависимости ("бесконечная память"), рекуррентный [персептронный, MLP] нейрон. Понятие обратной связи. Обязательность задержек для обратных связей, каузальность. Формула работы рекуррентного нейрона. Рекуррентный нейрон как генератор сигнала. Рекуррентная [MLP] нейронная сеть. Проблема обучения рекуррентных сетей. Ограничение зависимостей во времени. Развертка рекуррентных сетей во времени. Метод обратного распространения ошибки во времени (Backpropagation through time, BPTT). Проблемы долгих зависимостей для MLP-рекуррентных сетей. Проблема затухания и взрыва градиента. Проблема инициализации, задания начальных значений линии задержки. NARX - сеть (Nonlinear AutoRegression with eXternal input) идея и архитектура. Ограничение на обратную связь. Использование указаний учителя вместо выходов нейронной сети. Разомкнутый и замкнутый циклы обучения. Пример.
• Вентильные рекуррентные нейронные сети. Проблемы рекуррентных сетей. Начальные значения задержек. Проблема долгосрочных зависимостей, пример рекуррентного нейрона. Идея и понятие управляемого вентиля. Состояние нейрона, вентиль забывания предыдущего состояния. Вентиль добавления новой информации в состояние. LSTM нейрон, архитектура, обучение. Расчет количества обучаемых параметров. GRU-нейрон. Отличия от LSTM. О создании собственных вентильных нейронов. Пример архитектур. Уметь рисовать по формулам схему нейрона и наоборот. Двунаправленные рекуррентные сети, biLSTM. Примеры использования LSTM сетей: прогноз погоды, генерация "музыки".
• Радиально-базисные нейронные сети. Работа нейрона персептронного типа. Персептрон с одним скрытым слоем. Базисные функции. Радиально-базисные функции, функция Гаусса, другие виды. Центр и ширина РБФ, их смысл. Другие возможные параметры. Радиально-базисная сеть, архитектура. Сходство и отличия от многослойного персептрона. Обучение РБФ нейронов. Кластеризация для обучения центров. Решение задач классификации на РБФ-нейронах. Метод обучения РБФ с подбором архитектуры. Метод К-средних для кластеризации, идея, алгоритм, ограничения.
• Адаптивные сетки. Итеративная версия алгоритма К-средних, его недостатки. Взаимодействие между нейронами. Карта связей. Функция соседства. Самоорганизующаяся карта Кохонена (SOM), архитектура, виды решеток. Нейрон-победитель. Обучение SOM. Проблемы SOM. Растущий нейронный газ (GNG): матрица связей, возраст связей, локальная ошибка нейрона. Обучение GNG: нейрон-победитель и вице- победитель; процедуры добавления и удаления связей, добавления и удаления нейронов, обучение нейронов, обновление локальной ошибки. Проблемы GNG.  Определение связанных групп нейронов по матрице связей. Демонстрация работы SOM и GNG.
• Автокодировщики. Решения математических задач с помощью нейронных сетей: аппроксимация, экстраполяция (прогнозирование). Решение систем линейных и нелинейных уравнений. Нейронная сеть CMAC. Другие задачи.
• Распознавание изображений. Перенос обучения и векторные представления изображений. Структуры нейронных сетей для распознавания изображений: AlexNet, VGG, NiN, ResNet и др. 

Пример одного лекционного занятия дисциплины:  тема  Перенос обучения и методы обучения.