Нейроматематика

Читается: 2 курс, 3-4 модуль, АУК Покровский, онлайн

Пререквизиты: «Теория нейронных сетей»

Трудоемкость: 5 кредитов

Программа курса: 2022\23     2021\22     2020\21      2019\20 уч.г    

64 аудиторных часа:

• 32 часа лекции
• 32 часа практические занятия

Формы контроля:

• 1 экзамен
• 1 контрольная работа
• 1 домашнее задание
• регулярные вопросы по лекциям
• регулярные задания по семинарам
• личные достижения

О курсе

Дисциплина «Нейроматематика» (вторая дисциплина майнора) изучает применение нейронных сетей (НС) для решения математических задач, в том числе, аппроксимации и экстраполяции функций, классификации и кластеризации данных, распознавания изображений и др. и реализацию их в специализированных пакетах программ – нейропакетах, а также углубленные знания об устройстве биологических нейронных сетей.

В результате изучения дисциплины студенты:

• будут знать способы решения математических задач с помощью нейронных сетей, нейропакетов
• будут уметь создавать нейронные сети, обучающие и тестовые выборки для них; получать  решения задач классификации, кластеризации, прогнозирования, снижения размерности данных и др.
• получат навыки проведения аналитических исследований на доступных нейропакетах

Для изучения дисциплины необходимо предварительно изучить дисциплину «Теория нейронных сетей».

Ориентировочный список тем, изучаемых на дисциплине:

Рекуррентные нейронные сети. Явное и неявное использование времени в обучаемых моделях, проблемы явного учета времени. Дискретизация сигналов во времени, дискретное представление сигналов, равномерное и неравномерное, отсчеты сигнала. Время как порядок представления отсчетов. Элементы задержки (запоминания) сигнала, регистр сдвига как линия задержки. Обозначение операции задержки. Нейронная сеть с временными задержками (Time Delay Neural Network, TDNN), архитектура.  Задержки по входу. Задержки сигналов внутри нейронной сети.  Обучение TDNN. Ограничения TDNN, понятие "конечной памяти". Бесконечно долгие зависимости ("бесконечная память"), рекуррентный [персептронный, MLP] нейрон. Понятие обратной связи. Обязательность задержек для обратных связей, каузальность. Формула работы рекуррентного нейрона. Рекуррентный нейрон как генератор сигнала. Рекуррентная [MLP] нейронная сеть. Проблема обучения рекуррентных сетей. Ограничение зависимостей во времени. Развертка рекуррентных сетей во времени. Метод обратного распространения ошибки во времени (Backpropagation through time, BPTT). Проблемы долгих зависимостей для MLP-рекуррентных сетей. Проблема затухания и взрыва градиента. Проблема инициализации, задания начальных значений линии задержки. NARX - сеть (Nonlinear AutoRegression with eXternal input) идея и архитектура. Ограничение на обратную связь. Использование указаний учителя вместо выходов нейронной сети. Разомкнутый и замкнутый циклы обучения. Пример.

Вентильные рекуррентные нейронные сети. Проблемы рекуррентных сетей. Начальные значения задержек. Проблема долгосрочных зависимостей, пример рекуррентного нейрона. Идея и понятие управляемого вентиля. Состояние нейрона, вентиль забывания предыдущего состояния. Вентиль добавления новой информации в состояние. LSTM нейрон, архитектура, обучение. Расчет количества обучаемых параметров. GRU-нейрон. Отличия от LSTM. О создании собственных вентильных нейронов. Пример архитектур. Уметь рисовать по формулам схему нейрона и наоборот. Двунаправленные рекуррентные сети, biLSTM. Примеры использования LSTM сетей: прогноз погоды, генерация "музыки".

Радиально-базисные нейронные сети. Работа нейрона персептронного типа. Персептрон с одним скрытым слоем. Базисные функции. Радиально-базисные функции, функция Гаусса, другие виды. Центр и ширина РБФ, их смысл. Другие возможные параметры. Радиально-базисная сеть, архитектура. Сходство и отличия от многослойного персептрона. Обучение РБФ нейронов. Кластеризация для обучения центров. Решение задач классификации на РБФ-нейронах. Метод обучения РБФ с подбором архитектуры. Метод К-средних для кластеризации, идея, алгоритм, ограничения.
Адаптивные сетки. Итеративная версия алгоритма К-средних, его недостатки. Взаимодействие между нейронами. Карта связей. Функция соседства. Самоорганизующаяся карта Кохонена (SOM), архитектура, виды решеток. Нейрон-победитель. Обучение SOM. Проблемы SOM. Растущий нейронный газ (GNG): матрица связей, возраст связей, локальная ошибка нейрона. Обучение GNG: нейрон-победитель и вице- победитель; процедуры добавления и удаления связей, добавления и удаления нейронов, обучение нейронов, обновление локальной ошибки. Проблемы GNG.  Определение связанных групп нейронов по матрице связей. Демонстрация работы SOM и GNG.
Импульсные (спайковые) нейронные сети. Отличия искусственных и естественных нейронных сетей. Понятие спайка. Модель нейрона "интегратор с утечкой" (LIF, Leaky Integrate and Fire). Алгоритм работы LIF-нейрона, мембранный потенциал, формула изменения мембранного потенциала. Схожесть с персептронными и рекуррентными сетями. Способы импульсного кодирования. Проблемы обучения спайковых сетей. Пластичность нейрона. Метод самообучения STDP (Spike-timing-dependent plasticity).  Понятие "нейрон бабушки", сопоставление шаблонов генерации спайков. 

Автокодировщики. Решения математических задач с помощью нейронных сетей: аппроксимация, экстраполяция (прогнозирование). Решение систем линейных и нелинейных уравнений. Нейронная сеть CMAC. Другие задачи.