Нейроматематика
Читается: 2 курс, 3-4 модуль, АУК Покровский, онлайн
Пререквизиты: «Теория нейронных сетей»
Трудоемкость: 5 кредитов
Программа курса: 2022\23 2021\22
2020\21
2019\20 уч.г
64 аудиторных часа:
- 32 часа лекции
- 32 часа практические занятия
Формы контроля:
- 1 экзамен
- 1 контрольная работа
- 1 домашнее задание
- регулярные вопросы по лекциям
- регулярные задания по семинарам
- личные достижения
О курсе
Дисциплина «Нейроматематика» (вторая дисциплина майнора) изучает применение нейронных сетей (НС) для решения математических задач, в том числе, аппроксимации и экстраполяции функций, классификации и кластеризации данных, распознавания изображений и др. и реализацию их в специализированных пакетах программ – нейропакетах, а также углубленные знания об устройстве биологических нейронных сетей.
В результате изучения дисциплины студенты:
- будут знать способы решения математических задач с помощью нейронных сетей, нейропакетов
- будут уметь создавать нейронные сети, обучающие и тестовые выборки для них; получать решения задач классификации, кластеризации, прогнозирования, снижения размерности данных и др.
- получат навыки проведения аналитических исследований на доступных нейропакетах
Для изучения дисциплины необходимо предварительно изучить дисциплину «Теория нейронных сетей».
Ориентировочный список тем, изучаемых на дисциплине:
Рекуррентные нейронные сети. Явное и неявное использование времени в обучаемых моделях, проблемы явного учета времени. Дискретизация сигналов во времени, дискретное представление сигналов, равномерное и неравномерное, отсчеты сигнала. Время как порядок представления отсчетов. Элементы задержки (запоминания) сигнала, регистр сдвига как линия задержки. Обозначение операции задержки. Нейронная сеть с временными задержками (Time Delay Neural Network, TDNN), архитектура. Задержки по входу. Задержки сигналов внутри нейронной сети. Обучение TDNN. Ограничения TDNN, понятие "конечной памяти". Бесконечно долгие зависимости ("бесконечная память"), рекуррентный [персептронный, MLP] нейрон. Понятие обратной связи. Обязательность задержек для обратных связей, каузальность. Формула работы рекуррентного нейрона. Рекуррентный нейрон как генератор сигнала. Рекуррентная [MLP] нейронная сеть. Проблема обучения рекуррентных сетей. Ограничение зависимостей во времени. Развертка рекуррентных сетей во времени. Метод обратного распространения ошибки во времени (Backpropagation through time, BPTT). Проблемы долгих зависимостей для MLP-рекуррентных сетей. Проблема затухания и взрыва градиента. Проблема инициализации, задания начальных значений линии задержки. NARX - сеть (Nonlinear AutoRegression with eXternal input) идея и архитектура. Ограничение на обратную связь. Использование указаний учителя вместо выходов нейронной сети. Разомкнутый и замкнутый циклы обучения. Пример.
Вентильные рекуррентные нейронные сети. Проблемы рекуррентных сетей. Начальные значения задержек. Проблема долгосрочных зависимостей, пример рекуррентного нейрона. Идея и понятие управляемого вентиля. Состояние нейрона, вентиль забывания предыдущего состояния. Вентиль добавления новой информации в состояние. LSTM нейрон, архитектура, обучение. Расчет количества обучаемых параметров. GRU-нейрон. Отличия от LSTM. О создании собственных вентильных нейронов. Пример архитектур. Уметь рисовать по формулам схему нейрона и наоборот. Двунаправленные рекуррентные сети, biLSTM. Примеры использования LSTM сетей: прогноз погоды, генерация "музыки".
Радиально-базисные нейронные сети. Работа нейрона персептронного типа. Персептрон с одним скрытым слоем. Базисные функции. Радиально-базисные функции, функция Гаусса, другие виды. Центр и ширина РБФ, их смысл. Другие возможные параметры. Радиально-базисная сеть, архитектура. Сходство и отличия от многослойного персептрона. Обучение РБФ нейронов. Кластеризация для обучения центров. Решение задач классификации на РБФ-нейронах. Метод обучения РБФ с подбором архитектуры. Метод К-средних для кластеризации, идея, алгоритм, ограничения.
Адаптивные сетки. Итеративная версия алгоритма К-средних, его недостатки. Взаимодействие между нейронами. Карта связей. Функция соседства. Самоорганизующаяся карта Кохонена (SOM), архитектура, виды решеток. Нейрон-победитель. Обучение SOM. Проблемы SOM. Растущий нейронный газ (GNG): матрица связей, возраст связей, локальная ошибка нейрона. Обучение GNG: нейрон-победитель и вице- победитель; процедуры добавления и удаления связей, добавления и удаления нейронов, обучение нейронов, обновление локальной ошибки. Проблемы GNG. Определение связанных групп нейронов по матрице связей. Демонстрация работы SOM и GNG.
Импульсные (спайковые) нейронные сети. Отличия искусственных и естественных нейронных сетей. Понятие спайка. Модель нейрона "интегратор с утечкой" (LIF, Leaky Integrate and Fire). Алгоритм работы LIF-нейрона, мембранный потенциал, формула изменения мембранного потенциала. Схожесть с персептронными и рекуррентными сетями. Способы импульсного кодирования. Проблемы обучения спайковых сетей. Пластичность нейрона. Метод самообучения STDP (Spike-timing-dependent plasticity). Понятие "нейрон бабушки", сопоставление шаблонов генерации спайков.
Автокодировщики. Решения математических задач с помощью нейронных сетей: аппроксимация, экстраполяция (прогнозирование). Решение систем линейных и нелинейных уравнений. Нейронная сеть CMAC. Другие задачи.
Ведущие лекторы и семинаристы
Департамент программной инженерии: Старший преподаватель
telegram: @dpantiukhin

Департамент программной инженерии: Приглашенный преподаватель