Применение нейросетевых технологий

Читается: 3 курс, 3-4 модуль, АУК Покровский, онлайн

Пререквизиты: «Теория нейронных сетей» и «Нейроматематика»

Трудоемкость: 5 кредитов

Программа курса:   2023\24    2022\23     2021\22     2020\21

64 аудиторных часа:

• 32 часа лекции
• 32 часа практические занятия

Формы контроля:

• 1 экзамен
• 1 контрольная работа
• 1 домашнее задание
• регулярные вопросы по лекциям
• регулярные задания по семинарам
• личные достижения

О курсе

Дисциплина «Применение нейросетевых технологий» (четвертая дисциплина майнора) изучает различные способы применения нейросетевых технологий и нейрокомпьютеров в науке, технике и промышленности. В результате изучения дисциплины студенты будут знать:

• основные области применения нейросетевых технологий и нейрокомпьютеров
• задачи, решаемые с помощью нейросетевых технологий в России и за рубежом

Научатся:

• применять аппарат нейронных сетей к решению различных задач, в том числе для обработки изображений, обработки сигналов (в т.ч. радиолокационных), управления динамическими объектами, в робототехнике, криптографии и информационной безопасности и др.

Для изучения дисциплины необходимо предварительно изучить дисциплины «Теория нейронных сетей» и «Нейроматематика».

Ориентировочный список тем, изучаемых на дисциплине:

Эволюционные вычисления. Понятие эволюционных вычислений. Метод "роя частиц". Атрибуты частиц, локально- и глобально- лучшие положения. Формула обновления скоростей. Модификации метода. Пример работы. Влияние параметров. Генетические алгоритмы. Функция приспособленности, проблемы вычисления. Кодирование генов. Алгоритмы отбора. Операции скрещивания и мутации, варианты. Критерии останова. Примеры: "генетические машинки", задача о рюкзаке.

Нечеткие множества, нейро-нечеткие сети. Отличия рассуждений на основе правил от работы нейронных сетей. Нечеткие понятия. Четкие и нечеткие множества. Логические операции с четкими множествами: объединение, пересечение, дополнение. Представление нечетких множеств. Функция принадлежности. Нечеткие логические операции, примеры. Нечеткий логический вывод. Нейро-нечеткая сеть ANFIS: фазификация входов; нечеткие правила и параметры результата правил; объединение результатов правил, уровень выполнимости правила. Свойства сети ANFIS. Обучение сети ANFIS. О параметрических функциях принадлежности. Пример прогнозирования временного ряда.

Обучение с подкреплением. Основные понятия и определения, отличия от обучения с учителем и самообучения: агент, внешняя среда, состояние агента, действие агента, награда\штраф. Суммарный будущий доход, дисконтированный доход. Дискретизация состояний и времени. Переходы между состояниями как случайный процесс, дерево переходов. Уравнение Беллмана - связь между значениями функции дохода в разных состояниях, идея и составляющие уравнения. Q-функция (таблица) и политика (стратегия) действий. Q-обучение, формула обновления Q-таблицы, идея и составляющие. Проблемы Q-обучения. Жадная и эпсилон-жадная стратегия  выбора действий. Использование нейронной сети для аппроксимации Q-таблицы, глубокое Q-обучение (DQN). Примеры: управление тележкой; агент в лабиринте.

Атаки на нейронные сети. Понятие атаки на нейронную сеть. Пример атаки. Алгоритм и причины возможности атаки на линейный нейрон. Метод быстрого знака градиента для атаки, параметры. Направленные и не направленные атаки. Пример атаки на сеть распознавания изображений. Влияние параметров. Атаки на основе карт чувствительности, малопиксельные атаки, примеры. Атаки в физическом мире, примеры. Атаки "черного ящика".  Защита от атак, аугментация с атакующими примерами.

Генеративно-состязательный подход. Задача генерации образов. Дискриминатор - бинарный классификатор, общая архитектура, обучающие примеры, цель обучения, определение ошибки. Генератор - общая архитектура, обучающие примеры, цель обучения, определение ошибки (используя дискриминатор). Латентные переменные, необходимость случайного шума. Предобучение дискриминатора. Предобучение генератора. Обучение генеративно-состязательной сети. Проблемы баланса обучения. StyleGAN2, общая архитектура, управляемые блоки AdaIN, прогрессивное обучение, аугментации. Пример генерации изображений. Морфинг изображений, пример.

Синхронизирующиеся нейронные сети и криптография. Задачи криптографии, генерация секретного ключа. Протокол Диффи-Хелмана для обмена секретным ключом. Архитектура древовидных машин четности (ДМЧ). Протокол обмена секретным ключом с помощью ДМЧ. Правила настройки весовых коэффициентов. Синхронизация ДМЧ, эксперименты по влиянию гиперпараметров на время синхронизации. О попытках взлома протокола. Атака "человек по середине".

Задачи обработки изображений. Детекция объектов на изображении, сети YOLO, SSD и др. Сегментация изображений, сети UNet, Mask R-CNN и др. Перенос стиля изображений. Управляемые генераторы.

Задачи обработки текста. Векторные представления слов. Механизм внимания. Архитектура Transformer. Векторные представления текста.  Анализ и генерация текста. Совместные векторные представления текста и изображений, текста и звука.

Задачи обработки звука, музыки и речи. Представление звука и речи, mel-спектрограммы. Распознавание речи, архитектуры Wav2leter. Deep_Speech, ошибка CTC loss.  Анализ и генерация звука и речи. Генерация музыки.

Биометрия. Сиамские нейронные сети.

Другие применения нейронных сетей в промышленности, науке и народном хозяйстве. Нейронные сети в искусстве.