Применение нейросетевых технологий

Читается: 3 курс, 3-4 модуль, АУК Покровский, онлайн

Пререквизиты: «Теория нейронных сетей» и «Нейроматематика»

Трудоемкость: 5 кредитов

Программы курса:

Содержание Дисциплины

Четвертая дисциплина майнора, «Применение нейросетевых технологий», изучает различные способы применения нейросетевых технологий и нейрокомпьютеров в науке, технике и промышленности. Рассматриваются области обработки и генерации изображений, текстов, звуков (речи и музыки), других сигналов. Изучаются проблемы безопасности нейронных сетей, атака и защита моделей и данных, проблемы криптографии. Изучаются подходы "мягких" вычислений, таких как эволюционные вычисления, нечеткая логика, обучение с подкреплением и резервуарные вычисления. Изучаются продвинутые модели нейронных сетей для построения искусственного интеллекта.

В результате изучения дисциплины студенты будут знать:

• основные области применения нейросетевых технологий и нейрокомпьютеров
• задачи, решаемые с помощью нейросетевых технологий в России и зарубежом
• модели мягких вычислений и их применение к задачам оптимизации, распознавания и анализа

Научатся:

• применять аппарат нейронных сетей к решению различных задач, в том числе для обработки изображений, обработки сигналов (в т.ч. радиолокационных),  криптографии и информационной безопасности и др.
• программировать, обучать и тестировать модели нейронных сетей для создания образов (текстовых, речевых, изображений и видео).

Для изучения дисциплины необходимо предварительно изучить дисциплины «Теория нейронных сетей» и «Нейроматематика».

Ориентировочный список тем, изучаемых на дисциплине:

• Эволюционные вычисления. Понятие эволюционных вычислений. Метод "роя частиц". Атрибуты частиц, локально- и глобально- лучшие положения. Формула обновления скоростей. Модификации метода. Пример работы. Влияние параметров. Генетические алгоритмы. Функция приспособленности, проблемы вычисления. Кодирование генов. Алгоритмы отбора. Операции скрещивания и мутации, варианты. Критерии останова. Примеры: "генетические машинки", задача о рюкзаке.
• Нечеткие множества, нейро-нечеткие сети. Отличия рассуждений на основе правил от работы нейронных сетей. Нечеткие понятия. Четкие и нечеткие множества. Логические операции с четкими множествами: объединение, пересечение, дополнение. Представление нечетких множеств. Функция принадлежности. Нечеткие логические операции, примеры. Нечеткий логический вывод. Нейро-нечеткая сеть ANFIS: фазификация входов; нечеткие правила и параметры результата правил; объединение результатов правил, уровень выполнимости правила. Свойства сети ANFIS. Обучение сети ANFIS. О параметрических функциях принадлежности. Пример прогнозирования временного ряда.
• Обучение с подкреплением. Основные понятия и определения, отличия от обучения с учителем и самообучения: агент, внешняя среда, состояние агента, действие агента, награда\штраф. Суммарный будущий доход, дисконтированный доход. Дискретизация состояний и времени. Переходы между состояниями как случайный процесс, дерево переходов. Уравнение Беллмана - связь между значениями функции дохода в разных состояниях, идея и составляющие уравнения. Q-функция (таблица) и политика (стратегия) действий. Q-обучение, формула обновления Q-таблицы, идея и составляющие. Проблемы Q-обучения. Жадная и эпсилон-жадная стратегия  выбора действий. Использование нейронной сети для аппроксимации Q-таблицы, глубокое Q-обучение (DQN). Примеры: управление тележкой; агент в лабиринте.
• Атаки на нейронные сети. Понятие атаки на нейронную сеть. Пример атаки. Алгоритм и причины возможности атаки на линейный нейрон. Метод быстрого знака градиента для атаки, параметры. Направленные и не направленные атаки. Пример атаки на сеть распознавания изображений. Влияние параметров. Атаки на основе карт чувствительности, малопиксельные атаки, примеры. Атаки в физическом мире, примеры. Атаки "черного ящика".  Защита от атак, аугментация с атакующими примерами.
• Генеративно-состязательный подход. Задача генерации образов. Дискриминатор - бинарный классификатор, общая архитектура, обучающие примеры, цель обучения, определение ошибки. Генератор - общая архитектура, обучающие примеры, цель обучения, определение ошибки (используя дискриминатор). Латентные переменные, необходимость случайного шума. Предобучение дискриминатора. Предобучение генератора. Обучение генеративно-состязательной сети. Проблемы баланса обучения. StyleGAN2, общая архитектура, управляемые блоки AdaIN, прогрессивное обучение, аугментации. Пример генерации изображений. Морфинг изображений, пример.
• Синхронизирующиеся нейронные сети и криптография. Задачи криптографии, генерация секретного ключа. Протокол Диффи-Хелмана для обмена секретным ключом. Архитектура древовидных машин четности (ДМЧ). Протокол обмена секретным ключом с помощью ДМЧ. Правила настройки весовых коэффициентов. Синхронизация ДМЧ, эксперименты по влиянию гиперпараметров на время синхронизации. О попытках взлома протокола. Атака "человек по середине".
• Задачи обработки изображений. Детекция объектов на изображении, сети YOLO, SSD и др. Сегментация изображений, сети UNet, Mask R-CNN и др. Перенос стиля изображений. Управляемые генераторы.
• Задачи обработки текста. Векторные представления слов. Механизм внимания. Архитектура Transformer. Векторные представления текста.  Анализ и генерация текста. Совместные векторные представления текста и изображений, текста и звука.
• Задачи обработки звука, музыки и речи. Представление звука и речи, mel-спектрограммы. Распознавание речи, архитектуры Wav2leter. Deep_Speech, ошибка CTC loss.  Анализ и генерация звука и речи. Генерация музыки.
• Биометрия. Сиамские нейронные сети.
• Другие применения нейронных сетей в промышленности, науке и народном хозяйстве. Нейронные сети в искусстве.

Пример одного лекционного занятия дисциплины:  тема Атаки на нейронные сети.