Применение нейросетевых технологий
Читается: 3 курс, 3-4 модуль, АУК Покровский, онлайн
Пререквизиты: «Теория нейронных сетей» и «Нейроматематика»
Трудоемкость: 5 кредитов
Программы курса:
... | ... | ... |
2025\26 | 2024\25 | 2023\24 |
Объем: Всего 64 аудиторных часа:
|
Формы контроля:
|
Содержание Дисциплины
Четвертая дисциплина майнора, «Применение нейросетевых технологий», изучает различные способы применения нейросетевых технологий и нейрокомпьютеров в науке, технике и промышленности. Рассматриваются области обработки и генерации изображений, текстов, звуков (речи и музыки), других сигналов. Изучаются проблемы безопасности нейронных сетей, атака и защита моделей и данных, проблемы криптографии. Изучаются подходы "мягких" вычислений, таких как эволюционные вычисления, нечеткая логика, обучение с подкреплением и резервуарные вычисления. Изучаются продвинутые модели нейронных сетей для построения искусственного интеллекта. |
В результате изучения дисциплины студенты будут знать:
- основные области применения нейросетевых технологий и нейрокомпьютеров
- задачи, решаемые с помощью нейросетевых технологий в России и зарубежом
- модели мягких вычислений и их применение к задачам оптимизации, распознавания и анализа
Научатся:
- применять аппарат нейронных сетей к решению различных задач, в том числе для обработки изображений, обработки сигналов (в т.ч. радиолокационных), криптографии и информационной безопасности и др.
- программировать, обучать и тестировать модели нейронных сетей для создания образов (текстовых, речевых, изображений и видео).
Для изучения дисциплины необходимо предварительно изучить дисциплины «Теория нейронных сетей» и «Нейроматематика».
Ориентировочный список тем, изучаемых на дисциплине:
- Эволюционные вычисления. Понятие эволюционных вычислений. Метод "роя частиц". Атрибуты частиц, локально- и глобально- лучшие положения. Формула обновления скоростей. Модификации метода. Пример работы. Влияние параметров. Генетические алгоритмы. Функция приспособленности, проблемы вычисления. Кодирование генов. Алгоритмы отбора. Операции скрещивания и мутации, варианты. Критерии останова. Примеры: "генетические машинки", задача о рюкзаке.
- Нечеткие множества, нейро-нечеткие сети. Отличия рассуждений на основе правил от работы нейронных сетей. Нечеткие понятия. Четкие и нечеткие множества. Логические операции с четкими множествами: объединение, пересечение, дополнение. Представление нечетких множеств. Функция принадлежности. Нечеткие логические операции, примеры. Нечеткий логический вывод. Нейро-нечеткая сеть ANFIS: фазификация входов; нечеткие правила и параметры результата правил; объединение результатов правил, уровень выполнимости правила. Свойства сети ANFIS. Обучение сети ANFIS. О параметрических функциях принадлежности. Пример прогнозирования временного ряда.
- Обучение с подкреплением. Основные понятия и определения, отличия от обучения с учителем и самообучения: агент, внешняя среда, состояние агента, действие агента, награда\штраф. Суммарный будущий доход, дисконтированный доход. Дискретизация состояний и времени. Переходы между состояниями как случайный процесс, дерево переходов. Уравнение Беллмана - связь между значениями функции дохода в разных состояниях, идея и составляющие уравнения. Q-функция (таблица) и политика (стратегия) действий. Q-обучение, формула обновления Q-таблицы, идея и составляющие. Проблемы Q-обучения. Жадная и эпсилон-жадная стратегия выбора действий. Использование нейронной сети для аппроксимации Q-таблицы, глубокое Q-обучение (DQN). Примеры: управление тележкой; агент в лабиринте.
- Атаки на нейронные сети. Понятие атаки на нейронную сеть. Пример атаки. Алгоритм и причины возможности атаки на линейный нейрон. Метод быстрого знака градиента для атаки, параметры. Направленные и не направленные атаки. Пример атаки на сеть распознавания изображений. Влияние параметров. Атаки на основе карт чувствительности, малопиксельные атаки, примеры. Атаки в физическом мире, примеры. Атаки "черного ящика". Защита от атак, аугментация с атакующими примерами.
- Генеративно-состязательный подход. Задача генерации образов. Дискриминатор - бинарный классификатор, общая архитектура, обучающие примеры, цель обучения, определение ошибки. Генератор - общая архитектура, обучающие примеры, цель обучения, определение ошибки (используя дискриминатор). Латентные переменные, необходимость случайного шума. Предобучение дискриминатора. Предобучение генератора. Обучение генеративно-состязательной сети. Проблемы баланса обучения. StyleGAN2, общая архитектура, управляемые блоки AdaIN, прогрессивное обучение, аугментации. Пример генерации изображений. Морфинг изображений, пример.
- Синхронизирующиеся нейронные сети и криптография. Задачи криптографии, генерация секретного ключа. Протокол Диффи-Хелмана для обмена секретным ключом. Архитектура древовидных машин четности (ДМЧ). Протокол обмена секретным ключом с помощью ДМЧ. Правила настройки весовых коэффициентов. Синхронизация ДМЧ, эксперименты по влиянию гиперпараметров на время синхронизации. О попытках взлома протокола. Атака "человек по середине".
- Задачи обработки изображений. Детекция объектов на изображении, сети YOLO, SSD и др. Сегментация изображений, сети UNet, Mask R-CNN и др. Перенос стиля изображений. Управляемые генераторы.
- Задачи обработки текста. Векторные представления слов. Механизм внимания. Архитектура Transformer. Векторные представления текста. Анализ и генерация текста. Совместные векторные представления текста и изображений, текста и звука.
- Задачи обработки звука, музыки и речи. Представление звука и речи, mel-спектрограммы. Распознавание речи, архитектуры Wav2leter. Deep_Speech, ошибка CTC loss. Анализ и генерация звука и речи. Генерация музыки.
- Биометрия. Сиамские нейронные сети.
- Другие применения нейронных сетей в промышленности, науке и народном хозяйстве. Нейронные сети в искусстве.
Пример одного лекционного занятия дисциплины: тема Атаки на нейронные сети.
Ведущий лектор и семинаристы
Департамент программной инженерии: Старший преподаватель