Нейрокомпьютеры

Читается: 3 курс, 1-2 модуль, АУК Покровский, онлайн

Пререквизиты: «Теория нейронных сетей»

Трудоемкость: 5 кредитов

Программа курса:   2023\24     2022\23    2021\22      2020\21 

44 аудиторных часа:

• 22 часа лекции
• 22 часа практические занятия

Формы контроля:

• 1 экзамен
• 1 контрольная работа
• 1 домашнее задание
• регулярные вопросы по лекциям
• регулярные задания по семинарам
• личные достижения

О курсе

Дисциплина «Нейрокомпьютеры» (третья дисциплина майнора) изучает способы реализации нейронных сетей на различных вычислительных устройствах, архитектуры нейрочипов и нейрокомпьютеров, основы цифровой обработки сигналов.

В результате изучения дисциплины студенты будут знать:

• основные платформы моделирования нейронных сетей
• архитектуры нейрочипов и нейрокомпьютеров
• перспективы развития вычислительной техники (в том числе, проекты ЭВМ на основе мемристоров)

Для изучения дисциплины необходимо предварительно изучить дисциплину «Теория нейронных сетей».

Ориентировочный список тем, изучаемых на дисциплине:

Цифровые сигналы и фильтры. Понятие сигнала. Аналоговые сигналы как функции времени. Аналоговые вычислители. Достоинства и недостатки. Проблема чувствительности к шумам, помехам и искажениям. Квантование уровня сигнала. Дискретизация времени. Цифровой сигнал. О курсе Цифровой обработки сигналов. Сигналы, шумы, помехи, полезный сигнал. Аналого-цифровые преобразователи, принципы работы.  Цифро-аналоговые преобразователи. Представление цифровых сигналов: бинарные, целочисленные, с фиксированной точкой, с плавающей точкой. Цифровые фильтры. Линейные стационарные фильтры.  Описание фильтров: разностные уравнения (временная область). Импульсная характеристика. Дискретная свертка. Z-преобразование, его свойства. Z-образы для избранных операций: задержка сигнала, свертка сигналов, линейные операции с сигналами. Передаточная функция, описание фильтра в Z-области. Перевод разностного уравнения в Z-область и наоборот. Линейный фильтр с конечной импульсной характеристикой (КИХ). Формула работы, схема. Линейный фильтр с бесконечной импульсной характеристикой (БИХ), формула работы, схема.  Схемы КИХ и БИХ фильтров. Базовые блоки, перевод разностного уравнения в схему и наоборот. Схема трансверсального КИХ фильтра. Две формы трансверсального БИХ фильтра. Транспонированные фильтры. Схемы транспонированных КИХ и БИХ фильтров.

Фильтры Винера и LMS. КИХ-фильтр.  Понятие линейных и нелинейных фильтров, адаптивных и неадаптивных. Адаптивный фильтр, схема адаптации, ошибка фильтрации. Задачи цифровой обработки сигналов, прямые модели. Задача идентификация системы, схема, ошибка идентификации. Адаптивное подавление шума, схема, ошибка подавления.  Обратные (инверсные) модели, проблемы инвертирования. Эквалайзер канала связи, схема, ошибка выравнивания. Предысказитель, схема, ошибка. Управление объектом, схема, ошибка управления. Предсказание сигнала, схема, ошибка предсказания. Фильтр Винера. Входной и желаемый выходной сигналы. Формулировка функции ошибки. Расчет оптимальных коэффициентов фильтра, матрица автокорреляции входного сигнала, вектор взаимной корреляции входного и желаемого выходного сигнала. Численная оценка матрицы и вектора корреляций. Примеры использования фильтра Винера в схемах. Схема активного шумоподавления, особенность обучения фильтра. LMS фильтр. Формулировка функции ошибки. Процедура обновления параметров фильтра. Примеры реализаций LMS фильтра в схемах. Сходства и различия фильтров LMS и Винера. Модификации LMS фильтра: использование знака, нормализованный, изменение шага, с ограничениями и др.

Нейроуправление. О нелинейных фильтрах. Понятие нейроуправления, нейроконтроллера. Различие между классическим и нейроуправлением: требование к глубине изучения объекта, к объему эксперимента. Проблемы нейроуправления, виды моделируемых систем. Разделы нейроуправления: нейроидентификация, нейроуправление, нейродиагностика. Инверсное нейроуправление. Схема работы, идея и схема обучения. Непрямое нейроуправление. Идея, схема, достоинства и недостатки. Нейроуправление с эмулятором. Необходимость эмулятора, задача эмулятора. Обучение эмулятора. Использование эмулятора для обучения контроллера. Прочие схемы нейроуправления, косвенное, предиктивное и др. Понятие опорной модели. NARMA контроллер. Ограничение на вид управляемых объектов. Схема эмулятора, обучение. Схема контроллера.

Кинематика. Общая схема управления роботом. Задача кинематики и динамики. Постановка прямой и обратной задачи кинематики. Проблемы неоднозначности решения, пути их решения: введение ограничений, дополнение информацией, анализ последовательности состояний. Пример двузвенного манипулятора. Пример гексапода.

Распознавание вида модуляции радиосигнала. О модуляциях радиосигнала. Амплитудная модуляция, пример. Частотная модуляция, пример. Фазовая модуляция, пример. Квадратурно-амплитудная (QAM) модуляция, примеры. Сигнальные созвездия. Влияние некоторых искажений и помех на QAM сигнал. Битовая и бодовая скорости. Задача распознавания типа модуляции радиосигнала. Область применения. Постановка. Подход к решению. Пример распознавания типа модуляции радиосигнала. О других задачах в телекоммуникационной области.

Введение в нейрокомпьютеры. СуперЭВМ. Список Топ500, Green500. Linpack как средство оценки производительности. Матричные операции, уровни BLAS. Важные характеристики вычислителей. Классификация вычислителей: - по типу носителя информации, - по типу сигналов, - по расположению, - по способу организации, - по возможностям, - по логическим элементам. Способы повышения производительности. Распараллеливание. Классификация Флинна. Выставка нейрокомпьютеров.

Графические ускорители. Графические процессоры (ГПУ) как сопроцессоры в суперЭВМ. Архитектура ГПУ (на примере чипов NVidia), отличие от CPU, группирование вычислителей в потоковый процессор. Латентность памяти, способ покрытия за счет переключения контекстов. Вычисления на ГПУ. Программно-аппаратная модель CUDA. Нити. Варпы. Блоки. Гриды. Ограничение на взаимодействие между блоками. WarpSheduler. Синхронность и асинхронность работы. Расчет загруженности. Иерархия памяти CUDA. Глобальная память. Транзакции, выравнивание памяти. Проблемы представления данных, примеры (матрицы, структуры). Разделяемая память. Проблемы доступа (банк-конфликты). Использование как управляемого кеша. Пример.

Нейрочипы. Специализированные вычислители, достоинства и недостатки. Нейрокомпьютеры и нейрочипы. Нейрочип ETANN. Реализованные архитектуры нейронных сетей. Представление входов и весов. Реализация синапса и нейрона: способ умножения входов на веса, преобразование напряжения в ток, использование транзисторов, способ сложения произведений. О функции активации. Схема чипа, составляющие. О температурном режиме. Радиально-базисные сети. Упрощенный вариант РБФ-сети, условия активации нейрона, параметр ширины зоны влияния нейрона. Нейрочип ZISC. Реализация РБФ-сети, расстояния L1, Linf. Устройство нейрона, представление "прототипа", ширины зоны влияния. Ситуации распознавания (верное, не верное, отказ). Процедура обучения, ситуации обучения. Примеры использования чипа для обработки изображений: выделение контуров, убирание шумов\искажений, расцвечивание, распознавание брака. Спайковые нейронные сети. Цифровое представление спайковых нейронов. Проект Synapse. Нейрочип TrueNorth. Реализация нейронов, представление входов и выходов. Весовые коэффициенты, утечка, порог, активация связей. Характеристики чипа. Проект Spinnaker. Другие примеры нейрочипов и нейрокомпьютеров.
Мемристоры, устройство памяти и проекты нейрокомпьютеров.