Учебное пособие, 2006 г. 12 лекций по 6-11 стр. Саратовский государственный университет.
Содержание:
Введение.
История. Сведения из высшей математики. Основные теоремы нейроинформатики.
Теорема Колмогорова.
Теорема Стоуна-Вейерштрасса. Обобщённая теорема Стоуна. Основные понятия теории нейронных сетей.
Нейрон. Синапс. Адаптивный сумматор. Активатор. Точка ветвления.
Модель функционирования нейронной сети.
Классификация нейронных сетей. Постановка и основные пути решения задачи обучения нейронных сетей.
Частичная задача обучения.
Задача аппроксимации функции в стандартной постановке.
Сравнительный анализ алгоритмов обучения. Стандартные архитектуры нейронных сетей.
Сеть из одного нейрона. Линейная регрессия. Задача линейного разделения двух классов.
Однослойный персептрон Розенблатта. Алгоритм обучения персептрона.
Слоистые архитектуры. Многослойная нейронная сеть и алгоритм обратного распространения ошибки. Алгоритм обучения многослойного персептрона. Градиентные методы обучения нейронных сетей.
Постановка задачи. Обобщённый алгоритм нелинейной оптимизации.
Методы первого порядка: метод наискорейшего спуска, метод тяжёлого шарика, методы сопряжённых градиентов (Флетчера-Ривса, Хестенса-Штифеля, Полака-Рибьера, тяжёлого шарика регулируемой массы, BFGS с конечной памятью), алгоритм RProp, алгоритм QuiqProp, алгоритм Delta-delta.
Методы второго порядка: алгоритм Ньютона, алгоритм сопряжённых направлений, алгоритм BFGS, алгоритм Левенберга-Марквардта. Обучение без учителя. Принцип "победитель забирает всё".
Звёзды Гроссберга.
Принцип Winner Take All (WTA) в модели Липпмана-Хемминга.
Карта самоорганизации Кохонена.
Нейронная сеть встречного распространения.
Гибридная сеть. Ассоциативные запоминающие нейронные сети.
Сети с обратными связями.
Модель Хопфилда. Нейродинамика в модели Хопфилда.
Правило обучения Хебба.
Ассоциативность памяти и задача распознавания объекта. Обобщения и применения модели Хопфилда.
Модификации правила Хебба.
Матрица Хебба с ортогонализацией образов.
Отказ от симметрии синапсов.
Алгоритмы разобучения (забывания).
Двунаправленная ассоциативная память.
Детерминированная и вероятностная нейродинамика.
Применение сети Хопфилда к задачам комбинаторной оптимизации. Радиальные нейронные сети.
Задача аппроксимации функции радиальной нейронной сетью.
Архитектура радиальной нейронной сети.
Методы обучения радиальной нейронной сети: гибридный алгоритм, градиентный алгоритм.
Сравнение радиальных и сигмоидальных сетей. Методы глобальный оптимизации.
Метод рестартов. Эволюционные алгоритмы.
Метод имитации отжига металла.
История. Сведения из высшей математики. Основные теоремы нейроинформатики.
Теорема Колмогорова.
Теорема Стоуна-Вейерштрасса. Обобщённая теорема Стоуна. Основные понятия теории нейронных сетей.
Нейрон. Синапс. Адаптивный сумматор. Активатор. Точка ветвления.
Модель функционирования нейронной сети.
Классификация нейронных сетей. Постановка и основные пути решения задачи обучения нейронных сетей.
Частичная задача обучения.
Задача аппроксимации функции в стандартной постановке.
Сравнительный анализ алгоритмов обучения. Стандартные архитектуры нейронных сетей.
Сеть из одного нейрона. Линейная регрессия. Задача линейного разделения двух классов.
Однослойный персептрон Розенблатта. Алгоритм обучения персептрона.
Слоистые архитектуры. Многослойная нейронная сеть и алгоритм обратного распространения ошибки. Алгоритм обучения многослойного персептрона. Градиентные методы обучения нейронных сетей.
Постановка задачи. Обобщённый алгоритм нелинейной оптимизации.
Методы первого порядка: метод наискорейшего спуска, метод тяжёлого шарика, методы сопряжённых градиентов (Флетчера-Ривса, Хестенса-Штифеля, Полака-Рибьера, тяжёлого шарика регулируемой массы, BFGS с конечной памятью), алгоритм RProp, алгоритм QuiqProp, алгоритм Delta-delta.
Методы второго порядка: алгоритм Ньютона, алгоритм сопряжённых направлений, алгоритм BFGS, алгоритм Левенберга-Марквардта. Обучение без учителя. Принцип "победитель забирает всё".
Звёзды Гроссберга.
Принцип Winner Take All (WTA) в модели Липпмана-Хемминга.
Карта самоорганизации Кохонена.
Нейронная сеть встречного распространения.
Гибридная сеть. Ассоциативные запоминающие нейронные сети.
Сети с обратными связями.
Модель Хопфилда. Нейродинамика в модели Хопфилда.
Правило обучения Хебба.
Ассоциативность памяти и задача распознавания объекта. Обобщения и применения модели Хопфилда.
Модификации правила Хебба.
Матрица Хебба с ортогонализацией образов.
Отказ от симметрии синапсов.
Алгоритмы разобучения (забывания).
Двунаправленная ассоциативная память.
Детерминированная и вероятностная нейродинамика.
Применение сети Хопфилда к задачам комбинаторной оптимизации. Радиальные нейронные сети.
Задача аппроксимации функции радиальной нейронной сетью.
Архитектура радиальной нейронной сети.
Методы обучения радиальной нейронной сети: гибридный алгоритм, градиентный алгоритм.
Сравнение радиальных и сигмоидальных сетей. Методы глобальный оптимизации.
Метод рестартов. Эволюционные алгоритмы.
Метод имитации отжига металла.