Учебное пособие к курсу "Нейронные сети" для студентов 5 курса
магистратуры к. электроники физического ф-та Воронежского
Государственного университета. — Воронеж: ВГУ, 1999. — 76 с.
Введение
Параллельность обработки и реализуемость НС
Место нейронных сетей среди других методов решения задач
Биологический нейрон
Нервный импульс
Мембрана Мембранный потенциал
Натриевый насос
Калиевые каналы
Натриевые каналы
Возникновение нервных импульсов
Сальтаторный механизм распространения импульса
Эквивалентная схема волокна
Распространение нервных импульсов Уравнение Ходжкина-Хаксли
Пространственное описание нервного импульса
Синаптическая передача
Генерация нервных импульсов
Искусственные нейронные сети
Формальный нейрон
Виды функций активации
Ограничения модели нейрона
Многослойный перцептрон
Алгоритм решения задаче помощью МСП
Формализация задачи
Примеры формализации задач
Задача классификации
Распознавание букв алфавита
Прогнозирование одномерной функции
Аппроксимация многомерной функции
Выбор количества нейронов и слоев
Количество нейронов и слоев связано
Если в сети слишком мало нейронов или слоев
Если нейронов или слоев слишком много
Подготовка входных и выходных данных
Другие способы подготовки данных
Методы обучения
Общая схема обучения перцептрона
Применяются следующие методы теории оптимизации
Обучение однослойного перцептрона
Расписание обучения
Перцептронная представляемость
Однослойный перцептрон
Двухслойный перцептрон
Трехслойный перцептрон
Проблема "исключающего ИЛИ"
Решение проблемы ХОR
Обучение многослойного перцептрона
Алгоритм обратного распространения ошибки
Дальнейшее развитие алгоритма
Паралич сети
Выбор длины шага
Локальные минимумы
Чувствительность к порядку предъявления образов
Временная неустойчивость
Примеры применения перцептронов
Предсказание псевдослучайных последовательностей
Предсказание вторичной структуры белков
Синтез речи: NET-talk
Динамическое добавление нейронов
Способность нейронных сетей к обобщению
Обучение без учителя
Сеть с линейным поощрением
Задача классификации
Сети Кохонена
Алгоритмы классификации
Сеть Кохонена
Обучение слоя Кохонена
Присвоение начальных значений
Обучение сети
Метод выпуклой комбинации
Примеры обучения
Модификации алгоритма обучения
Режимы работы сети
Применение сети Кохонена для сжатия данных
Сеть встречного распространения
Слой Гроссберга
Обучение сети встречного распространения
Генетические алгоритмы для обучения НС
Применение генетических алгоритмов для обучения НС
Положительные качества генетических алгоритмов
Недостатки при обучении НС
Сети с обратными связями
Послойность сети и матричное умножение
Расчет градиента квадратичной формы
Выбор начальной точки и длины шага
Сеть Хопфилда
Решение задаче помощью сетей Хопфилда
Устойчивость сети
Сходимость к эталонам
Адаптивная резонансная теория (АРТ)
АРТ-1
Архитектура и работа
Слой сравнения
Слой распознавания
Работа сети АРТ
Необходимость поиска
Положительные качества и недостатки АРТ
Метод имитации отжига
Список литературы
Вопросы к зачету
Параллельность обработки и реализуемость НС
Место нейронных сетей среди других методов решения задач
Биологический нейрон
Нервный импульс
Мембрана Мембранный потенциал
Натриевый насос
Калиевые каналы
Натриевые каналы
Возникновение нервных импульсов
Сальтаторный механизм распространения импульса
Эквивалентная схема волокна
Распространение нервных импульсов Уравнение Ходжкина-Хаксли
Пространственное описание нервного импульса
Синаптическая передача
Генерация нервных импульсов
Искусственные нейронные сети
Формальный нейрон
Виды функций активации
Ограничения модели нейрона
Многослойный перцептрон
Алгоритм решения задаче помощью МСП
Формализация задачи
Примеры формализации задач
Задача классификации
Распознавание букв алфавита
Прогнозирование одномерной функции
Аппроксимация многомерной функции
Выбор количества нейронов и слоев
Количество нейронов и слоев связано
Если в сети слишком мало нейронов или слоев
Если нейронов или слоев слишком много
Подготовка входных и выходных данных
Другие способы подготовки данных
Методы обучения
Общая схема обучения перцептрона
Применяются следующие методы теории оптимизации
Обучение однослойного перцептрона
Расписание обучения
Перцептронная представляемость
Однослойный перцептрон
Двухслойный перцептрон
Трехслойный перцептрон
Проблема "исключающего ИЛИ"
Решение проблемы ХОR
Обучение многослойного перцептрона
Алгоритм обратного распространения ошибки
Дальнейшее развитие алгоритма
Паралич сети
Выбор длины шага
Локальные минимумы
Чувствительность к порядку предъявления образов
Временная неустойчивость
Примеры применения перцептронов
Предсказание псевдослучайных последовательностей
Предсказание вторичной структуры белков
Синтез речи: NET-talk
Динамическое добавление нейронов
Способность нейронных сетей к обобщению
Обучение без учителя
Сеть с линейным поощрением
Задача классификации
Сети Кохонена
Алгоритмы классификации
Сеть Кохонена
Обучение слоя Кохонена
Присвоение начальных значений
Обучение сети
Метод выпуклой комбинации
Примеры обучения
Модификации алгоритма обучения
Режимы работы сети
Применение сети Кохонена для сжатия данных
Сеть встречного распространения
Слой Гроссберга
Обучение сети встречного распространения
Генетические алгоритмы для обучения НС
Применение генетических алгоритмов для обучения НС
Положительные качества генетических алгоритмов
Недостатки при обучении НС
Сети с обратными связями
Послойность сети и матричное умножение
Расчет градиента квадратичной формы
Выбор начальной точки и длины шага
Сеть Хопфилда
Решение задаче помощью сетей Хопфилда
Устойчивость сети
Сходимость к эталонам
Адаптивная резонансная теория (АРТ)
АРТ-1
Архитектура и работа
Слой сравнения
Слой распознавания
Работа сети АРТ
Необходимость поиска
Положительные качества и недостатки АРТ
Метод имитации отжига
Список литературы
Вопросы к зачету