Масленникова О.Е., Попова И.В. Основы искусственного интеллекта

Подождите немного. Документ загружается.

- 71 -

o Биологические НС являются аналоговыми системами.

Информация поступает в сеть по большому количеству каналов и кодируется

по пространственному принципу: вид информации определяется номером

нервного волокна, по которому она передается. Амплитуда входного

воздействия кодируется плотностью нервных импульсов, передаваемых по

волокну.

o Надежность. Биологические НС обладают фантастической

надежностью: выход из строя даже 10% нейронов в нервной системе не

прерывает ее работы. По сравнению с последовательными ЭВМ,

основанными на принципах фон Неймана, где сбой одной ячейки памяти или

одного узла в аппаратуре приводит к краху системы.

Принципиальные отличия между биологическими НС и

последовательными ЭВМ на архитектуре фон Неймана можно показать

следующей таблицей.

Таблица 8

Отличия между биологическими нейронными сетями и ЭВМ на

архитектуре фон Неймана

Машина фон Неймана

Биологическая нейронная

система

Процессор

Сложный

Простой

Высокоскоростной

Низкоскоростной

Один или несколько

Большое количество

Память

Отделена от процессора

Интегрирована в процессор

Локализована

Распределенная

Адресация не по

содержанию

Адресация по содержанию

Вычисления

Централизованные

Распределенные

Последовательные

Параллельные

Хранимые программы

Самообучение

Надежность

Высокая уязвимость

Живучесть

Специализация

Численные и символьные

oперации

Проблемы восприятия

Среда

функционирования

Строго определенная

Плохо определенная

Строго ограниченная

Без ограничений

Существуют два подхода к созданию искусственных нейронных сетей.

Информационный подход: Безразлично, какие механизмы лежат в

основе работы искусственных нейронных сетей, важно лишь, чтобы при

решении задач информационные процессы в НС были подобны

биологическим.

- 72 -

Биологический подход: при моделировании важно полное биоподобие,

и необходимо детально изучать работу биологического нейрона.

Крупные работы в исследованиях биологических нейронных сетей

принадлежат Эндрю Хаксли, Алану Ходжкину,Бернарду Катцу,Джону

Экклзу,Стивену Куффлеру.

Методы исследования нейроподобных сетей

Для исследования построенной модели сети (с заданной

характеристикой элементов, архитектурой и обучающими правилами)

применяют три основных метода:

o аналитическое исследование;

o математическое (имитационное моделирование);

o физическое моделирование.

Сложность аналитического исследования обусловлена большим

количеством НПЭ в нейросети. Несмотря на это интересные аналитические

результаты получены для многих из рассматриваемых далее моделей

нейроподобных сетей, что в значительной степени способствовало их

популярности.

Физическое моделирование позволяет быстро получить достоверные

результаты работы модели, однако связано с технической сложностью

аппаратной реализации большого количества нейроподобных элементов с

многими адаптивными связями.

Математическое моделирование на ЭВМ дает возможность создать

практически любые модели НПС, однако из-за последовательного характера

их работы удается исследовать модели ограниченного размера.

Моделирование функций нервной системы проводится на разных

уровнях организации и абстракции. Можно выделить следующие категории

моделей:

o модели отдельных нейронов;

o модели небольших групп нейронов;

o модели нейронных сетей;

o модели мыслительной деятельности и мозга в целом.

Далее будем рассматривать модели нейронных сетей, состоящие из

большого количества взаимосвязанных моделей нейронов. При этом акцент

делается не на тщательной имитации свойств нейрона с целью исследования

его динамических и адаптивных характеристик (т.е. моделирование

отдельных нейронов), а на коллективных эффектах, возникающих при

объединении большого числа нейроподобных элементов.

Основная роль при этом отводится структуре межнейронных связей,

что позволяет использовать простые модели нейронов и моделировать

достаточно большие сети (рис. 37).

Сети с прямыми связями

Простой персептрон

- 73 -

Типичный персептрон состоит из трех основных компонент (рис. 39):

 матрицы бинарных входов (сенсорных нейронов или «сетчатки»)

, r

, ... r

, куда подаются входные образы;

 набора нейроподобных элементов x

, ... x

, с фиксированными

связями к подмножествам сетчатки («детекторы признаков»);

 «решающего элемента «- бинарного НПЭ с модифицируемыми

связями с «детекторами».

Рис. 37. Классификация нейронных сетей

Обычно число решающих элементов выбирается равным количеству

классов, на которое необходимо разбить предъявляемые персептрону образы.

В простейшем случае, когда n=m и x

= r

детекторы признаков могут

рассматриваться как входной слой. Тогда персептрон становится одним

бинарным НПЭ. Это классическая модель m-входного нейрона, или простой

персептрон Розенблата.

Рис. 38. Схема простого персептрона

- 74 -

Приведем один из алгоритмов обучения персептрона: процедура

сходимости персептрона Розенблата.

1.Вектор весов w

устанавливается в произвольное состояние.

2.На сетчатку поочередно подают образы из обучающей выборки,

которые трансформируются в выходной сигнал y решающего элемента.

3.При правильном отклике ничего не изменяется.

4.При неправильном отклике y=0 - веса всех связей от активных

элементов сетчатки увеличивают, а при неправильном отклике y=1 –

уменьшают на величину

Если решение существует, оно будет достигнуто за конечное число

шагов при начальном выборе связей.

Было показано, что персептрон с одним слоем обучающих связей не

может в принципе решить ряд задач. Примером такой задачи является

операция «исключающее или».

Многослойный персептрон

Многослойные персептроны с достаточным множеством внутренних

нейроподобных элементов и соответствующей матрицей связей в принципе

способны осуществлять любое отображение вход-выход. Сеть состоит из

произвольного количества слоев нейронов. Нейроны каждого слоя

соединяются с нейронами предыдущего и последующего слоев по принципу

«каждый с каждым». Первый слой (слева) называется сенсорным или

входным, внутренние слои называются скрытыми или ассоциативными,

последний (самый правый, на рисунке состоит из одного нейрона) —

выходным или результативным. Количество нейронов в слоях может быть

произвольным. Обычно во всех скрытых слоях одинаковое количество

нейронов.

Рис. 39. Многослойный персептрон

Для обучения многослойного персептрона был предложен алгоритм

обратного распространения ошибки. Основа метода – целевая функция,

- 75 -

формулируемая в виде квадратичной суммы разностей между фактическими

и ожидаемыми значениями выходных сигналов.

Алгоритм решения задач с помощью МСП

1. Определить, какой смысл вкладывается в компоненты входного

вектора х. Входной вектор должен содержать формализованное

условие задачи, т.е. всю информацию, необходимую для получения

ответа.

2. Выбрать выходной вектор у таким образом, чтобы его компоненты

содержали полный ответ поставленной задачи.

3. Выбрать вид нелинейности в нейронах (функцию активации).

4. Задать диапазон изменения входов, выходов, весов и пороговых

уровней, учитывая множество значений выбранной функции

активации.

5. Присвоить начальные значения весовым коэффициентам и пороговым

уровням и дополнительным параметрам (например, крутизне функции

активации, если она будет настраиваться при обучении).

6. Провести обучение, т.е. подобрать параметры сети так, чтобы задача

решалась наилучшим образом. По окончании обучения сеть готова

решить задачи того типа, которым она обучена.

7. Подать на вход сети условия задачи в виде вектора х. Рассчитать

выходной вектор у, который и даст формализованное решение задачи.

В настоящее время многослойные персептроны являются наиболее

популярной моделью нейронных сетей. Это в значительной мере объясняется

тем, что с их помощью удалось продемонстрировать решение ряда задач, в

т.ч. классической для персептрона задачи «исключающего или», задачи

синтеза речи по тексту, а также ряда задач, требующих принятия экспертных

решений.

Другие модели НПС

Сети с симметричными связями

Было отмечено, что недостатки простых персептронов можно

преодолеть как с помощью многослойных сетей, так и введением в сеть

обратных связей, допускающих циркуляцию сигналов по замкнутым

контурам.

Ансамблевые нейронные сети

Модель ансамблевой сети состоит из большого количества нейронов,

каждый из которых обычно соединен со всеми другими элементами сети. В

процессе обучения при подаче на сеть набора входных признаков в сети

формируются ансамбли, которые могут иметь сложную структуру,

отражающую свойства среды. То есть связность внутри групп

нейроподобных элементов, которые наиболее часто возбуждаются

одновременно, оказывается значительно выше, чем в среднем по сети.

- 76 -

Сеть Хопфилда

Сетями Хопфилда называется подмножество сетей с обратными

связями, которые гарантировано достигают устойчивого состояния. Джон

Хопфилд предложил использовать для анализа нейросетевых моделей

аппарат статистической физики. Хопфилд использовал сеть с

нейроподобными элементами, имеющими сигмоидную характеристику.

Состояния нейронов такой сети изменяются одновременно и непрерывно и

сеть описывается системой дифференциальных уравнений.

Рис. 40. Сеть Хопфилда

Решение задач с помощью сетей Хопфилда.

1. Построить функцию энергии таким образом, чтобы точка

глобального минимума этой функции совпадала с решением задачи. При

этом градиент функции энергии должен допускать вычисление с помощью

НС.

2. Записать формулы для расчета параметров сети (весовых

коэффициентов и пороговых уровней) для расчета градиента функции

энергии.

3. Разорвать цепочку обратной связи и предъявить сети входной

вектор. Рассчитать значения выходов.

4. Замкнуть обратную связь и предоставить сети возможность

самостоятельно менять свое состояние (релаксация). Остановить процесс

релаксации после того, как выходной вектор перестанет меняться, т.е. по

достижении минимума функции энергии. Полученные выходы сети дают

решение задачи.

Сети с обратными связями могут работать в качестве ассоциативной

памяти. Это означает, что по вектору, поданному на вход, сетью будет создан

на выходе один из запомненных ранее векторов, наиболее «похожий» (в

- 77 -

некотором выбранном смысле) на данный входной вектор. Такой способ

выборки данных называется адресацией по содержимому, в отличие от

адресации по номеру ячейки памяти, принятому в ЭВМ фон-неймановского

типа. Этот способ адресации широко используется в биологических НС.

Например, один лишь запах жасмина может вызвать в памяти целый набор

ассоциаций, причудливо связанных друг с другом и включающих в себя

визуальные, звуковые и кинестетические образы. Память с такой адресацией

является весьма перспективной для создания систем искусственного

интеллекта, систем распознавания речевых сигналов и изображений.

Рис. 41. Режим распознавания сети Хопфилда

Ограничения модели НПС

Модель НПС, как и всякая другая модель, имеет свои достоинства и

ограничения. Достоинства нейроподобных сетей уже были отмечены. К ним

относятся:

o успешное решение некоторых задач распознавания образов;

o способность к обучению путем представления образцов;

o параллельный принцип работы.

Однако с помощью модели НПС можно решать далеко не все

интеллектуальные задачи даже в области распознавания образов. В

когнитивной психологии [4] известно пять основных механизмов, которыми

пользуется человек при решении задачи распознавания образов:

o Гештальтпсихология. Распознавание образов основано на

восприятии целого стимульного образа. Отдельные части целостной

конфигурации приобретают свое значение, находясь в составе целого.

o Обработка информации по принципу ―снизу-вверх‖ или ―сверху-

вниз‖. Распознавание образа начинается с отдельных его частей (―снизу-

- 78 -

вверх‖), суммирование которых ведет к опознанию всего образа; либо:

распознавание всего образа ведет к опознанию его компонентов (―сверху-

вниз‖).

o Сравнение с эталоном. Распознавание образов происходит при

наличии совпадения сенсорных стимулов с соответствующей внутренней

мысленной формой.

o Подетальный анализ. Распознавание образа происходит после

анализа элементарных свойств входных стимулов (аналогично обработке по

принципу ―снизу-вверх‖ с той лишь разницей, что в принципе ―снизу-вверх‖

часть стимула может быть как элементарной, так и сложной компонентой

образа).

o Опознание по прототипу. Распознавание образа происходит при

наличии совпадения воспринимаемого образа с абстрактным или идеальным

умственным образом (что в отличие от механизма сравнения с эталоном не

предполагает полного совпадения с прототипом).

Современные искусственные НС по сложности и «интеллекту»

приближаются к нервной системе таракана, но уже сейчас демонстрируют

ценные свойства.

 Обучаемость. Выбрав одну из моделей НС, создав сеть и выполнив

алгоритм обучения, мы можем обучить сеть решению задачи, которая ей по

силам. Нет никаких гарантий, что это удастся сделать при выбранных сети,

алгоритме и задаче, но если все сделано правильно, то обучение бывает

успешным.

 Способность к обобщению. После обучения сеть становится

нечувствительной к малым изменениям входных сигналов (шуму или

вариациям входных образов) и дает правильный результат на выходе.

 Способность к абстрагированию. Если предъявить сети несколько

искаженных вариантов входного образа, то сеть сама может создать на

выходе идеальный образ, с которым она никогда не встречалась.

Упражнения

1. Дать логическую характеристику понятиям: Государство; 2) Актер; 3)

Равенство (партнерство); 4) Здание; Сделка; 6) Парламент; 7) Консенсус.

2. Сравнить объѐмы и содержания следующих понятий:

а) число, которое делится на 2 и на 3. Число, которое делится на 2;

б) число, которое делится на 2 или на 3. Число, которое делится на 2.

в) человек, знающий все живые европейские языки. Человек, знающий

все европейские языки;

г) живое существо. Обладающее членораздельной речью. Живое

существо, обладающее абсрактным мышлением и членораздельной

речью;

д) не делится на 4. Не делится на 4 и 24;

е) быть учащимся, но не быть студентом. Быть студентом;

ж) родиться в городе. Родиться в столице государства;

- 79 -

з) сдать хотя бы один экзамен. Сдать экзамен по математике;

и) Человек, читающий в метро. Человек, читающий книгу

3. Установить вид и правильность определений:

а) абитуриент – учащийся, окончивший школу и сдавший

вступительные экзамены в вуз;

б) барометр – прибор для измерения давления, в котором запаянную

сверху стеклянную трубку опускают открытым концом в ртуть;

в) рецензия – литературная работа, для создания которой нужно

проанализировать какое-либо художественное произведение и

сопроводить его критической оценкой;

г) русские – это славяне, которые не украинцы и не белорусы;

д) умный человек – это тот, который молчит, когда его не спрашивают.

4. Определить правильность обобщения и ограничения понятий:

а) Европейское государство – Франция – город на Сене – Париж;

б) Университет – гуманитарный факультет – исторический факультет;

в) Столица – Москва – центр Москвы – Красная Площадь;

г) Карельская береза – береза – дерево – лес;

д) Студент МаГУ – Иванов – человек – живое существо.

5. Установить, в каких отношениях попарно находятся следующие

понятия.

а) «Наказуемое деяние»; «Ненаказуемое деяние»; «Деяние»;

б) «Предмет, имеющий какой-либо цвет», «белый предмет», «черный

предмет»;

в) «Треугольник», «прямоугольный треугольник», «непрямоугольный

треугольник»;

г) «Орудие преступления», «Огнестрельное оружие», «пистолет»;

д) «Преступление против личности», «Преступление против жизни»,

«преступление против здоровья»;

е) «Посягательство на честь и достоинство личности», «Клевета»,

«Оскорбление»;

ж) «Хозяйственное преступление», «Обман покупателей», «Незаконное

изготовление спиртных напитков»;

з) «Человек, изучивший все восточные языки», «Человек, не

изучивший японского языка», «Человек, не изучившй некоторых

восточных языков»;

и) «Гражданин России»; «Российский военнослужащий»;

к) «Преступление», «терроризм», «спекуляция»

л) «Действие или бездействие, квалифицируемое законом в качестве

уголовно наказуемого», Действие или бездействие, квалифицируемое

законом в качестве уголовно наказуемого или бездействие,

квалифицируемое законом в качестве уголовно наказуемого»

6. Определить правильность деления:

а) Транспорт: городской, воздушный, морской, велосипедный;

- 80 -

б) Очки: с диоптриями, без диоптрий;

в) Город: республиканского, областного и местного значения;

г) Время года: зима, весна, лето, осень;

д) Поезд: экспресс, губернский, скорый, пассажирский, местный.

7. Показать на кругах Эйлера отношения между понятиями:

а) Юрист, прокурор, адвокат, судья, защитник, преступник;

б) Российский студент, студент – юрист, студент МаГУ.

в) Русский писатель, дореволюционный писатель, советский писатель,

Горький, Шолохов, Достоевский, Г. Баширов;

г) Отец; человек, имеющий двоих детей; человек, имеющий одного

ребенка; человек, имеющий детей;

д) Акционерное общество; член АО; председатель правления АО;

Петров.

8. Какие суждения могут быть выражены в следующих предложениях

(найдите их субъекты и предикаты):

а) Нет студента, который не имел бы трудности при изучении логики.

б) Эта картина была подарена музею дочерью художника.

в) Цыплят по осени считают.

г) Никто в группе не был готов к семинару.

д) Иван Иванович – сосед Ивана Никифоровича.

е) Только некоторые люди, и только люди – врачи.

ж) Все студенты 43 группы, за исключением Иванова, сдали зачет по

логике.

9. Вывести при помощи логического квадрата противоположные,

противоречащие и подчиненные данным суждения, установив их истинность

или ложность.

а) Некоторые растения вредны.

б) Все науки осуществляются благодаря опыту.

в) Ни один лентяй не заслуживает похвалы.

г) Все студенты сдают экзамены.

д) Некоторые реки судоходны.

е) Никакое знание не бесполезно.

ж) Некоторые звезды не видны.

10. Проверить правильность логического рассуждения сокращенным

способом, который был разобран в п. Законы логики и логический вывод.

Какими другими способами можно решить эту задачу?

а)

Известно, что Петр и Иван братья, или они однокурсники. Если

Петр и Иван братья, то Сергей и Иван не братья. Если Петр и Иван

однокурсники, то Иван и Михаил тоже однокурсники.

Следовательно, или Сергей и Иван братья, или Иван и Михаил

однокурсники.

б)

Прямые а и b или параллельны, или пересекаются, или