56
При решении одной и той же задачи сеть с перекрестными связями, как
правило, значительно проще сети с прямыми последовательными связями по
числу нейронов, используемых в сети.
Сеть с обратными связями:
∑
=
−+=
n
i
ii
tbytxwfty
1
))1()(()(
, (2.11)
где b – синаптический коэффициент обратной связи; y(t–l) – значение выходного
сигнала нейрона в момент времени (t–1); n – число входов нейрона. Для двух-
слойной сети, имеющей N нейронов во втором слое и K нейронов в первом, ма-
тематическая модель имеет вид:
∑∑ ∑ ∑
== ===
−+−+−+=
N
i
K
k
KN
ki
N
i
iikkkkki
tybtybtxbxwfwfty
11
,
1,11
2211122
))1())1())1(((()(
(2.12)
Здесь b
2ik
– синаптические коэффициенты обратной связи с выходов ней-
ронов второго слоя на входы нейронов первого слоя: b
2i
– коэффициенты обрат-
ной связи с выходов нейронов второго слоя на входы нейронов второго слоя; b
1k
– коэффициенты обратной связи нейронов первого слоя. Остальные обозначения
такие же, как в выражениях (2.9) и (2.10).
2.3.4. Архитектура связей
На способ обработки информации решающим образом сказывается нали-
чие или отсутствие в сети петель обратных связей. Если обратные связи между
нейронами отсутствуют, обработка информации в сети однонаправлена. Входной
сигнал обрабатывается последовательностью слоев и ответ гарантированно по-
лучается через число тактов равное числу слоев (табл. 2.1).
Наличие же обратных связей может сделать динамику нейросети (называе-
мой в этом случае рекуррентной) непредсказуемой. В принципе, сеть может «за-
циклиться» и не выдать ответа никогда. Причем не существует алгоритма, по-
зволяющего для произвольной сети определить, придут ли когда-либо ее элемен-
ты в состояние равновесия.
Вообще говоря, то, что нейроны в рекуррентных сетях помногу раз прини-
мают участие в обработке информации позволяет таким сетям производить более
разнообразную и глубокую обработку информации. Но в этом случае следует
принимать специальные меры к тому, чтобы сеть не зацикливалась. Например,
ограничивать число итераций.
2.3.5. Задачи оптимизации при обучении нейронной сети
Пусть имеется нейронная сеть, выполняющая преобразование F: X→Y век-
торов Х из признакового пространства входов Х в вектора Y выходного простран-
ства
Y. Сеть находится в состоянии W из пространства состояний W. Пусть далее
имеется обучающая выборка (X
α
, Y
α
),
α
= 1… p. Рассмотрим полную ошибку Е,
делаемую сетью в состоянии W