6
ñêðûòûìè óçëàìè. Èñïîëüçîâàíèå ñêðûòûõ ñëîåâ ïîçâîëÿåò èñêóñòâåííûìè
ÍÑ îñóùåñòâëÿòü íåëèíåéíûå ïðåîáðàçîâàíèÿ âõîä-âûõîä ëþáîé ñëîæíîñòè
èëè èçâëåêàòü èç âõîäíûõ äàííûõ ñòàòèñòè÷åñêèå ïîêàçàòåëè âûñîêèõ ïîðÿäêîâ.
Ýòè óíèêàëüíûå ñâîéñòâà ìíîãîñëîéíûõ ñåòåé îñîáåííî ïðîÿâëÿþòñÿ ïðè
âûñîêîé ðàçìåðíîñòè ïðîñòðàíñòâà âõîäíûõ ñèãíàëîâ.
Íà ðèñ. 3á ïðåäñòàâëåíà ñõåìà òðåõñëîéíîé ïðÿìîíàïðàâëåííîé ÍÑ ñ îäíèì
ñêðûòûì ñëîåì. Äëÿ îïèñàíèÿ òàêîé ñåòè èñïîëüçóåòñÿ çàïèñü NN3-5-2. Çäåñü
3 ðàçìåð âõîäíîãî ñëîÿ ñåòè, 5 ñêðûòîãî, è 2 âûõîäíîãî.  îáùåì ñëó÷àå
ïðÿìîíàïðàâëåííàÿ ÍÑ ñ g âõîäíûìè íåéðîíàìè, q âûõîäíûìè íåéðîíàìè è n
ñêðûòûìè ñëîÿìè ðàçìåðà hi îáîçíà÷àåòñÿ NNg-h1-h2-...-hn-q.
Íåéðîíû âõîäíîãî ñëîÿ â òàêèõ ñåòÿõ ïðîñòî ðåòðàíñëèðóþò âõîäíûå
ñèãíàëû íà ïåðâûé ñêðûòûé ñëîé, íå ïðåîáðàçóÿ èõ. Â ñêðûòûõ íåéðîíàõ
ïîñëåäîâàòåëüíî, ñëîé çà ñëîåì, ïðîèñõîäèò íåëèíåéíîå ïðåîáðàçîâàíèå
ñèãíàëîâ. Ñèãíàëû ñ ïîñëåäíåãî ñêðûòîãî ñëîÿ ïîñòóïàþò íà íåéðîíû
âûõîäíîãî ñëîÿ, êîòîðûå ôîðìèðóþò ðåàêöèþ ñåòè.
Ôîðìàëüíî, íå ñóùåñòâóåò îãðàíè÷åíèé íà òèïû àêòèâàöèîííûõ ôóíêöèé
íåéðîíîâ ðàçëè÷íûõ ñëîåâ ÍÑ èëè äàæå îäíîãî ñëîÿ, îäíàêî îáû÷íî âñå
ñêðûòûå íåéðîíû âûáèðàþòñÿ îäíîãî òèïà. Âûõîäíîé ñëîé ÍÑ ìîæåò ñîñòîÿòü
èç íåéðîíîâ ñ òåì æå òèïîì àêòèâàöèîííîé ôóíêöèè, ÷òî è ó íåéðîíîâ ñêðûòîãî
ñëîÿ, íî íàèáîëåå ðàñïðîñòðàíåííûì ÿâëÿåòñÿ ìîäåëü ïðÿìîíàïðàâëåííîé ñåòè
ñ ëèíåéíûìè âûõîäíûìè íåéðîíàìè.
Èçîáðàæåííàÿ íà ðèñ. 3á ÍÑ íàçûâàåòñÿ ïîëíîñòüþ ñâÿçàííîé
ïðÿìîíàïðàâëåííîé ÍÑ, òàê êàê êàæäûé íåéðîí èç îäíîãî ñëîÿ ñâÿçàí ñî âñåìè
íåéðîíàìè ñëåäóþùåãî ñëîÿ. Øèðîêîå ïðèìåíåíèå òàêæå íàõîäÿò ÷àñòè÷íî
ñâÿçàííûå ïðÿìîíàïðàâëåííûå ÍÑ, â êîòîðûõ íåéðîíû îäíîãî ñëîÿ ñâÿçàíû
òîëüêî ñ îïðåäåëåííîé ÷àñòüþ íåéðîíîâ ñëåäóþùåãî ñëîÿ. Òàêàÿ àðõèòåêòóðà
ïîçâîëÿåò çàëîæèòü â ÍÑ àïðèîðíûå çíàíèÿ î æåëàåìîì çàêîíå îáðàáîòêè
ñèãíàëîâ â ñåòè. Òàêèå ñåòè åùå íàçûâàþò èåðàðõè÷åñêèìè.
3. Ðåêóððåíòíûå ñåòè. Ýòîò òèï ÍÑ îòëè÷àåòñÿ ñóùåñòâîâàíèåì îáðàòíûõ
ñâÿçåé è ýëåìåíòîâ âðåìåííîé çàäåðæêè ñèãíàëà.
Íàèáîëåå ïðîñòûì ñëó÷àåì ðåêóððåíòíîé ñåòè ÿâëÿåòñÿ îäèí ñëîé
íåéðîíîâ, îõâà÷åííûé îáðàòíûìè ñâÿçÿìè. Ïðè ýòîì êàæäûé íåéðîí ïîëó÷àåò
çàäåðæàííûå âûõîäíûå ñèãíàëû âñåõ îñòàëüíûõ íåéðîíîâ.
Íà ðèñ.4 ïðåäñòàâëåíà ðåêóððåíòíàÿ ÍÑ, ñîäåðæàùàÿ ñêðûòûé ñëîé
íåéðîíîâ.  ýòîì ñëó÷àå êàæäûé íåéðîí ïîëó÷àåò, êðîìå âõîäíûõ ñèãíàëîâ,
åùå è âñå âûõîäíûå ñèãíàëû ñåòè. ×àñòü ÍÑ, îõâà÷åííàÿ îáðàòíûìè ñâÿçÿìè
ìîæåò èìåòü è áîëüøåå êîëè÷åñòâî ñêðûòûõ ñëîåâ.
Íàëè÷èå îáðàòíûõ ñâÿçåé è ýëåìåíòîâ âðåìåííîé çàäåðæêè ñèãíàëîâ
ïðèäàåò ðåêóððåíòíûì ñåòÿì ñîáñòâåííûå íåëèíåéíûå äèíàìè÷åñêèå ñâîéñòâà.
Ýòî òàêæå ñêàçûâàåòñÿ íà èõ ñïîñîáíîñòè ê îáó÷åíèþ. Òðåíèðîâêà
ðåêóððåíòíûõ ñåòåé òðåáóåò ó÷åòà èõ äèíàìè÷åñêèõ ñâîéñòâ.