20
Îäíî èç ñâîéñòâ ôóíêöèè àêòèâàöèè ñîñòîèò â òîì, ÷òî íåéðîííàÿ ñåòü íå
ìîæåò äîñòèãàòü ïðåäåëüíûõ çíà÷åíèé 0 è 1, åñëè âåñà ñâÿçåé íå ÿâëÿþòñÿ
áåñêîíå÷íî áîëüøèìè. Òàêèì îáðàçîì, â ïðàêòè÷åñêîé ñèòóàöèè îáó÷åíèÿ,
êîãäà æåëàåìûå âûõîäû ÿâëÿþòñÿ áèíàðíûìè ({0,1}), íåéðîííàÿ ñåòü íèêîãäà
íå äîñòèãíåò ýòèõ çíà÷åíèé. Ïîýòîìó â êà÷åñòâå æåëàåìûõ âåëè÷èí ìîæíî
ðàññìàòðèâàòü 0,1 è 0,9, äàæå åñëè â äåéñòâèòåëüíîñòè æåëàåìûìè âåëè÷èíàìè
ÿâëÿþòñÿ 0 è 1.
Ñêîðîñòü îáó÷åíèÿ
η
ýòî êîíñòàíòà, ïðåäñòàâëÿþùàÿ ñîáîé êîýôôèöèåíò
ïðîïîðöèîíàëüíîñòè ìåæäó èçìåíåíèåì âåñà ñâÿçè è ãðàäèåíòîì îøèáêè Å
îòíîñèòåëüíî âåñà. ×åì áîëüøå äàííàÿ êîíñòàíòà, òåì áîëüøå èçìåíåíèÿ â
âåñàõ ñâÿçåé. Îáû÷íî ñêîðîñòü îáó÷åíèÿ âûáèðàåòñÿ êàê ìîæíî áîëüøåé, íî
òàêîé, ÷òîáû íå âîçíèêàëî îñöèëëÿöèè. Òàê êàê äëÿ èñêëþ÷åíèÿ îñöèëëÿöèè â
ôîðìóëû áûë ââåäåí ìîìåíò âðåìåíè, òðåáóåòñÿ âûáðàòü ïîäõîäÿùåå çíà÷åíèå
a. Ââåäåíèå ìîìåíòà âðåìåíè «îòôèëüòðîâûâàåò» âûñîêî÷àñòîòíûå èçìåíåíèÿ
ïîâåðõíîñòè îøèáêè â ïðîñòðàíñòâå âåñîâ ñâÿçåé. Ýòî ïîëåçíî â ñëó÷àÿõ, êîãäà
ïðîñòðàíñòâî âåñîâ ñâÿçåé ñîäåðæèò äëèííûå îâðàãè ñ îñòðûìè
èñêðèâëåíèÿìè. Â ñâÿçè ñ òåì, ÷òî òàêîå èñêðèâëåíèå âûçûâàåò ðåçêèå
ðàñõîäÿùèåñÿ êîëåáàíèÿ â äîëèíå, íåîáõîäèìî âûáèðàòü íåáîëüøîé ðàçìåð
øàãà, äëÿ ÷åãî òðåáóåòñÿ íåáîëüøàÿ ñêîðîñòü îáó÷åíèÿ. Îáû÷íî ðåêîìåíäóåòñÿ
èñïîëüçîâàòü âåëè÷èíó a, ïðèáëèçèòåëüíî ðàâíóþ 0,9 [1].
Äðóãîé ïðîáëåìîé ÿâëÿåòñÿ âûáîð êîëè÷åñòâà ñêðûòûõ óçëîâ èëè ñêðûòûõ
ñëîåâ. Èç ðåãðåññèîííîãî àíàëèçà èçâåñòíî, ÷òî åñëè âûáðàòü äîñòàòî÷íî ìíîãî
âèäîâ îïèñûâàþùèõ ïåðåìåííûõ, òî îøèáêà ïðåäñêàçàíèÿ îêàæåòñÿ
íåáîëüøîé. Ïóñòü, íàïðèìåð, äëÿ îöåíêè ëèíåéíîé ðåãðåññèè
y
k
= a
0
+ a
1
x
1k
+ + a
p
x
pk
+ e
p
.
ãäå k=1,2,...,N, âûáðàíî ð âèäîâ îïèñûâàþùèõ ïåðåìåííûõ x
1
, x
2
,..., x
ð
è
îäíà öåëåâàÿ ïåðåìåííàÿ ó.
Åñëè âûáðàòü N=p, òî îøèáêè ïðåäñêàçàíèÿ å
k
(k = 1,2,...,ð) ìîãóò áûòü
ðàâíûìè íóëþ. Ìîæåò ïîêàçàòüñÿ, ÷òî ñ ïîìîùüþ óðàâíåíèÿ ðåãðåññèè
ìîæíî äîñòè÷ü òî÷íîãî ïðåäñêàçàíèÿ. Íà ïðàêòèêå ýòî íåâîçìîæíî, òàê êàê
N äîëæíî áûòü áîëüøå ð. Ïîýòîìó íåîáõîäèìî îòìåòèòü, ÷òî ìèíèìèçàöèÿ
êâàäðàòà îøèáêè, äîñòèãàåìàÿ çà ñ÷åò óâåëè÷åíèÿ êîëè÷åñòâà íåéðîíîâ, íå
îçíà÷àåò ïîñòðîåíèÿ õîðîøåé íåéðîííîé ñåòè. Åñëè èñïîëüçîâàòü áîëüøîå
êîëè÷åñòâî íåéðîíîâ, òî íåéðîííàÿ ñåòü ìîæåò ñ âûñîêîé òî÷íîñòüþ
îáó÷àòüñÿ íà «çàøóìëåííûõ» äàííûõ.  ýòîì ñëó÷àå ñëåäóåò âûáðàòü
íåéðîííóþ ñåòü ìåíüøåãî ðàçìåðà, äàæå åñëè îøèáêà ïðè ýòîì îêàçûâàåòñÿ
íå òàêîé ìàëîé, êàê ïîêàçàíî íà ðèñ. 10.
Íà ýòîì ðèñóíêå
∧
ïðåäñòàâëÿåò êðèâóþ îøèáêè, ïîëó÷åííóþ ïðè
òî÷íîì îáó÷åíèè íà íàáëþäàåìûõ äàííûõ, à Å
0
êðèâóþ îøèáêè,
îáåñïå÷èâàþùóþ íàèìåíüøóþ îøèáêó ïðåäñêàçàíèÿ äëÿ íåâèäèìûõ
äàííûõ. Ýòî ÿâëåíèå íàçûâàåòñÿ ïðîáëåìîé èçáûòî÷íîãî ïîäáîðà. Äëÿ åå