Лукашин Ю.П. Адаптивные методы краткосрочного прогнозирования временных рядов

Подождите немного. Документ загружается.

Учитывая опыт первых попыток построения моделей,

основанных на идее адаптивной фильтрации, мы предла-

гаем способ организации адаптации моделей авторегрес-

сионного

типа на принципах,

сходных

с теми, которые ис-

пользуются в экспоненциальной средней.

Операция

линейной фильтрации заключается в вычис-

лении

взвешенной суммы предыдущих наблюдений. В на-

иболее общем виде эта сумма записывается как

(3.1)

где S — взвешенная средняя;

(Hi

— вес, приписываемый наблюдению £;

Xt — значение, наблюденное в момент i;

— число наблюдений, используемое при подсчете S.

Метод скользящих средних, например, состоит в том, что

усредняются / последних членов ряда, а затем полученное

среднее используется как прогноз, т. е.

(3.2)

Таким

образом, последние / данных имеют'одинаковый

вес -j, а более ранние данные имеют нулевой вес.

Формула экспоненциального сглаживания

может быть записана в виде:

(3.3)

Здесь наибольший вес имеет текущее значение x

, а для

более старых наблюдений имеет место геометрическое убы-

вание весов.

Отсюда

видно, что эти методы отличаются лишь прави-

лом определения весов со,. Метод прогнозирования с по-

мощью адаптивного фильтра это просто

другой

подход

к оп-

ределению весов,

другой

способ построения фильтра.

Очевидно, что из-за различий в

весах

от этих методов сле-

дует

ожидать различных результатов, различной точности

прогнозов.

Первая

работа, посвященная синтезу фильтра, была

опубликована Н. Винером [112] в 40-е годы. Винер рассмот-

рел вопросы построения линейных фильтров с постоянными

коэффициентами

для элиминирования шума и для сглажи-

вания

и прогнозирования стационарных процессов. Разра-

ботанные им процедуры

дают

оптимальные с точки зрения

критерия наименьших квадратов

результаты

для случаев,

когда ряд действительно стационарен.

Продолжая

работу

Винера, различные авторы, включая

Р.

Кальмана и Р. Бьюси [70], разработали процедуры^ да-

ющие оптимальные изменяющиеся во времени линейные

фильтры для неста-

ционарных времен-

ных рядов. Для та-

ких рядов метод

Кальмана — Бьюси

может

дать

лучшие

результаты, чем

обыч-

ный

метод Винера.

Недостаток про-

цедур

Винера

Каль<

Рис.

3.1. Общая

схема

определения весов

прогнозе временного ряда

мана — Бьюси,в том,

что фильтры должны быть построены на основе апри-

орных данных или допущений относительно статистик рас-

сматриваемого временного ряда. На практике эти два мето-

да фильтрации

дают

минимальные ошибки прогноза только

при

условии, что статистические характеристики ряда дей-

ствительно

соответствуют

априорной информации, на ос-

нове которой были построены фильтры.

В описываемом здесь

методе

адаптивной фильтрации ста-

тистики ряда не измеряются, но учитываются неявно в про-

цессе построения фильтра и итеративного обновления весов

в-

ходе

его адаптации.

Для того чтобы понять процедуру адаптивной фильтра-

ции,

рассмотрим рис. 3.1, на котором представлена общая

схема

определения весов в прогнозе временного ряда.

Нижняя

часть рисунка отражает то, что происходит- в

действительности. Реальные события взаимодействуют

друг

другом

в некой сложной динамической системе, в резуль-

тате

на

выходе

переменная принимает определенное значе-

ние.

Блоки

и линии связи, расположенные выше, отражают'

процедуру адаптивной фильтрации. Это итеративная про-

цедура.

Ее цикл состоит в том, что берется данный набор

весов, по

ним

делается прогноз, затем подсчитывается ошиб-

ка

прогноза как разница

между

прогнозом и фактическим

наблюдением, наконец, осуществляется корректировка ве-

сов для уменьшения среднего квадрата ошибки.

Задача состоит в том, чтобы найти подходящую проце-

дуру

корректировки (адаптации) весов, позволяющую пере-

страивать модель (фильтр) в соответствии с текущей дина-

микой

ряда. В

следующем

параграфе рассмотрим

такую

про-

цедуру.

АДАПТАЦИЯ

КОЭФФИЦИЕНТОВ

МОДЕЛИ

АВТОРЕГРЕССИИ

Итак,

ключом

эффективности

адаптивной филь-

трации является правило, используемое для адаптации ве-

сов на каждом шаге. Это правило может быть выведено пу-

тем анализа ошибки прогноза.

В модели адаптивного фильтра предполагается, что про-

гноз

следующего

члена ряда может быть получен с помощью

взвешенной суммы / прошлых членов ряда

(3.4;

где S — взвешенная средняя, определяемая выражением

(3.1).

Выражение (3.4) имеет авторегрессионный характер. По-

этому эту модель

будем

также называть адаптивной моделью

авторегрессии порядка /. После того как становится извест-

ным

t + г

— фактическое значение ряда в момент t -f I,

можно подсчитать ошибку прогноза e

t + 1

— x

t +

i—

%\(t)—

~ x

t + 1

— Scope,.

Ьсе суммирования здесь и

будут

производиться от

t - / +

до L

Запишем

выражение для квадрата ошибки:

Это выражение показывает, что квадрат ошибки является

квадратической функцией от весов щ. Геометрической ин-

терпретацией этой функции в трехмерном пространстве яв-

ляется параболический цилиндр. При определенном со-

четании весов (вдоль прямой 2вд « x

+,) функция при-

нимает минимальное значение, равное нулю.

Предполагается, что в момент t —

были получены не-

которые оценки весовых

коэффициентов,

по которым и под-

считана оценка x

. Если использованные оценки весовых

коэффициентов

привели к ненулевой ошибке, то имеется

возможность скорректировать веса так, чтобы уменьшить

ошибку.

Можно

было

бы

выбрать

такие

веса,

которые сводили

бы ошибку к нулю. Но нужно иметь в

виду,

что по оценкам

весов, полученным в момент t,

будет

сформирована оценка

величины x

t + 1

. Между тем в момент *+1 функция ef+i от

весов изменится, так как ее коэффициенты (т. е. значения

х-ов)

будут

другими. В трехмерном пространстве эту функ-

цию

будет

отображать

другой

параболический

цилиндр,

при-

нимающий

минимальное значение вдоль новой прямой. Та-

ким

образом, процедуру адаптации весов в момент t нельзя

рассматривать изолированно, так как корректировка весов

на

основе текущей ошибки производится с целью минимиза-

ции

будущей

ошибки. Поэтому процедура адаптации весов

должна учитывать динамические особенности процесса и

предусматривать сглаживание чисто случайных колебаний

параметров изучаемой системы.

Очевидно, корректировку весов можно осуществлять

различными способами. Мы рассмотрим один из них. Для

адаптации весов воспользуемся методом наискорейшего

спуска. Сущность его состоит в выборе начальной точки на

исследуемой поверхности и последующем передвижении к

низшей

точке поверхности с применением итеративной

процедуры. Для этого необходимо иметь возможность вы-

числять в каждой точке поверхности вектор, указываю-

щий

направление движения. Тогда можно корректировать

веса таким образом, что новые веса

будут

представлять точ-

ку, которая ближе к оптимальному набору весов по сравне-

нию

со старыми весами, При использовании метода наиско-

рейшего спуска корректировка весов осуществляется по

следующему

правилу:

где W

— вектор старых весов;

— вектор новых весов;

— коэффициент (k > 0);

grad

(ef

i) — вектор, градиент

ef+i.

Это уравнение показывает, что корректировка весов

производится

путем

добавления к старому вектору весов

по-

правки,

получаемой умножением коэффициента k на гра-

диент, взятый с отрицательным знаком. Градиент с отрица-

тельным

знаком

указывает

наикратчайший

путь

достижения

минимума исследуемой поверхности, а коэффициент к оп-

ределяет, насколько мы продвигаемся в этом направлении.

Компоненты

градиента находим дифференцированием

квадрата ошибки по весам:

результате

получаем, что градиент в целом

где X — вектор / последних наблюдений. Это определяет

способ корректировки весов

Неизвестным

остается значение k, определяющее ско-

рость движения в направлении, обратном градиенту. Что-

бы определить характер влияния k на процедуру адапта-

ции,

поступим следующим образом. Вернемся в точку /

вновь сделаем прогноз, но уже с весами Wn. Получим но-

вое значение ошибки:

где e

t + 1

— ошибка, полученная при старых

весах

(tu

)

Теперь если положить

иприО<

|(««)

l+1

|<|*

i|.

Следовательно, а определяет реакцию модели на полу-

ченную ошибку и корректирует веса так, чтобы компенси-

ровать ошибку на

(1—|

\—а\) • 100% или при 0< а< 1

на

а • 100%. Вспомним простое экспоненциальное

сгла-

живание (гл. 1, § 2), где экспоненциальная средняя кор-

ректируется аналогичным образом: S< = S

-i + «<*ь

Де

**< —S,^.

Будем называть а параметром адаптации модели и счи-

тать его заданным и постоянным, k при этом

будет

пере-

менной

величиной. Оптимальное значение а, обеспечиваю-

щее минимум среднего квадрата

ошибки,

можно определить

методом проб на ретроспективном материале. Определение

оптимального значения а можно назвать процедурой

«обу-

чения» адаптивного фильтра.

§ з. ПРИМЕРЫ

Нами

было проведено экспериментальное срав-

нение

метода адаптивной фильтраций с другими методами,

рассматриваемыми в этой книге. Модели сравнивались на

одном и том же статистическом материале, приведенном в

приложении № 4. Временные ряды экономического содер-

жания

имели различную динамику. Объем выборок от

до

360 точек.

Результаты сопоставления моделей на основе оценок

точности ретроспективного прогнозирования приведены в

табл. 6.7 и 7.4. Из этих- таблиц видно устойчивое преиму-

щество адаптивной модели авторегрессии перед моделями

Брауна и их

модификациями.

Как известно, экономические

ряды очень часто имеют авторегрессионный характер. По-

этому такие

результаты

получены, очевидно, не случайно.

Лишь метод Бокса — Дженкинса, рассматриваемый в гл. 7,

по-видимому, чаще

дает

несколько меньшую, ошибку про-

гнозирования,

чем метод адаптивной фильтрации. Одна-

ко

простота построения и использования адаптивной модели

авторегрессии позволяет выбирать

структуру

модели (оп-

ределять величину

и получать прогнозы на ЭВМ. Это де-

лает

ее намного привлекательнее моделей Бокса — Джен-

кинса,

построение которых

требует

привлечения высоко-

квалифицированных специалистов.

На

рис. 3.2 приведен график, иллюстрирующий ретро^

спективное прогнозирование одного из рядов по адаптивной

модели авторегрессии. Первые значения весов для начала

итеративной процедуры адаптации как в этом, так и в ос-

тальных

случаях

моделирования определялись оцениванием

методом наименьших квадратов соответствующей линейной

множественной регрессии на базе первых 15 точек выборки.

Порядок

модели авторегрессии, т. е. оптимальное зна-

чение параметра /, в экспериментах определялся методом

перебора значений / от 1 до 5. В большинстве

случаев

0П

было равно

и ни разу не оказалось больше 3.

В заключение отметим, что использование статисти-

ческих измерителей точности в

методе

адаптивной фильт-

рации

остается областью, еще не исследованной. Практи-

чески/если выборка невелика «

50—60

точек), в качестве

статистического показателя, характеризующего довери-

тельные интервалы прогноза, можно использовать средне-

квадратическую ошибку ретроспективных прогнозов. Если

же объем выборки составляет

100—200

или более точек,

Рис.

3.2. Ретроспективное прогнозирование

производства яиц по адаптивной модели

авторегрессии #

(7) « а,х,, т =1

можно рекомендовать оценку доверительных интервалов

по

среднеквадратической

ошибке,

подсчитанной с помощью

метода экспоненциального сглаживания.

В гл. 8 (§ 2) метод адаптивной фильтрации

будет

при-

менен для построения адаптивной модели множественной

регрессии общего вида.

Глава

МОДЕЛИ

АДАПТИВНЫМИ

ПАРАМЕТРАМИ

АДАПТАЦИИ

Глава посвящена моделям с повышенной спо-

собностью к самообучению — моделям с адаптивными пара-

метрами адаптации. Рассматриваются различные способы

регулирования быстроты реакции модели в зависимости

от текущих свойств временного ряда.

СКОРОСТЬ

РЕАКЦИИ

КАК

ФУНКЦИЯ

СЛЕДЯЩЕГО

КОНТРОЛЬНОГО

СИГНАЛА

(МОДЕЛЬ

ТРИГГА —

ЛИЧА)

В гл. 2 § 3 был рассмотрен следящий контроль-

ный

сигнал Kt

=-И-.

Было

показано,

что

он

является мерой

неадекватности' модели реальному процессу. Оказалось

возможным использовать его для автоматического

регу-

лирования

параметра адаптации модели.

Д.

Тригг и А. Лич [105] предложили модифицировать

предсказывающие системы, использующие экспоненциаль-

ное

сглаживание, посредством изменения скорости реакции

зависимости от величины контрольного сигнала. В прос-

тейшей модели

это

эквивалентно

регулированию параметра

сглаживания а. Наиболее очевидный способ заставить

систему автоматически реагировать на расхождение прог-

нозов

и фактических данных — это увеличение а с тем,

чтобы придать больший вес свежим данным и, таким обра-

зом,

обеспечить более быстрое приспособление модели к но-

вой

ситуации. Как только система приспособилась, необ-

ходимо опять уменьшить величину а для фильтрации

шума.

Простой способ достижения такой адаптивной ско-

рости реакции состоит

в"

выборе

где K

— следящий -контрольный сигнал.

На

рис. 4.1

показано испытание полиномиальной мо-

дели

нулевого

порядка с переменным, параметром а при

прогнозировании искусственного ряда.

Рис.

4.1. Сравнение реакций полиномиальных моделей

нулевого порядка Брауна

(ß=0,9)

и Тригга—Лича на

ступенчатое изменение уровня ряда, т=1

Крестики

на рисунке,

отражают

значения членов вре-

менного ряда, в котором наблюдается изменение ступен-

чатого

типа. Ряд искусственно генерирован по модели

где B

— неавтокоррелированные. случайные нормальные

отклонения

с нулевым математическим ожиданием

диспер-

Рис.

4Л—4.4

заимствованы из работы Тригга н Лнча.

сией а

. Реакция простейшей модели экспоненциального

типа с постоянным коэффициентом сглаживания а = 0,1

отмечена кружками. Пунктирная линия характеризует

реакцию подобной же системы, но с переменным cc

. Можно

видеть, что система с адаптивным а приспосабливается

ступенчатым изменениям намного быстрее, а после отра-

ботки ступеньки размах ее колебаний не больше, чем

у обычной системы, поскольку контрольный сигнал, по-

строенный по принципу сглаженной ошибки, остается боль-

шим,

как правило, только пока прогнозирующая система

находится'в переходном режиме; Аналогичная модифика-

ция

возможна

и-

для более сложных моделей. Рассмотрим

частный случай обобщенной модели Р. Брауна — модель

линейного роста (п = 2)

для которой уравнения обновления коэффициентов

будут:

Из

уравнений видно, что оценка среднего уровня процес-

са %

реагирует

на ошибку прогноза со скоростью (1 — ß

В моделях Р. Брауна с п параметрами скорость реакции

определяется величиной (1 — ß

), называемой эквивалент-

ной

постоянной сглаживания.

В многопараметрической модели Р. Брауна представ-

ляется естественным приравнять эквивалентную постоян-

ную сглаживания

модулю

контрольного сигнала. В линей-

ной

модели мы могли бы положить

откуда

Это означало

бы,

что каждый элемент вектора h как

функ-

ции

от ß каждый раз претерпевает соответствующие изме-

нения.

Однако эксперименты показали, что зависимость

всех

элементов hi от контрольного сигнала

ухудшает

прог-

ноз,

делая его неустойчивым. Если же ограничить моди-

фикацию

вектора h только его первой составляющей h

то эксперимент показывает, что во

всех

случаях

такая сис-

тема приводит к более стабильным результатам.

100