Сергеев В.Л. Интегрированные системы идентификации

Подождите немного. Документ загружается.

171

).(log)()),,((minarg

zpzFfyF

iin

−=−=

∑

αxα

(2)

В частности, если )(zp гауссова – ),,0(

N то (2) переходит в метод наи-

меньших квадратов (МНК)

,)),((minarg

αα

itn

xfy −=

∑

(3)

а если p(z) – плотность распределения Лапласа – ),0( aL (т. е. )),/exp(

)( az

zp −=

то из (2) получаем метод наименьших модулей (МНМ)

∑

−= ),(minarg αxα

iin

(4)

Для простейшего случая оценки скалярного сигнала при наличии шума

),),((

Rxf

∈≡

αα

вектор

из (3) совпадает с выборочным средним:

∑

а из (4) – с выборочной медианой: ).,...,(

1 nn

yymed

Оценки максимального правдоподобия при некоторых предположениях

асимптотически оптимальны в том смысле, что их среднеквадратическая

ошибка аппроксимации при объеме выборки

)(

∞

→nn достигает минимально

возможное значение, совпадающее с нижней границей неравенства Рао–

Крамера. Действительно, для произвольной несмещенной оценки

α спра-

ведливо неравенство Рао–Крамера [1]

;))((

))((

1−

≥−− pIB

αααα (5)

)(

))((

)(

∫

∞

∞−

).,(),(

αα

αα i

xfxf

B ∇∇=

∑

(6)

Здесь α – истинное значение параметра; )( pI – фишеровская информация

zdp

)(

)(' =

. Предполагается, что )( pI существует и конечна, матрица

B не-

вырождена.

Пусть

x – независимые случайные векторы с плотностью )(xp . Тогда

оценка максимального правдоподобия (2) асимптотически нормальна:

.,))((),,0(~)(

MBBpBISSNn ==−

−

αα

Сопоставляя это с (5), получаем, что (2) – асимптотически эффективная

оценка.

Однако оценки максимального правдоподобия не являются стабильны-

ми при малых отклонениях распределений от предполагаемого. Рассмотрим

простейший пример. Пусть

),( Rxf ∈≡

α , тогда оценка максимального прав-

доподобия для нормального распределения есть выборочное среднее

∑

. Если же

),()()1()( zhzgzp

−

где 0>

мало;

)(zg

– гауссова

плотность;

)(zh

– плотность распределения с бесконечной дисперсией (мо-

дель редких больших выбросов), то выборочное среднее имеет бесконечную

172

дисперсию. Иначе говоря, оценка

в этом случае не только не оптимальна,

но даже не состоятельна, хотя функция распределения помехи близка к нор-

мальной.

Стабильный метод максимального правдоподобия

Рассмотрим стабильный метод оценивания параметров функций, пред-

полагая, что известен лишь некоторый класс плотностей распределений веро-

ятностей помех

PP ∈p,

. Естественным представляется следующий способ

оценивания в такой ситуации. Выберем «наименее благоприятное» распреде-

ление

p из P, для которого правая часть (5) максимальна, и применим метод

максимального правдоподобия для

p . Таким образом, получаем

)),,((minarg

αxα

iin

fyF −=

∑

)(log)(

zpzF −= (7)

).(minarg

pIp

p P∈

По существу, этот подход для одномерной задачи оценки центра распределе-

ния был впервые предложен в работе [2], где автор рассмотрел класс P рас-

пределений, близкий к нормальному, и нашел для него

p и оценочную

функцию

F . Анализ ряда других классов P и обобщение на задачи регрессион-

ного типа было проделано в [3, 4]. Там же приведены рекуррентные варианты

алгоритмов оценивания и результаты вычислений. Ниже кратко описываются

полученные в [3, 4], результаты.

Приведем примеры классов распределений помех

P и соответствующих

наименее благоприятных распределений

p и оценочных функций

F :

А. Класс

P всех невырожденных распределений:

{}

.0)0(:

>≥=

ppP

Тогда

p – распределение Лапласа,

zzF =)(

и метод (7) сводится к методу

наименьших модулей (4).

Б. Класс P

распределений с ограниченной дисперсией:

{

}

.)(:

∫

≤=

dzzpzpP

Тогда

p – нормальное распределение

)( zzF = и метод (7) сводится к мето-

ду наименьших квадратов (3).

В. Класс P

«приближенно нормальных» распределений:

{

(1 ) ,

cg ch==− +P

01,c<< g гауссова ),,0(

N h произвольна }. Тогда

)( zzF = при

,az ≤

2)( azazF −= при az > , где a вычисляется по

и с. Метод (7) в

этом случае является промежуточным между методом наименьших квадратов

и методом наименьших модулей. По существу, этот метод осуществляет ав-

томатическую отбраковку аномальных (резко выделяющихся) измерений.

Г. Класс P

«приближенно равномерных» распределений

{

(1 ) ,

cg ch==− +P 01,c<< g равномерная −haR ),,0( произвольная

плотность }. Тогда

0)( =zF при ,az ≤ azzF −=)( при .az ≥ В одномерном

случае

)),((

≡xf

метод (7) дает оценку ,

такую что число измерений ,

меньших

−

равно числу измерений, больших .a

173

Можно рассмотреть и ряд других классов :P «финитных» и «прибли-

женно финитных» распределений, классы распределений, близких к нор-

мальному или равномерному в других метриках и т. д.

Основная теорема об асимптотической оптимальности в минимаксном

смысле оценок (7) может быть сформулирована так. Пусть

)(log)(

zpzF −=

симметрична, выпукла и удовлетворяет условию Липшица, плотность

)(zp помехи

симметрична и непрерывна в точках скачков ,)'()(

zFz =

причем существует отрезок, на котором

)(

zF отлична от линейной , а )(zp

положительна. Пусть задача линейна:

,),(

αα

xxf = причем

x – случайная

выборка из распределения с плотностью

, причем

x и

взаимно незави-

симы,

x ограничены и матрица )(xPdxx

∫

=B невырождена. Тогда оценка (7)

асимптотически нормальна

)),(,0(~)(

pFSNaan

− ,

)(

),(

∫

−

pdx

BpFS

).(')( zFz

(8)

Если Р – выпуклый класс распределений, в котором множество

{}

∞

)(: pIp

плотно, а

)(minarg

pIp

Pp∈

= существует, то

),,()(),(),(

**1***

pFSpIBpFSpFS ≤=≤

−

(9)

∈

Иначе говоря, для всего класса Р гарантируется равномерная оценка асимпто-

тической матрицы ковариаций

a и эта оценка не может быть лучше для лю-

бой другой функции F.

Учет информации о решении. Метод максимума апостериорной вероятности

До сих пор использовалась лишь априорная информация о статистиче-

ских характеристиках помех, а априорная информация о решении не исполь-

зовалась. Перейдем теперь к описанию возможных способов учета априорной

информации о решении.

Начнем с простейшего случая. Пусть известны

)(zp – плотность помех

и )(ap

– плотность априорного распределения решения. Тогда вместо ме-

тода максимального правдоподобия (2) целесообразно применить метод мак-

симума апостериорной вероятности:

arg min[ ( ( , )) ( )],

() log (),

() log ().

nii

Fy f F

Fz pz

=−+

=−

∑

α x αα

αα

(10)

В частности, если )(zp – гауссова

(0, ), ( )Np

α – гауссова ),,(

SαN

,),( αxαx

f ≡ то получаем

174

],2)()([minarg

)]()()[(minarg

TTT

iin

−−−+=

=−−+−=

−

ααααBαα

ααSαααxα

∑

Таким образом, вместо решения системы bBc

≡

(как в методе наимень-

ших квадратов) здесь нужно решать систему

,)(

bααSBα ≡−+

−

которая при I

=S имеет вид:

,)(

αbαB

+ .

= (12)

Иначе говоря, метод максимума апостериорной вероятности для гауссо-

ва случая приводит к решению регуляризованной системы нормальных урав-

нений. Параметр регуляризации

c полностью определяется отношением дис-

персий помехи и априорного распределения решения.

Отметим, что статистический подход к решению некорректных задач и

методу регуляризации как к способу учета априорной информации о решении

рассматривался рядом авторов [5, 6].

В негауссовском случае метод (10) приводит к способам оценивания, от-

личным от стандартного метода регуляризации. Пусть, например,

)(,),(

zpRxf ∈≡

αα

– плотность распределения Лапласа ),,0( cL )(

p – гаус-

сова плотность

).,(

σα

N Тогда

].)(

min[arg

∑

−+−=

αα

В частности, при n = 1

1010

010010

, если ,

(),если .

ycy

sign y c y

σα

αασα

⎧

>−

⎪

⎨

+− ≤−

⎪

⎩

Аналогичным образом при ,),(

Rxf ∈≡

αα

),,0(~)( aLzp

000

()~ ( , ),

Lan

. если ,

если,

aay

Наконец, если

)(

p – равномерная плотность на некотором ограничен-

ном множестве

RQ ⊂ , метод (10) принимает вид

)),,((minarg αxα

FyF −=

∑

∈

(13)

так что вместо безусловного минимума в (2) здесь ищется минимум той же

функции при наличии ограничений

∈

175

Если применить к рассматриваемой задаче неравенство Крамера–Рао

для случайных параметров [8], то для линейного случая

)),(( αxαx

f = и лю-

бой оценки

α смещение которой )(αb удовлетворяет условию

,0)()(lim

∞→

αα pb

получим

;)](

)([

))((

−

+≥−− pI

pIB

αααα (14)

;

)(

)('

)( ,

pIxx

iin

∫

∑

== (15)

.)()(ln)(ln)(

dppppI

ααα

∫

∇∇=

Поэтому, если плотности )(zp и )(

p известны не полностью

), ,(

PP ∈∈ pp то в соответствии с изложенным выше подходом следует вы-

брать «наименее благоприятные» распределения

P∈p ,

P∈p для которых

нижняя граница точности оценки, задаваемая (14), максимальна. Если вы-

брать в качестве скалярной характеристики матрицы, которую нужно макси-

мизировать, ее детерминант, то этот подход приводит к следующему ста-

бильному способу оценивания:

)).((detminarg ),(minarg

),(log)( ),(log)(

,])()(min[arg

pIppIp

pFzpzF

FxyF

PpPp

iin

∈∈

−=−=

+−=

∑

αα

(16)

Подчеркнем, что оценочная функция

F оказывается той же, что и для задач

при отсутствии априорной информации о решении.

Приведем примеры классов

P и соответствующих им функций

Для

простоты ограничимся одномерным случаем

():

∈

А. Априорное распределение

симметрично с центром

и дисперсией

Тогда )(

p – гауссово ),,(

σα

N .)(

)(

αα

−=F

Б. Решение сосредоточено на отрезке

]. ,[

−

Тогда

()p

()

cos

−

на этом отрезке и 0)(

p вне его,

)(

coslog2)(

−

−=

при

)( ,

∞=<−

αα

Fax при .

ax ≥−

При

∞→n алгоритм (16), как нетрудно видеть, совпадает с (10) (т. е.

роль априорной информации стремится к 0 с ростом n).

При малых объемах выборки малых n метод (16) обладает существен-

ными преимуществами в силу более полного учета априорной информации.

Кроме того, минимизируемая в (16) функция лучше обусловлена, и искать ее

минимум легче. Так, для гауссового случая

матрица В может быть близка к

вырожденной, а матрица

+ (12) положительно определена. Поэтому

решение (12) устойчиво и менее чувствительно к разного рода ошибкам.

176

Метод непараметрического оценивания функции регрессии

Рассмотрим задачу идентификации статического объекта в условиях ап-

риорной непараметрической неопределенности о структуре модели

nify

iii

,1 ,)(

=+=

x ,

(17)

где nixy

,1 , ,

= – измеренные значения входных и выходных переменных

объекта с плотностью

),,( xyp

)(xf

– неизвестная, однозначная функция;

– помехи с плотностью

).(zp

Известно, что наилучшим приближением к

модели объекта

)(xf является функция регрессии:

,)/()(

dyyyPr

∫

= xx

(18)

где

,)()/())((minarg)(

xxxx dydPyPfyxr

∫∫

−=

∈

)(/),()/( xxx PyPyP = – условная плотность распределения вероятности пере-

менных

x ,

Задача идентификации статического стохастического объекта (17) за-

ключается в оценке плотностей вероятности

)( ),,( xx PyP и соответственно

функции регрессии

)(xr .

В качестве оценок

),( xyP и )(xP используются непараметрические при-

ближения плотности вероятности «ядерного» типа [14–15]

⎟

⎠

⎞

⎜

⎝

⎛

−

⎟

⎠

⎞

⎜

⎝

⎛

−

∑

∏

∑

jij

hnh

111

)(

, (19)

где

),/)((

jjijj

hxxk −

mj ,1=

– некоторые весовые функции «ядра» с центром в

точках

;,1 ,,1 , nimjx

== mjh

,1 , = – параметры «сглаживания».

Свойства ядер:

.,1 , ,)/)( mjhChxxk

jjjjijj

=∞→→− ;

При

C ядро

k нормированное; (20)

б)

mjhhxxk

jjjijj

,1 ,0 ,0)/)(( =→→− .

В качестве ядер

k часто используют функции:

)2/exp()(

uuk −= ;

)exp()( uuk −= ; (21)

в)

=)(uk

⎪

⎩

⎪

⎨

⎧

≤<−

.1 при 0

1, 0 при 1

По аналогии с (19) имеет место непараметрическая оценка совместной

плотности вероятности

),( xyP случайных величин x,

⎟

⎠

⎞

⎜

⎝

⎛

−

⎟

⎠

⎞

⎜

⎝

⎛

−

∏

∑

jij

111

),( x

. (22)

177

Подставляя оценки (19) и (22) в (18) и учитывая свойства ядер (20), по-

лучим оценку функции регрессии

∑

⎟

⎠

⎞

⎜

⎝

⎛

−

⎟

⎠

⎞

⎜

⎝

⎛

−

jij

)(

. (23)

Оценка (23) широко используется в задачах идентификации, обработки

экспериментальных данных в случаях, когда априорная информация о виде

модели объекта отсутствует (модель «черного» ящика). Известны лишь зна-

чения его входных и выходной переменной.

Свойства непараметрических оценок регрессии. Непараметрические

оценки регрессии вида (23) обладает лишь асимптотическими оптимальными

свойствами при бесконечно большом объеме выборки n (

∞→n

). При конеч-

ных выборках непараметрические оценки регрессии смещенные [15] .

Существуют различные методы устранения смещения непараметриче-

ских оценок регрессии наиболее эффективными из которых являются метод

«складного ножа» [12] и метод локальной аппроксимации плотности вероят-

ности [14].

Отметим, что аналогами непараметрических оценок регрессии (22) яв-

ляются приближения, полученные на основе метода локальной аппроксима-

ции функций [16]

)(ψ)(α),(

uxuux −=

∑

f , (24)

в окрестности некоторой точки .

∈

u Здесь – известные функции. Парамет-

ров

,1 ),(α =u определяем из условия:

)))(ψ)(α(((minarg)(

uxu

uα

−−

⎟

⎠

⎞

⎜

⎝

⎛

−

∑∑

yFK (25)

где

⎟

⎠

⎞

⎜

⎝

⎛

−

K – ядра вида (21) .

В случае принадлежности распределения помех классу распределений с

ограниченной дисперсией

)( uuF = , оценки (24) при

совпадают с непа-

раметрическими оценками регрессии (23).

Список литературы

1. Крамер Г. Математические методы статистики. – М., «Мир», 1975.

2. Huber P.J. Robust estimation of a location parameter. Ann. Math. Stat.

1964. – Vol. 35. – № 1. – C. 73–101.

3. Поляк Б.Т., Цыпкин Я.З. Помехоустойчивая идентификация – В сб.:

Идентификация и оценка параметров систем. – Т. 1. – С. 190–213. Препринты

IV симпозиума ИФАК, Тбилиси, «Мецниереба», 1976.

178

4. Цыпкин Я.З., Поляк Б.Т. Огрубленный метод максимального правдо-

подобия. Теория колебаний, прикладная математика. – Горький: Изд. ГГУ,

1977.

5. Турчин В.Ф., Козлов В.П., Малкевич М.С. Использование методов мате-

матической статистики для решения некорректных задач. Успехи физ. наук. –

1970. – Vol. 102. – № 3. – С. 345–386.

6. Жуковский Е.Л. Статистическая регуляризация алгебраических

систем

уравнений // Журн. вычисл. матем. и матем. физ. – 1972. – 12. – № 1. – 185–191.

7. Ван Трис Г.Л. Теория обнаружения оценок и модуляции. – Т. 1. – М.:

Изд. «Сов. радио», 1972.

8. Цыпкин Я.З. Адаптация и обучение в автоматических системах. – М.:

«Наука», 1968.

9. Невельсон М.Б., Хасьминский Р.З. Стохастическая аппроксимация и

рекуррентное оценивание. – М.: «Наука

», 1972.

10. Martin R.D., Masrelie C.J., Robust estimation via stochastic approximation.

IEEE Trans. Inf. Th.. – 1975. – Vol. 21. – № 3. – С. 263–271.

11. Tukey J.W. Instead of Guass-Markov ieast sguares – what? In. «Applied

statistics», ed. R.P. Gupta, North-Holland publ. co., 1975.

12. Добровидов А.В., Кошкин Г.М. Непараметрическое оценивание сигна-

лов. – М.: Наука, 1997. – 336 с.

13. Поляк Б.Т., Цыпкин Я.З. Стабильное оценивание в условиях неполной

информации. Вопросы кибернетики. Адаптивные системы управления. – М.,

1977. – С. 6–14.

14. Сергеев В.Л. Об использовании оценок локальной

аппроксимации

плотности вероятности // Автоматика и телемеханика. – 1979. – С. 56–61.

15. Шапиро Е.И. Непараметрические оценки плотности вероятности в за-

дачах обработки результатов наблюдений (обзор) // Зарубежная радиоэлек-

троника. – 1976. – № 2. – С. 3–36.

16. Катковник В.Я. Непараметрическая идентификация и сглаживание

данных. – М.: Наука, 1985. – 336 с.

179

ПРИЛОЖЕНИЕ 4

ПРИМЕРЫ ТЕКСТОВ ПРОГРАММ ВАРИАНТОВ ЛАБОРАТОРНЫХ РАБОТ

1. Текст программы статистического моделирования и определения

параметров интегрированной системы модели добычи нефти

Sub Example_1_B1()

'Описание переменных динамических массивов данных

Dim n As Integer ' Число лет разработки

Dim m As Integer ' Число параметров модели добычи нефти

Dim L As Integer ' Переменная числа лет прогноза добычи нефти

Dim m1 As Integer ' Число экспертных оценок извлекаемых запасов нефти

For n = 1 To 15 ' Цикл по числу лет истории разработки месторождения

m = 3

L = 3

m1 = 5

'Описание переменных и констант

ReDim y(n) As Single ' Имитируемый вектор фактической добычи нефти

ReDim S1_(m1) As Single ' Имитируемый вектор экспертных оценок извлекаемых запасов

ReDim YL(n + L) As Single ' Вектор прогноза добычи нефти на L лет

ReDim ALy(m) As Single ' Точные значения параметров модели добычи нефти

ReDim AL(m) As Single ' Оценки параметров модели добычи нефти

ReDim ALo(m) As Single ' Начальные значения параметров модели добычи нефти

ReDim ALh(m) As Single ' Вспомогательный вектор параметров при дроблении шага h

' в методе Гаусса–Ньютона

ReDim F(n) As Single ' Вектор модельных значений добычи нефти

ReDim Fo(n) As Single ' Вектор значений добычи нефти при начальных значениях

' параметров модели AL = ALo

ReDim d(n, m) As Single ' Матрица частных производных по вектору параметров АL

ReDim DT(m, n) As Single ' Транспонированная матрица частных производных

ReDim DTD(m, m) As Single ' Матрица планирования в методе наименьших квадратов (МНК)

ReDim Ds(m, 1) As Single ' Вектор частных производных в модели априорных сведений

ReDim DTs(1, m) As Single ' Транспонированый вектор частных производных в модели

' извлекаемых запасов

ReDim DTsDs(m, m) As Single ' Матрица частных производных в модели извлекаемых запасов

ReDim E(n, 1) As Single ' Вектор строка невязок Y-F

ReDim DTE(m, 1) As Single ' Вектор правых частей СЛУ в МНК

ReDim DTsEs(m, 1) As Single ' Вектор столбец второго слагаемого правой части СЛУ ИСМ

ReDim A(m, m) As Single ' Матрица планирования для адаптации интегрированной

системы ' моделей(ИСМ)

ReDim B(m) As Single ' Вектор правых частей СЛУ для ИСМ

ReDim DeltaAL(m) As Single ' Вектор приращений параметров AL(m)

Dim S_ As Single ' Фактические извлекаемые запасы нефти

Dim T As Integer ' Число лет разработки

Dim SAL As Single ' Оценка извлекаемых запасов

Dim DeltaSAL As Single ' Относительная ошибка оценки извлекаемых запасов

Dim kr As Single ' Управляющий параметр(параметр регуляризации)

180

Dim h As Single ' Параметр шага h в методе Гаусса–Ньютона

Dim c1 As Single ' Уровень ошибок измерений добычи нефти

Dim c2 As Single ' Уровень ошибок экспертных оценок извлекаемых запасов нефти

Dim QLh(15) As Single ' Функционал качества (для проверки условия сходимости метода

' Гаусса–Ньютона)

Dim QL(15) As Single ' Функционал качества (для критерия точности оценки праметров)

Dim Es As Single ' Es = S_ – SAL

Dim ND(51) As Single ' Вектор псевдослучайных чисел, распределенных по

' нормальному закону N(0

Dim i1 As Integer ' Число дробления параметра h

Dim i2 As Integer ' Переменная номера шага в методе Гаусса–Ньютона

ReDim B1(m, m) As Single ' В1,С,Y1 – массивы для решения СЛУ в процедуре ELS_hol_1

ReDim C(m, m) As Single

ReDim Y1(m) As Single ' C – нижняя треугольная матрица, B1 – верхняя треугольна матрица

' 1. Формирование интегрированной системы моделей (ИСМ)

' 1.1. Формирование вектора псевдослучайных чисел – N(0,1)

Randomize (78) 'Начальные значения датчика равномерных псевдослучайных величин Rnd()

Rnd (-506)

For i = 1 To 51

s = 0

For j = 1 To 6

s = s + Rnd()

Next j

ND(i) = (s – 3) * 1.4

Next i

' 1.2. Формирование вектора фактических значений добычи нефти Y

T = 50 'Число лет разработки месторождения

ALy(1) = 10 'Параметры модели добычи нефти

ALy(2) = 0.2

ALy(3) = 1.5

с1 = 0.01 ' Относительный уровень ошибок измерений добычи нефти

c2 = 0.01 ' Относительный уровень ошибок экспертных оценок извлекаемых запасов нефти

For i = 1 To n

y(i) = ALy(1) * Exp(-ALy(2) * i) * Exp(ALy(3) * Log(i))

y(i) = y(i) + с1 * y(i) * ND(i)

Next i

'1.3. формирование экспертных оценок извлекаемых запасов

S_ = 742 ' – точное значение априорной информации о запасах S_(T,AL(3))

MS_ = 0 ' Начальное среднее значение экспертных оценок извлекаемых запасов

For i = 1 To m1

S1_(i) = S_ + S_ * c2 * ND(i)

MS_ = MS_ + S1_(i)

Next i

MS_ = MS_ / m1