Кельберт М.Я., Сухов Ю.М. Вероятность и статистика в примерах и задачах. Том 2. Марковские цепи как отправная точка теории случайных процессов и их приложения

Подождите немного. Документ загружается.

420 Глава 2. Цепи Маркова с непрерывным временем

Отсюда следует, что EY

ES; это значение вновь обозначим .

Лемма 2.12.27. Если

1, то цепь (X

) положительно

возвратна.

Д о к а з а т е л ь с т в о. Производя итерации вышеприведенного равен

ства, находим

. . .

−

где Z

—

число попаданий в состояние 0 к моменту времени n. В предпо

ложении, что X

0, получаем

E (Z

−





E (X

= =

− +

E (X

− >

Мы видим, что EZ

→

, где

(время возвращения в 0)

< ∞

Следовательно, состояние 0 положительно возвратно. Поскольку цепь (X

)

неприводима, она положительно возвратна.



Следовательно, ц.м.д.в. (X

) имеет единственное инвариантное распре

деление.

Лемма 2.12.28. В состоянии равновесия

−

(z)

−

) (1

−

z)G

(z)

−

) (1

−

z)M

( (z

−

1))

( (z

−

1))

−

Д о к а з а т е л ь с т в о. В состоянии равновесия X

∼

. Используя

этот факт и вышеприведенное уравнение, запишем

(z)

z Ez

E (z

1(X

)

(z) Ez

1(X

(z) (

(z)

−

откуда следует, что

(z)

−

z)G

(z)

−

При z

→

1 имеем

lim

→

−

(z)

−

По правилу Лопиталя эта дробь равна

−

), т. е.

−

§ 2.12. Вопросы к теории цепей Маркова с непрерывным временем 421

3. Очередь G

1. Предположим теперь, что времена между прибыти

ями A

—

н.о.р.с.в. с заданным распределением, а времена обслуживания

—

н.о.р.с.в. Exp( ). Пусть X

—

число клиентов в очереди в момент

сразу же после n

го прибытия. Тогда (X

)

—

ц.м.д.в.:

max [X

−

1, 0],

где Y

—

число обслуженных клиентов за n

е время между прибытиями.

С.в. Y

вновь не зависят от X

. Далее Y

∼

Po( ) условно по A

Используя те же рассуждения, что и выше, получаем

(z)

( (z

−

1)), и EY

EA.

Теорема 2.12.29. Если

1, то ц.м.д.в. X

положительно воз-

вратна с инвариантным распределением

−

)

, где

—

единственный корень уравнения

( ) на интервале (0, 1).

Д о к а з а т е л ь с т в о. Запишем G

(0)

P (Y

0 и G

(1)

Далее, G

(1)

1, а также G

(z)

0, т. е. G

—

выпуклая

функция. Следовательно, уравнение

( ) имеет единственное реше

ние на (0, 1). Далее, P (X

P (X

−

1).

Если

(

)

—

инвариантное распределение, то

−

где

P (i обслуживаний за типичное время между прибытиями);

подставляя

−

), получаем

−

)

−

)

−

или, что эквивалентно,

−

, т. е.

( ).

Задача 2.12.30. Следующее утверждение известно как основная теоре

ма восстановления для процесса восстановления с дискретным временем.

Пусть S

, S

, . . .

—

положительные целочисленные н.о.р.с.в. и p

P (S

k). Положим

0, J

. . .

, n

422 Глава 2. Цепи Маркова с непрерывным временем

k, если J

, A

= {

для некоторого k

}

, n

0, 1, . . .

Это значит, что A

= {

—

момент восстановления

}

. Предположим,

что НОД (k : p

1. Тогда

lim

→∞

P (A

)

E [S

]

а) Докажите вышеприведенное утверждение.

б) Как долго в среднем придется ждать появления набора 000100

в случайной бинарной последовательности?

Решение. а) Рассмотрим ц.м.д.в. (Y

) на пространстве

{

0, 1, . . .

}

inf

{

0: m

для некоторого k

} =

время от момента n до следующего прибытия, n

1, 2, . . .

Переходные вероятности задаются следующим образом:

P (Y

, i

P (Y

−

1, i

Ц.м.д.в. неприводима и апериодична благодаря условию, что НОД (k: p

1. Она имеет единственное инвариантное распределение

E [S

]

E [S

]

, k

а следовательно, положительно возвратна. Тогда при

P (A

)

P (Y

→

→ ∞

б) Будем считать, что восстановления происходят в моменты появления

цепочек 000100, не налегающих одна на другую. Вероятность появления

такой цепочки до момента n

6 равна 1

. С другой стороны,

P (A

)

P (A

−

)

P (A

−

)

Согласно основной теореме восстановления при n

→ ∞

правая часть

стремится к

E [S

]





§ 2.12. Вопросы к теории цепей Маркова с непрерывным временем 423

откуда получаем E [S

]

70. В общем случае, когда 1 появляется с веро

ятностью p, а 0

—

с вероятностью q, получаем

E [S

]

p).

Дальнейшие результаты, относящиеся к подобным задачам, см. в ста

тье: Blom G., Thorburn D. How many random digits are required until given

sequences are obtained?

Journ. Appl. Probab. 1982. V. 19. P. 518

–

531.

Задача 2.12.31. Рассмотрим модель эпидемии (S

, I

, R

)

в большой

популяции объема N

, где S

—

число особей, восприимчивых

к инфекции, I

—

число инфицированных, а R

—

число тех, кто выздоро

вел или умер. Предположим, что процесс (S

, I

)

эволюционирует как

ц.м.н.в., ненулевые вероятности перехода которой задаются соотношения

ми

(s,i) (s

−

1,i

(s,i)

0 при s

1, i

(s,i) (s,i

−

0 при s

1, i

и что S

−

1, I

а) Покажите, что (R

)

при больших временах стремится к постоянной

и для конечного значения R

∞

вероятность P (R

∞

r) возрастает с ростом

интенсивности инфицирования

(s,i)

при всех r

б) В стандартной модели эпидемии полагают

(s,i)

i для некоторых постоянных ,

Обоснуйте такой выбор интенсивностей.

в) Покажите, что в пределе при N

→ ∞

стандартная эпидемия, начав

шаяся с одного инфицированного, приводит к положительной пропорции

инфицированного населения тогда и только тогда, когда

Решение. а) Интенсивности перехода гарантируют, что сумма S

не

возрастает по t. Следовательно, траектории ц.м.н.в. R

не убывают. Кроме

того, R

ограничена сверху: R

N, т. е. R

∞

почти наверное.

Лемма 2.12.32. Если

(s,i)

∀

(s, i), то

P (

∞

P (R

∞

∀

Д о к а з а т е л ь с т в о. Рассмотрим цепь скачков на

×Z

(четверть

решетки на плоскости) с траекторией, подобной той, что показана на рис.

2.86.

Здесь с вероятностью

(s,i)

(

(s,i)

) частица совершает скачок на

единицу вверх и на единицу вправо. С вероятностью

(

(s,i)

) она

совершает скачок на единицу вниз.

424 Глава 2. Цепи Маркова с непрерывным временем

Рис. 2.86

Рис. 2.87

Мы можем запустить одновременно две цепи, соответствующие

{

(s,i)

}

{

(s,i)

}

, используя U(0, 1)

н.о.р.с.в. для определения переходов, как

показано на рис. 2.87. (Это еще один пример склеивания случайных про

цессов.)

Тогда цепь, соответствующая

{

(s,i)

}

, всегда совершает скачок влево

и вправо, когда такие скачки совершает исходная цепь. Следовательно,

траектории этой цепи лежат выше траектории исходной цепи. Поскольку

∞

0, предельное состояние удовлетворяет неравенству

∞

Отсюда следует утверждение леммы.

б) Выбор

(s,i)

означает, что инфицированная особь контактирует с любой другой с ин

тенсивностью

и выздоравливает или умирает с интенсивностью .

в)

Теорема 2.12.33. а) Если

, то

P (R

∞

> ε

→

0 при N

→ ∞ ∀ ε >

§ 2.12. Вопросы к теории цепей Маркова с непрерывным временем 425

б) Если

0 выбраны так, что (1

− ε

) (1

−

)

, то

P (R

∞

> ε

> ∀

Д о к а з а т е л ь с т в о. а) Предположим, что

. В лемме 2.12.32

выберем

(s,i)

N. Ц.м.н.в. (

) является процессом рождения

и гибели на

{

0, . . . , N

}

с интенсивностью, представленной на рис. 2.87.

Рис. 2.88

Таким образом, цепь скачков, соответствующая

{

(s,i)

}

, представляет

собой случайное блуждание с отрицательным сносом. Тогда

P (R

∞

> ε

P (

∞

> ε

P (число скачков вправо

> ε

→

0 при N

→ ∞ ∀ ε >

б) Теперь предположим, что

−ε

) (1

−

)

для некоторых

Положим

(s,i)

min

, 1

− ε

Тогда при условии

N(1

− ε

) ц.м.н.в. (

) представляет собой процесс

рождения и гибели, с траекториями, представленными на рис. 2.88, где

− ε

). Следовательно,

P (R

∞

6 ε

P (

∞

6 ε

P (

∞

− ε

)N, число смертей

6 ε

(попасть в 0)

∀

Рис. 2.89

Таким образом,

P (R

∞

> ε

− =

− ε

)

−

− ε

) (1

−

)

− ε

)

426 Глава 2. Цепи Маркова с непрерывным временем

А теперь краткое резюме неевклидовой геометрии,

ее физических приложений и специальной теории

относительности Эйнштейна, и все в одной фразе.

A half of a cottage

plus a half of a ﬁsh plus a half

of a shepherd’s

plus a half of a steak and kidney

will not make a full turn, but four pints might

(Из серии

Так говорил суперлектор

Игра слов: по

английски pie

—

пирог, что созвучно с .

Глава 3

Статистика цепей Маркова

с дискретным временем

§ 3.1. Введение

Where are the weapons of math distraction?

(Из серии

Кое

что из политики

В этой главе мы представим некоторые важные факты, относящиеся

к статистике цепей Маркова с дискретным временем (ц.м.д.в.) и с конеч

ным множеством состояний. Пусть в результате наблюдений ц.м.д.в. (X

)

с неизвестным распределением, в n

1 последовательный момент времени

0, . . . , n получена выборка









∈

. (3.1.1)

Основной вопрос, который у нас возникает: что можно сказать о рас

пределении этой цепи? Обычно нашей целью является параметрическое

оценивание, когда распределение цепи P

зависит от (скалярного или

многомерного) параметра

, значения которого принадлежат заданному

(дискретному или непрерывному) множеству

(в непрерывном случае это

подмножество прямой

или подмножество евклидова пространства более

высокой размерности). Более точно, в случае ц.м.д.в. матрица вероятностей

перехода P

(а в некоторых случаях и вектор начального распределения

) зависит от , т. е. вероятности перехода p

, и начальные вероятности

являются функциями от

∈ Θ

. Для определенности предположим, что (ко

нечное) пространство состояний I цепи фиксировано, и s

= |

обозначает

число состояний. Часто

совпадает с инвариантным распределением ,

так что P

описывает цепь в состоянии равновесия. Для простоты мы будем

часто полагать, что матрица P

неприводима и апериодична при любом

Ср. с газетным заголовком

Where are the weapons of mass destruction?

428 Глава 3. Статистика цепей Маркова с дискретным временем

∈ Θ

, так что цепь имеет единственное инвариантное распределение ,

где

P , к которому она сходится геометрически быстро при любом

начальном распределении вероятностей (см. § 1.9, в частности теоремы

1.9.2 и 1.9.3). В этом случае введем специальное обозначение

(см.

уравнение (3.1.10)). Предположение о неприводимости и апериодичности

оказывается особенно полезным при рассмотрении больших выборок (ко

гда n

→ ∞

Как и в случае выборок из независимых наблюдений, мы хотим оце

нить

на основании x, т. е. найти функцию

(x) (или последовательность

функций

)), называемую оценкой, которая является хорошим при

ближением для . При этом хотелось бы иметь возможность улучшать

точность аппроксимации при возрастании n к бесконечности. Однако

в случаях, когда мы вынуждены ограничиться выборками

малого

или

умеренного

объема, асимптотические методы следует заменять более

подходящими.

Например, используя методы проверки гипотез, мы оцениваем спра

ведливость суждения о том, что

принимает конкретное значение

(или

близкое к нему), где

выбрано из множества

на основании, скажем,

некоторой дополнительной информации. Так задается простая нулевая

гипотеза H

. В простейшем случае мы сравниваем ее с про-

стой альтернативой H

, где

—

другое значение, выбранное

из

. Весьма удобным оказывается то, что лемма Неймана

—

Пирсона

применима в случае ц.м.д.в. и мы можем рассматривать отношение прав-

доподобия

(x,

)

(x,

)

Здесь f

(x, ) обозначает вероятностный вес (или правдоподобие), при

писываемый выборке x. Будем рассматривать два вида функций правдо

подобия:

(x,

)

(x, ) (полное правдоподобие)

(x,

)

(x, ) (приведенное правдоподобие).

Более точно,

(x,

)

P (X

, . . . , X

)

. . . p

−

, (3.1.2)

что соответствует цепи с начальным распределением

, и

(x, )

P (X

, . . . , X

)

. . . p

−

, (3.1.3)

§ 3.1. Введение 429

что соответствует цепи, стартующей из состояния x

. Здесь X (

(n)

)

обозначает случайную выборку для цепи (X

), наблюдаемой в моменты

времени от 0 до n:









. (3.1.4)

Таким образом, функция правдоподобия (3.1.2) соответствует распределе

нию вероятностей P

ц.м.д.в. с вектором начальных вероятностей , тогда

как функция (3.1.3) задает условную вероятность P

, . . . , X

). Как и ранее, мы будем часто предполагать, что в случае

функции правдоподобия (3.1.2), цепь находится в состоянии равновесия,

т. е.

совпадает с инвариантным распределением , для которого

P .

Запишем отношение правдоподобия в виде

(x,

)

(x,

)

или

(x,

)

(x,

)

Лемма Неймана

—

Пирсона утверждает, что для любого k

0 критерий

c критической областью

= {

x: f

(x,

)

(x,

)

}

является наиболее мощным среди всех критериев с нулевой гипотезой H

и альтернативой H

и имеет уровень

∈C

(x).

Таким образом, для любого критерия

∗

, имеющего уровень

∗

∈C

∗

(x)

его мощность

∗

не превосходит

, где

∗

∈C

∗

(x),

∈C

(x).

Отметим нечувствительность леммы Неймана

—

Пирсона к природе па

раметра (параметров)

. Например, может отождествляться с матрицей

переходных вероятностей P

); см. соотношение (3.1.7). В этой си

туации проверяют нулевую гипотезу H

: цепь имеет заданную матрицу

430 Глава 3. Статистика цепей Маркова с дискретным временем

переходных вероятностей P

против альтернативы H

: цепь имеет другую

матрицу перехода P

В более общей ситуации, при простой нулевой гипотезе:

, но

сложной альтернативной гипотезе (например,

∈ Θ

⊂ Θ

, где

∈ Θ

мы можем надеяться, что окажется полезным критерий обобщенного от-

ношения правдоподобия, который принадлежит категории критериев

согласия. В этом случае рассматривают отношение

max[f

(x,

) :

ϑ ∈ Θ

]

(x,

)

и отвергают нулевую гипотезу, когда это отношение становится большим,

или, что эквивалентно, переходя к логарифмам, рассматривают разность

max ln[f

(x,

) :

ϑ ∈ Θ

]

−

ln f

(x,

Чтобы прийти к верному заключению, нам хотелось бы знать распреде

ление этой статистики; в томе 1 содержится утверждение о том, что

в случае выборок с н.о.р. наблюдениями это распределение асимптотиче

ски является

распределением (теорема Уилкса). Однако, рассматривая

ц.м.д.в., необходимо провести дополнительное исследование этого вопроса.

Важным является случай, когда

—

это полная пара ( , P) (вектор

начального распределения и матрица перехода). По сути этот случай по

падает в категорию непараметрического оценивания. Например, если

цепь может находиться в двух состояниях A и B, то

(

) и P





, где

−

лежат в отрезке [0, 1], так же как

и p

, p

−

и p

, p

−

. Мы можем рассуждать

так: 1) вектор

(

) принимает значения в сегменте

на пря

мой в неотрицательном квадранте плоскости

, 2) матрица перехода P

принимает значения в декартовом произведении двух сегментов

из неотрицательного ортанта в

, т. е. значение параметра ( , P) содер

жится в трехмерном кубе в

, и например,

, p

∈

[0, 1] являются

независимыми координатами

. См. рис. 3.1.

В общем случае

( , P) является многомерным параметром. Пред

положим для определенности, что пространство состояний I

—

это мно

жество

{

1, . . . , s

}

, тогда пары ( , P) лежат в подмножестве

неотрица

тельного ортанта евклидова пространства

, размерности M

—

это число компонент

и s

—

число элементов p

). Более точно,

(

= R

) образует (замкнутое) множество размерности s

−

s(s

−

1, поскольку мы должны принять во внимание линейные ограничения

§ 3.1. Введение 431

Рис. 3.1

R = R



( , P) :

(

), P

1, p

∀

i, j

1, . . . , s



. (3.1.5)

С геометрической точки зрения

представляет собой декартово про

изведение s

1 симплекса, каждый симплекс имеет размерность s

−

Симплекс размерности s

—

это множество точек y

∈ R

, удовлетворяющих

неравенствам y

0, . . . , y

0, и y

. . .

a для некоторого a

Внутреннюю область множества

обозначают

int

(

= R

int

), и описы

вается она строгими неравенствами:

int

(

= R

int

)



( , P) :

(

), P

1, p

∀

i, j

1, . . . , s



. (3.1.6)

Если отбросить начальное распределение

, то размерность множества

уменьшится до s

−

s; в этом случае будем использовать обозначения

432 Глава 3. Статистика цепей Маркова с дискретным временем

= P

int

= P

int

(

= P

)



) :

1, p

∀

i, j

1, . . . , s



(3.1.7)

int

(

= P

int

)



) :

1, p

∀

i, j

1, . . . , s



. (3.1.8)

Таким образом,

является декартовым произведением s симплексов раз

мерности s

−

1 каждый. Тогда введенное выше множество

представляет

собой двойное декартово произведение

R = Λ × P

где

(

= Λ

) представляет собой симплекс размерности s

−



(

) :

0, j

1, . . . , s,



На обоих множествах

можно ввести расстояние, порождаемое

евклидовой метрикой в

−

соответственно:

dist((

, P), (

, P

))



[dist( ,

)]

[dist(P, P

)]



, (3.1.8 а)

где

dist(

)



(

−

)



, dist(P, P

)



i,j

−

)



(

), и P

), P

Замечание 3.1.1. Заметим, что если ( , P)

∈ R

int

(или P

∈ P

int

), то

матрица P

) неприводима и апериодична и, следовательно, имеет

единственное инвариантное распределение

(

), для которого выпол

няется равенство

P. Кроме того, в этом случае матрица P

(n)

)

сходится к матрице





. . .





при n

→ ∞

. Более того,

(n)

−

| 6

−

)

−

, (3.1.9)

§ 3.1. Введение 433

где

min[p

: i, j

1, . . . , s] и 0

< <

1. См. уравнение (1.9.14). Этот

факт можно представить так:

int

⊂ P

, где

= {

∈ P

: матрица P неприводима и апериодична

}

Эквивалентным образом множество

можно определить следующим

образом:

= {

∈ P

: min[p

(m)

: i, j

1, . . . , s]

0 для некоторого m

}

(3.1.10)

Замечание 3.1.2. В зависимости от конкретной задачи может возник

нуть необходимость рассматривать другие подмножества множеств

в особенности в § 3.7 и 3.8. Например, может быть априорно известно,

что рассматриваемая ц.м.д.в. не может сохранять свое текущее состояние,

т. е. всегда совершает скачки из него. Иными словами, матрица перехо

да P имеет нулевую главную диагональ. В этом случае ограничим наше

рассмотрение матрицами P

∈ P

oﬀ

diag

, где

oﬀ

diag

⊂ P

образует замкнутое

множество размерности s

−

2s:

oﬀ

diag

= {

∈ P

: p

∀

1, . . . , s

}

. (3.1.11)

В случае, когда s

2 (ц.м.д.в. с двумя состояниями), видим, что

int

= P

Видим, что множество

oﬀ

diag

, заданное формулой (3.1.11), сводится к од

ной точке. Более того, в этом случае все множество

сводится к квадрату,

как показывает пример 3.1.3.

Еще один тип стохастических матриц, на которые мы будем ссылаться

в дальнейшем,

—

это эрмитовы, или симметричные, матрицы перехода P

), у которых p

. При этом будем использовать обозначение

symm

⊂ P

symm

= {

)

∈ P

: p

, i, j

1, . . . , s

}

. (3.1.12)

Для матрицы P

∈ P

symm

существует очевидное инвариантное распределе

ние с компонентами

s, i

1, . . . , s.

Пример 3.1.3. Пусть I

= {

1, 2

}

и P

—

это (2

матрица перехода:



−

p p

q 1

−



где 0

p, q

1. Покажите, что матрица P неприводима и апериодична

тогда и только тогда, когда 0

1; иными словами, множество

434 Глава 3. Статистика цепей Маркова с дискретным временем

неприводимых апериодичных матриц задается условиями 0

p, q

Опишите сообщающиеся классы матрицы P в случае, когда pq

0 или

1. Когда матрица P является периодичной?

Решение. По определению P неприводима при 0

p, q

1, так

как оба состояния сообщаются и, следовательно, образуют единственный

(замкнутый) сообщающийся класс. Апериодичность возникает, когда все

вероятности перехода строго положительны.

С другой стороны, предположим, что pq

0, т. е. либо p

0, либо

0, либо оба эти значения нулевые. Если p

0, то P

и каждое состояние образует замкнутый сообщающийся класс. Если p

0, а q

0, то состояние 1 образует замкнутый сообщающийся класс,

а 2

—

открытый сообщающийся класс. Если q

0 и p

0, то имеем

противоположную ситуацию. Если p

1, то цепь неприводима, но

периодична, с периодом 2. Таким образом, матрица P

∈ P

тогда и только

тогда, когда 0

Удобно ввести меру Лебега на множествах

, заданных форму

лами (3.1.5) и (3.1.7), что позволит нам интегрировать и рассматривать

функции плотностей вероятностей на

. В сущности, мера Лебега

будет определена на внутренних областях

int

, задаваемых фор

мулами (3.1.6), (3.1.8). Интеграл относительно этой меры мы обозначим

dP (или

dP, когда не принимается во внимание); он будет

равен естественному объему (или площади) на

Более точно, мы должны выбрать независимые координаты на

Например, можно записать

−

или dP

−

(3.1.13)

т. е.

последние

компоненты

и p

не включаются, поскольку они линей

но зависят от остальных. Конечно, это чисто субъективный выбор. Вполне

аналогично мера Лебега может быть задана на множестве

oﬀ

diag

(см.

соотношение (3.1.11)) и других подмножествах множеств

Прежде чем продолжить наше рассмотрение, уместно прокомментиро

вать здесь содержание настоящей главы. По своей сути она отличается от

глав 1 и 2. Наша изначальная идея состояла в том, чтобы сконцентрировать

изложение главным образом на специфических статистических методах для

ц.м.д.в. По нашему мнению, на статистику ц.м.д.в. в последние годы значи

тельное воздействие оказала теория так называемых скрытых марковских

моделей. Эти модели оказались чрезвычайно успешными во многих при

ложениях, например, в компьютерном распознавании речи и генетическом

анализе. Однако, поскольку некоторые темы и методы, рассматриваемые

§ 3.2. Функции правдоподобия, I. Оценки максимального правдоподобия 435

в главе, выходят далеко за рамки теории цепей Маркова, их роль в данной

книге состоит в подготовке необходимой почвы для последующих глав.

Кроме того, формально говоря, материал этой главы до сих пор не

был предметом обучения в Кембридже. Этот материал преподавался нами

частично в иных аудиториях или же преподносился на лекциях или прак

тических занятиях как дополнение к основному материалу. Как следствие

этого, большинство задач к этой главе не были представлены в

Мате

матических треножниках

. Тем не менее, мы пожелали следовать тому же

плану изложения, что и в других главах, сопровождая изложение зада

чами и примерами такого уровня, который, на наш взгляд, соответствует

стандартам Кембриджа.

Иногда в процессе изучения статистических свойств ц.м.д.в. мы бу

дем непосредственно основываться на фактах и

или методах основного

курса статистики, который сосредоточен на н.о.р. выборках; ср. с гл. 3

и 4 тома 1. Однако чаще перед нами будет стоять задача разработ

ки более общих методов. И это обусловливает принципиальную линию

изложения в данной главе. Более того, большинство методов, появля

ющихся при изучении статистических задач для ц.м.д.в., применимы в

более широком контексте статистики случайных процессов и полей.

Этот предмет охватывает широкий круг приложений, включая экономику,

финансы, телекоммуникации и распознавание образов и другие области.

Изучение этих методов в относительно простом случае ц.м.д.в. подготовит

заинтересованного читателя к дальнейшему продвижению и работе с более

специализированными книгами и статьями. С другой стороны, на данном

этапе мы в состоянии строго доказать некоторые важные факты, которые

использовались без доказательства в томе 1: объем работы по написа

нию этих доказательств для случая н.о.р.с.в. практически такой же, как

и для случая ц.м.д.в. (или даже более общего случая). Надеемся, что это

принесет дополнительную пользу заинтересованному читателю.

§ 3.2. Функции правдоподобия, I.

Оценки максимального правдоподобия

Age of Inference

(Из серии

Фильмы, которые не вышли на большой экран

Структура функций правдоподобия (3.1.2) и (3.1.3) проясняется, если

ввести статистику n

(x), для любых i, j

∈

= {

1, . . . , s

}

, равную числу

Ср. с названием фильма

Age of Innocence

(возраст невинности).

436 Глава 3. Статистика цепей Маркова с дискретным временем

переходов i

→

j в выборке x:

(x)

1(x

−

i, x

j),

число таких пар (x

−

, x

), что x

−

i, x

j. (3.2.1)

Тогда функции правдоподобия L

(x) и l (x) из формул (3.1.2) и (3.1.3)

записываются в виде

L(x,

)

i,j

)

(полная) и l(x, )

i,j

)

(приведенная).

(3.2.2)

В дальнейшем аргумент x у n

(x) и нижний индекс X у L

(x, ) и l

(x, )

будем опускать. Заметим, что

i,j

В этой связи выглядит естественным следующее определение. На

зовем функцию T (x) (в общем случае векторнозначную) достаточной

статистикой (для

), если для любой выборки x условная вероятность

T (X)

t) не зависит от

∈ Θ

, где t обозначает значение

статистики T в x: t

T (x). Формально запишем

T (X)

∀

∈ Θ

. (3.2.3)

Тогда имеет место критерий факторизации: T является достаточ-

ной статистикой для

тогда и только тогда, когда функция

правдоподобия f

(x,

) может быть записана в виде произведения

g(T (x),

)h(x) для некоторых функций g и h, где h(x) не зависит от .

Доказательство повторяет аргументы, приведенные для (дискретных) н.о.р.

выборок (см. том I, с. 261).

Пример 3.2.1. Достаточная статистика (в данном случае векторная)

для функций правдоподобия (3.1.2) задается парой (x

{

}

) (и

{

}

в случае функции (3.1.3)), где

{

}

—

набор из чисел переходов i

→

в выборке x.

Другое свойство, которое следует упомянуть,

—

это несмещенность.

Оценка

(x) параметра называется несмещенной, если для любого

∈ Θ

математическое ожидание E

(X) относительно вероятностного

распределения P

совпадает с . (Параметр может быть скалярным или

векторным.)

Пример 3.2.2. Рассмотрим функцию правдоподобия (3.2.2), где

—

инвариантное распределение для матрицы P . Будем рассматривать

случай, когда вся матрица P является параметром:

P, и будем опускать

§ 3.2. Функции правдоподобия, I. Оценки максимального правдоподобия 437

верхние индексы в обозначениях P и E . Тогда n

n является несме

щенной оценкой вероятности P (X

−

i, X

. В самом деле,

(X)







1(X

−

i, X



E [1(X

−

i, X

j)]

P (X

−

i, X

. (3.2.4)

Мы знаем из курса статистики для н.о.р. выборок, что мощным сред

ством являются оценки максимального правдоподобия (о.м.п.). Это

справедливо и для выборок, полученных для ц.м.д.в. Однако следует быть

предельно внимательным: даже для определения о.м.п. может потребо

ваться тонкий анализ.

Определение о.м.п. для марковских выборок аналогично определению

о.м.п. для н.о.р. выборок: о.м.п.

∗

(x) параметра задается так:

∗

(x)











argmax L(x, ) (полное правдоподобие),

argmax

l(x, ) (приведенное правдоподобие).

(3.2.5)

Как и в случае н.о.р. выборок, чаще оказывается проще максимизиро

вать логарифмы функций правдоподобия

(x, )

ln L(x, ) и l(x, )

ln l(x, ). Обычно будем полагать, что параметр

—

это вся матрица

перехода P, а вектор начальных вероятностей

совпадает с инвариантным

распределением

. Таким образом, полная функция правдоподобия имеет

вид

L(x; P)

−

, (3.2.6 а)

и соответствующий логарифм правдоподобия

(x, P)

ln p

−

, (3.2.6 б)

где

(

, i

∈

I) представляет собой инвариантное распределение для

матрицы P. Приведенную функцию правдоподобия определяют следующим

образом:

l(x, P)

−

, (3.2.7)

438 Глава 3. Статистика цепей Маркова с дискретным временем

а ее логарифм

l(x, P)

ln p

−

, (3.2.8)

Например, в примере 3.1.3 матрица перехода имеет вид



−

p p

q 1

−



, т. е. p

(

−

p, i

−

q, i

где 0

p, q

1, (3.2.9)

и инвариантное распределение

(

) таково:

. (3.2.10)

Компоненты вектора x равны x

0 или 1, 0

n. Следовательно,

соотношение (3.2.6 а) принимает вид





−

, (3.2.11)

а соотношение (3.2.7) выглядит следующим образом:

−

. (3.2.12)

Для краткости часто опускают аргумент x и

или параметр P в L(x, P)

и l(x, P).

Пример 3.2.3. а) Пусть (X

)

—

ц.м.д.в. с двумя состояниями, нахо

дящаяся в равновесии и имеющая стохастическую матрицу вероятностей

перехода P (см. соотношение (3.2.9)), где 0

q, p

1. Вычислите ковари

ацию Cov(X

, X

)

E (X

)

−

E (X

) E (X

) и коэффициент корреляции

Corr(X

, X

)

Cov(X

, X

)

Var X

, (3.2.13)

как функции от q и p.

В некоторых приложениях могут представлять интерес параметры p

= |

−

; перепишите матрицу P в терминах параметров p

q и .

б) Докажите, что Cov(X

, X

)

∀

Решение. а) Легко проверить, что инвариантное распределение

имеет

вид

§ 3.2. Функции правдоподобия, I. Оценки максимального правдоподобия 439

Тогда

Cov(X

, X

)

E (X

)

−

E (X

) E (X

)

P (X

−

P (X

1) P (X

−

q).

Далее,

Var X

E (X

)

−

(E (X

))

E (X

)

−

(E (X

))

−

а это выражение равно Var X

, поскольку цепь находится в равновесии.

Следовательно,

Var X



−

Corr(X

, X

)

−

Тогда 1) если p

q, то

−

q и





+ −

− +

− −

+ +







− −

2(1

−

)

− +

2(1

−

)



2) если p

q, то

−

p и матрица P получается из предыдущей

перестановкой строк, а

—

перестановкой компонент.

б) Прямые вычисления оказываются слишком громоздкими, и зачастую

трудно избежать ошибок. Чтобы их обойти, заметим, что характеристиче

ский многочлен det(I

− κ

P) матрицы P, заданной формулой (3.2.9), имеет

вид

−

− κ

) (1

−

− κ

)

−

pq,

а его корни

κ =

1 и

κ =

−

являются собственными значениями

матрицы P. Кроме того, мы знаем, что

(

) является собственной

вектор

строкой матрицы P, соответствующей собственному значению 1.

Иными словами, выражение

Corr(X

, X

)

−