Кельберт М.Я., Сухов Ю.М. Вероятность и статистика в примерах и задачах. Том 2. Марковские цепи как отправная точка теории случайных процессов и их приложения

Подождите немного. Документ загружается.

460 Глава 3. Статистика цепей Маркова с дискретным временем

Это соотношение мы получим, если сможем доказать, что n

−→

∀

i, j

s, точнее, что для всех

ε >

0 выполняется условие

lim

→∞





−



> ε



→

0. (3.3.15 а)

Значит, необходимо иметь единственное инвариантное распределение

(

, . . . ,

), где все компоненты

0. Естественно предположить,

что матрица P неприводима и апериодична, а в этом случае оба необходи

мых свойства имеют место и, кроме того,

lim

→∞

→ Π

, где

Π =





. . .

. . . .

. . .





Более того, предполагая для простоты, что :

min[p

]

0, получим гео

метрическую (экспоненциальную) скорость сходимости: см. соотношение

(3.3.5).

Запишем

(X)

1(X

−

i, X

j), (3.3.15 б)

где X













образует случайную выборку из цепи. Тогда сходимость по

вероятности n

(X)



−→

представляет собой (слабый) з.б.ч. Запишем

его в эквивалентной форме

(X)

−

]

−→

0, или





> ε



→

0, при n

→ ∞ ∀ ε >

0. (3.3.16 а)

Здесь для краткости обозначений полагаем

1(X

−

i, X

−

, (3.3.16 б)

причем

E [I

]

−

[

−

,i x

−

]

−

0, (3.3.17)

§ 3.3. Состоятельность оценок. Различные виды сходимости 461

—

символ Кронекера. На самом деле в силу стационарности цепи (X

)

с.в. I

, . . . , I

одинаково распределены, хотя и не являются независимыми.

Перепишем соотношение (3.3.17) в виде

−

0, где J

u,i v,j

−

. (3.3.18)

Теперь применим неравенство Маркова: для любой с.в. Y

0 и любого

ε >

0 выполняется неравенство P (Y

> ε

)

. Подставляя



−

)



получим





(X)

−



> ε







> ε







. (3.3.19)

Предположим, что нам удалось доказать неравенство





Cn (3.3.20)

с постоянной C, не зависящей от n. Отсюда будет следовать, что

правая часть неравенства (3.3.19)

→

0 при n

→ ∞ ∀ ε >

т. е. получим условие (3.3.16 а).

Итак, необходимо доказать неравенство (3.3.20). Возведем в квадрат

сумму в скобках из правой части неравенства (3.3.20), группируя отдель

но квадраты I

и попарные произведения I

. Используя аддитивность

математического ожидания, запишем





E [I

]

1(k

) E (I

). (3.3.21)

Первая сумма в правой части равенства (3.3.21) равна n E [I

], потому

что с.в. I

одинаково распределены. Во второй сумме слагаемое E [I

]

462 Глава 3. Статистика цепей Маркова с дискретным временем

зависит только от разности k

−

. Это наводит на мысль суммировать по

и l

= |

−

. Тогда вторая сумма перепишется в виде

−

E [I

]

и по абсолютной величине не превзойдет

<∞

E [I

]

. (3.3.22)

Необходимо лишь проверить, что ряд (3.3.22) сходится. Инструментом

послужит оценка (3.3.5).

Идея состоит в том, чтобы проверить, что для больших l матема

тическое ожидание произведения близко по значению к произведению

математических ожиданий:

E [I

]

≈

E [I

] E [I

]

(E [I

])

0, (3.3.23)

поскольку множитель E [I

] нулевой; см. соотношение (3.3.17).

С целью сделать это приблизительное равенство точным запишем об

щий член E [I

] в виде

−

где выражение J

было определено в формуле (3.3.18). Согласно соотно

шению (3.3.5) имеем

−

[

−

1)]p

−

1)p

−

. (3.3.24)

Теперь в силу формулы (3.3.17) получаем

,i x

−

Поэтому в правой части равенства (3.3.24) отлично от 0 только второе

слагаемое, а оно в силу соотношения (3.3.5) не превосходит по абсолютной

§ 3.3. Состоятельность оценок. Различные виды сходимости 463

величине

−

)

−

s(1

−

)

−

. (3.3.25)

Здесь и далее

[(1

−

)

∨

(

)]. (3.3.26)

Подводя итог, получаем, что



E [I

]



не превосходит правой части

равенства (3.3.25), откуда следует соотношение (3.3.23). Тогда для ряда

из формулы (3.3.22) получаем оценку

<∞

E [I

]

| 6

Значит, левая часть неравенства (3.3.21) ограничена выражением









Этим доказано неравенство (3.3.20) и завершено доказательство соот

ношения (3.3.15 а). Следовательно, о.м.п. (3.3.14) состоятельна в смысле

сходимости по вероятности.

Пример 3.3.7. Налагая необходимые ограничения на ц.м.д.в. (X

), за

данную на множестве I

= {

1, . . . , s

}

, сформулируйте и докажите, что о.м.п.

(3.3.14) состоятельна в смысле сходимости почти наверное.

Решение. Свойство состоятельности означает, что n

→ ∞

16j6s

п.н.

−→

т. е. к

истинному

значению параметра. Эта сходимость следует из соот

ношений

→

, (3.3.27)

где

—

стационарные (инвариантные) вероятности. Существуют различ

ные виды сходимости; мы выберем сходимость почти всюду, т. е. сходи

мость с вероятностью 1, по отношению к инвариантному распределению

ц.м.д.в. (X

) с (неизвестной) матрицей перехода P.

464 Глава 3. Статистика цепей Маркова с дискретным временем

Итак, попробуем найти единственное инвариантное распределение

(

, . . . ,

) со всеми ненулевыми компонентами

0. Естественно,

предположим, что матрица P неприводима и апериодична, а тогда указан

ное распределение существует и, кроме того,

lim

→∞

→ Π

, где

Π =





. . .

. . . .

. . .





Более того, предполагая для простоты, что

min[p

]

0, получим

геометрическую (экспоненциальную) скорость сходимости: элементы p

(n)

матрицы P

удовлетворяют соотношениям

(n)

(n), где

(n)

| 6

−

)

−

. (3.3.28)

Запишем

(X)

1(X

−

i, X

j),

где X

, . . . , X

—

компоненты случайного выборочного вектора X. Сходи

мость почти наверное n

(X)



→

—

это по сути (усиленный) з.б.ч., и

первым делом мы запишем его в эквивалентной форме

(X)

−

]

→

0, или

→

0 почти наверное.

Здесь мы для краткости полагаем

1(X

−

i, X

−

, (3.3.29)

причем

E [I

]

−

[

−

,i x

−

]

−

0, (3.3.30)

—

символ Кронекера. В силу стационарности цепи (X

) с.в. I

, . . . , I

одинаково распределены, хотя и не являются независимыми.

Снова используем неравенство Маркова: для любой с.в. Y

0 и лю

бого

ε >

0 вероятность P (Y

> ε

)

(обратите внимание на

показатель степени 4 вместо

традиционного

показателя 2 в неравенстве

P (Y

> ε

)

). Подстановка



−

)



§ 3.3. Состоятельность оценок. Различные виды сходимости 465

приводит к оценке





(X)

−



> ε







> ε







. (3.3.31)

Предположим, что нам удалось доказать неравенство





, (3.3.32)

где постоянная C не зависящей от n. Тогда при

ε =

получим, что





(X)

−





−





Ряд

−

сходится. Значит, по лемме Бореля

—

Кантелли (см. т. 1,

с. 163) с вероятностью 1 событие



(X)

−



происходит лишь для конечного числа значений n. Иными словами, с ве

роятностью 1 неравенство



(X)

−



имеет место для всех достаточно больших n. Этот последний факт влечет

за собой сходимость почти всюду в формуле (3.3.27).

Чтобы доказать неравенство (3.3.32), представим четвертую степень

в квадратных скобках в правой части неравенства (3.3.31), сгруппировав

отдельно слагаемые I

, попарные произведения вида I

и попарные про

изведения вида I

. Используя аддитивность математического ожидания,

можно записать





E [I

]

1(k

) E [I

]

1(k

) E [I

]

1(k

) E [I

]

1(k

k ,

∀ 6=

) E [I

] (3.3.33)

466 Глава 3. Статистика цепей Маркова с дискретным временем

∀

∈ {

1, 2, 3, 4

}

. Предвосхищая результат последующих оценок, за

метим, что первая и вторая суммы в правой части есть O(n), но третья,

четвертая и пятая имеют порядок O(n

). Неравенство (3.3.28) послужит

инструментом для оценки сумм во второй, третьей и четвертой строках

равенства (3.3.33). В самом деле, первая сумма в правой части равенства

(3.3.33) равна n E [I

], так как с.в. I

одинаково распределены. В следую

щих двух суммах слагаемые E [I

] и E [I

] зависят только от разности

−

. Это наводит на мысль суммировать по k

и l

= |

−

. Вторая

сумма приобретает вид

−

[E (I

)

E (I

)]

и по абсолютной величине не превосходит

<∞

E (I

)

. (3.3.34)

Поэтому для второй суммы из правой части равенства (3.3.33) нужно лишь

проверить, что ряд (3.3.34) сходится.

Третья сумма в правой части равенства (3.3.33) неотрицательна, так

как состоит из неотрицательных слагаемых, и не превосходит

2n(n

−

1) max[E (I

); l



−

)

∨

(

)



, (3.3.35)

а это выражение, как мы видим, неплохо оценивается через степень n.

Здесь a

∨

max(a, b), а последняя оценка в формуле (3.3.35) следует из

формулы

E (I

)

−

где J

u,v

ui vj

−

. (3.3.36)

Рассуждения и оценки для четвертой и пятой строк из правой части

формулы (3.3.33) уточняют соответствующие рассуждения, применяемые

к ряду (3.3.34). Поэтому изучим вначале этот ряд. Идея состоит в том,

чтобы проверить, что для больших l математическое ожидание произведе

ния приближенно равно произведению математических ожиданий:

E [I

]

≈

E [I

] E [I

] и E [I

]

≈

E [I

] E [I

]. (3.3.37)

Конечно, эти произведения математических ожиданий совпадают:

E [I

] E [I

]

E [I

] E [I

]

E [I

] E [I

]

§ 3.3. Состоятельность оценок. Различные виды сходимости 467

и равны 0, поскольку множитель E [I

] нулевой; см. равенство (3.3.30).

Чтобы уточнить первое соотношение из (3.3.37), запишем общий член

E [I

] ряда (3.3.34) в виде

−

и используя равенство (3.3.28), перепишем его в виде

−

[

−

1)]p

−

1)p

−

. (3.3.38)

Согласно соотношению (3.3.30) получаем

,i x

−

Следовательно, в правой части формулы (3.3.38) отличен от нуля толь

ко второй член, и в силу соотношения (3.3.28) его абсолютная величина

ограничена выражением

−

)

−

s(1

−

)

−

. (3.3.39)

Здесь и далее

[(1

−

)

∨

(

)]. (3.3.40)

Из этих оценок следует, что

E (I

)

не превосходит правой части

(3.3.25), что подтверждает первое из соотношений (3.3.37). Аналогично

E (I

)

не превосходит правой части (3.3.39), что объясняет второе из

соотношений (3.3.37). В дальнейшем мы будем использовать тот факт, что

аналогичные оценки, разумеется, имеют место и для

E (I

)

E (I

)

| 6

s(1

−

)

−

. (3.3.41)

Итак, для выражения (3.3.34) получена оценка сверху:

<∞

E (I

)

| 6

468 Глава 3. Статистика цепей Маркова с дискретным временем

подтверждающая, что вторая сумма в правой части равенства (3.3.33)

есть O(n).

Как уже было сказано, четвертая и пятая строки в правой части ра

венства (3.3.33) оцениваются схожим образом. Обсудим в деталях оценку

для последней суммы, так как она более техничная и трудоемкая. Слага

емое E [I

] не меняется при перестановке индексов k . Далее, оно

зависит только от попарных разностей k

−

k , поэтому положим k

, k

и запишем пятую строку в виде



E [I

]



1(k

n) E (I

(3.3.42)

Теперь идея состоит в том, чтобы записать представление, аналогичное

(3.3.37): если l

равно наибольшему расстоянию между l

, l

и l

и если

это l велико, то

E (I

)

≈









. (3.3.43)

Используем тот факт, что при совпадении максимального расстояния l

с l

или с l

один из множителей E





или E





сводится к

единственному

математическому ожиданию EI

и поэтому равен нулю.

Тогда, конечно, произведение в правой части соотношения (3.3.43) обра

щается в 0, а

наихудший

случай

—

это когда l

(см. ниже).

Более точно, предполагая, что max[l

, l

] велик, получим

E [I

]

≈











E [I

] E [I

]

0, если l

, l

E [I

] E [I

], если l

, l

E [I

] E [I

]

0, если l

, l

Рис. 3.3

§ 3.3. Состоятельность оценок. Различные виды сходимости 469

Соответственно, сумма в правой части равенства (3.3.42) разбивается

на следующие 7 сумм:



, l







. (3.3.44)

Суммы во второй строке имеют меньший порядок, поэтому будем рассмат

ривать суммы в первой строке. Общий член каждой суммы в выражении

(3.3.44) можно записать в виде

−

. (3.3.45)

Суммирование проводится по состояниям x

−

, x

−

, x

−

, x

−

, x

, и индексы пробегают значения от 1 до s. Если максимальное

расстояние l

достигается при

1 или

3, записываем p

−

1) и разбиваем сумму (3.3.45) аналогично (3.3.38).

Тогда для первой и третьей сумм в выражении (3.3.44) получаем оценку



, l



, l



где A было определено в формуле (3.3.40), а

−

)

−

Видим, что первая и третья суммы в выражении (3.3.44) имеют порядок

O(n).

Для второй суммы преобразуем p

−

1) и

−

1), что дает оценку:



, l

1(k

n) E (I

)



, l

1(k

n) (1

−

)

−

)

−





−





n(n

−

470 Глава 3. Статистика цепей Маркова с дискретным временем

Тем самым подтверждается гипотеза о том, что последняя строка в пра

вой части соотношения (3.3.33) имеет порядок O(n

). Четвертая строка

в правой части соотношения (3.3.33) оценивается аналогичным образом.

Отсюда следует неравенство (3.3.32), и тем самым завершается доказа

тельство равенства (3.3.27).

Из приведенных примеров заключаем, что ц.м.д.в. во многом подоб

ны независимым одинаково распределенным наблюдениям; значительная

разница состоит, конечно, в том, что функция правдоподобия становится

произведением множителей, связывающих пары последовательных состо

яний:

(x, )

P (X

, . . . , X

)

. . . p

−

, x









. (3.3.46)

Завершим этот параграф результатом, который показывает, что лога

рифмы функций правдоподобия тоже подчиняются з.б.ч.. Предположим,

что выполнено следующее условие:

Условие 3.3.8. Если p

0 для некоторых состояний i, j

∈

I, то

это равенство имеет место для любых

∈ Θ

. В этом случае, если для

заданного x (приведенная) функция правдоподобия l(x,

) оказалась поло

жительной для некоторого значения

∈ Θ

, то она остается положительной

для всех

∈ Θ

. Тогда множество векторов x, для которых l(x, )

можно отбросить раз и навсегда. Ведь оно появляется лишь с вероят

ностью 0 относительно распределения ц.м.д.в. P

для любого

∈ Θ

Оставшееся множество пар (i, j), для которых p

∈ Θ

, обозначим

D; предположим также, что для любых (i, j)

∈

D переходные вероятности

непрерывно дифференцируемы по

∈ Θ

Теорема 3.3.9. Предположим, что матрица перехода P

, i, j

∈

I),

∈ Θ

, удовлетворяет условию (3.3.1). Тогда для

любого

∈ Θ

и любого начального распределения при n

→ ∞

имеет место следующая сходимость с P

-вероятностью 1:





l (X)

п.н.

−→

[ln(p

)]

(i,j)

∈

ln(p

). (3.3.47)

Здесь и далее P

обозначает вероятностное распределение ц.м.д.в.

с начальным распределением

и переходной матрицей P , а E

обо-

значает математическое ожидание относительно инвариантной

меры

. Более того, подобный факт имеет место для произвольной

§ 3.3. Состоятельность оценок. Различные виды сходимости 471

функции g(i, j), (i, j)

∈

D. Определим с.в. G

g(X

−

, X

). Тогда при

→ ∞

для любого

∈ Θ

и любого начального распределения сумма



n сходится с P

-вероятностью 1:

п.н.

−→

]

i,j

∈

g(i, j). (3.3.48)

Суммирование в правой части равенства (3.3.48) можно распростра

нить на все i, j

∈

I со стандартным соглашением о том, что p

ln(p

)

если p

0. Величина

−

i,j

∈

ln(p

)

называется энтропией ц.м.д.в. (X

) и играет важную роль во многих

приложениях. При предположении о том, что цепь (X

) неприводима и апе

риодична, энтропия положительна, а математическое ожидание в правой

части равенства (3.3.48) отрицательно для функции g(i, j)

ln p

Другой пример

—

это сумма

g(X

−

, X

) индикаторов 1(X

−

i, X

j) из формулы (3.3.16 б). Но функция g может зависеть от

одной случайной величины: например, для I

⊂ R

и g(i, j)

j нетрудно

заметить, что G

, где X

—

значение цепи в момент k. Уравнения

(3.3.47) и (3.3.48) в этом случае превращаются в усиленный з.б.ч. для

ц.м.д.в. (X

, 0

n):

п.н.

−→

]

∈

при n

→ ∞

. (3.3.49)

Следует заметить, что в общем случае последовательность случайных

величин G

g(X

−

, X

) не образует марковской цепи или марковской

цепи высшего порядка. Однако она является функцией ц.м.д.в. (X

) с экс

поненциальным убыванием корреляций: это свойство играет ключевую

роль в доказательстве. Мы не приводим здесь доказательства теоремы

3.3.9, так как оно повторяет рассуждения, приведенные выше.

472 Глава 3. Статистика цепей Маркова с дискретным временем

§ 3.4. Функции правдоподобия, II. Формула Уиттла

Придирчивы в вычислениях,

В своем искусстве сильны,

Да будут всегда статистики

Блистательны и умны!

Студенческий фольклор

Общий подход к построению оценок максимального правдоподобия

переходных вероятностей ц.м.д.в. основан на так называемой форму-

ле Уиттла, которая и составляет предмет изучения данного параграфа.

Во избежание путаницы нам придется частично поменять обозначения,

используемые до сих пор. Мы будем придерживаться терминологии, вве

денной в ранних работах, касающихся предмета нашего рассмотрения.

Пусть x









∈

—

выборка из ц.м.д.в. (X

) с конечным числом

состояний, матрицей перехода P

) и начальным распределением

(

Пусть f

(x)

—

это число переходов i

→

j в выборке x, т. е. число

моментов времени m, 0

n, для которых x

i и x

j. (В предыдущих параграфах эта величина обозначалась n

.) Положим

и f

(x)

(x); значения f

и f

задают количества

входов в состояние i и выходов из него в этой выборке x. Таким образом,

получаем матричнозначную функцию x

7→

F(x)

(x)). Матрица F(x)

называется матрицей подсчета переходов (для заданной выборки x).

Для случайной выборки X получаем случайную матрицу F (X)

(X)).

Полезно также усвоить и обратную точку зрения.

Определение 3.4.1. Пусть x, y

∈

—

пара различных состояний (x

y). Пусть F

, i, j

∈

—

матрица с неотрицательными целыми эле

ментами. Говорят, что F задает n

шаговую матрицу подсчета переходов

для начального состояния x и конечного состояния y, если а)

i,j

и б) в предыдущих обозначениях f

, f

−

0, для любого i

∈

I, кроме i

x и i

где f

−

1 и f

−

= −

1. (3.4.1)

Для x

y это определение нужно слегка подправить: f

−

∀

∈

I, и, кроме того, f

1 и f

1. См. рис. 3.4. Таким образом,

§ 3.4. Функции правдоподобия, II. Формула Уиттла 473

за исключением начального и конечного состояния, число переходов из лю

бого заданного состояния равно числу переходов в это состояние. Однако

если начальное и конечное состояния различны, выходов из начального

состояния на единицу больше, чем входов в него, а выходов из конечного

состояния на единицу меньше, чем входов в него. Если цепь возвращается

в начальное состояние, то число выходов из любого состояния равно числу

входов в него.

Рис. 3.4

Пример 3.4.2. Зафиксируем x

∈

I. Пусть матрица F

, i, j

∈

с неотрицательными целочисленными элементами удовлетворяет соотно

шениям

−

, i

1, . . . , s, (3.4.2)

для некоторого заданного y

1, . . . , s. Докажите, что y

—

единственная

точка из I, для которой имеет место соотношение (3.4.2).

Решение. Проведем доказательство от противного. Предположим, что

два состояния y и w удовлетворяют соотношению (3.4.2). Если x

y, то

−

= −

1 и f

−

= −

откуда следует равенство y

w. Если x

y, то

−

0 и f

−

, i

1, . . . , s.

Таким образом,

и w

Теперь мы хотим подсчитать число траекторий, совместимых с заданной

матрицей подсчета переходов.

474 Глава 3. Статистика цепей Маркова с дискретным временем

Пример 3.4.3. Пусть I

= {

1, 2, 3

}

. Рассмотрим матрицу

0 1 1

0 0 1

1 0 0

Она задает четырехшаговую матрицу подсчета переходов с начальным

состоянием 1 и конечным состоянием 3.

Напомним, что распределение вероятностей ц.м.д.в. (X

) имеет вид

P (X

, . . . , X

)

i,j

∈

P (X

, . . . , X

)

i,j

∈

откуда следует, что матрица подсчета переходов F(X), сама по себе или

совместно с начальным состоянием x

, образует достаточную статистику.

Чтобы найти распределение статистики F(X) (т. е. совместное распределе

ние элементов f

(X)), нам нужно подсчитать число выборок x с траектори

ями, совместимыми с заданной n

шаговой матрицей подсчета переходов F.

С этой целью для заданных x, y

∈

I рассмотрим F

)

—

шаговую

матрицу подсчета переходов с x

x и x

y и обозначим через N

(n)

(F)

число таких выборок x

∈

, что F

F(x). Прямые (хотя и громоздкие)

комбинаторные подсчеты, выполненные далее, приводят к формуле

(n)

(F)

−

(x,y)

. (3.4.3)

Здесь

−

(x,y)

обозначает (x, y)

—

кофактор в матрице F

−

), который

определяется следующим образом:

−

(x,y)

(

−

(det(f

−

)

x,j

), (3.4.4 а)

где элементы f

−

матрицы F

−

равны

−

(

−

, если f

i, j

1, . . . , s. (3.4.4 б)

Уравнение (3.4.3) означает, что для заданной n

шаговой матрицы под

счета переходов F

) с x

x, x

y условная вероятность того, что

§ 3.4. Функции правдоподобия, II. Формула Уиттла 475

F(X)

F при условии X

x и X

y равна

P (F(X)

x, X





−

(x,y)

, (3.4.5 а)

подобным образом выглядит и условная вероятность

P (X

y, F(X)

(n)





−

(x,y)

, (3.4.5 б)

а безусловная вероятность равна

P (X

x, X

y, F(X)

(n)





−

(x,y)

. (3.4.5 в)

Здесь p

(n)

обозначает n

шаговую переходную вероятность из x в y. Урав

нения (3.4.5 а

–

в) называются формулами Уиттла.

Пример 3.4.4. Для матрицы F из примера 3.4.3 формула Уиттла дает

результат

(4)

2! det



−



С другой стороны, N

(4)

0, потому что матрица подсчета переходов

F несовместима ни с парой (2, 3), ни с парой (3, 3). Значит, к этим парам

формулу Уиттла применять нельзя.

Это приводит нас к такому определению.

Определение 3.4.5. Пусть x, y

∈

—

заданные состояния (не обяза

тельно различные), а n

—

натуральное число. Обозначим через

(n, x, y)

множество матриц F

) с целочисленными элементами f

, i, j

∈

удовлетворяющих следующим условиям: а)

i,j

∈

n, б) f

−

, i

∈

I; при этом если x

y, то f

1 и f

1. Иными словами,

матрицы F

∈ B

(n, x, y)

—

это n

шаговые матрицы подсчета переходов при

x и x

y. Далее, положим

(n, x)

∈

(n, x, y), что дает все

шаговые матрицы подсчета переходов при x

x. (Заметим, что при

заданном x множества

(n, x, y) не пересекаются для различных y

∈

I.)

Теперь пусть P

, i, j

∈

—

переходная матрица. Распределение

Уиттла с параметрами (P, n, x, y)

—

это вероятностное распределение на

(n, x, y), которое приписывает матрице F

∈ B

(n, x, y) вероятность

(F)





−

(x,y)

. (3.4.6 а)

476 Глава 3. Статистика цепей Маркова с дискретным временем

Далее, распределение Уиттла с параметрами (P, n, x) образует ве

роятностное распределение на

(n, x), которое приписывает матрице

∈ B

(n, x, y) вероятность

(F)

(n)





−

(x,y)

. (3.4.6 б)

Это означает, что условная вероятность

| B

(n, x, y)) равна (F) для

∈ B

(n, x, y).

Д о к а з а т е л ь с т в о формулы (3.4.3). Проведем доказательство с по

мощью индукции по n. Уравнение (3.4.3) имеет место для n

1 (в этом

случае обе части уравнения (3.4.3) равны 1). Предположим, что оно имеет

место для n

−

1. Обозначим через G(k, m) матрицу, полученную из G

)

путем уменьшения (k, l)

го элемента на 1: G(k, m)

−

E(k, m), где

(E(k, m))

k,i

j,m

. Тогда, очевидно, для F

) выполняется равенство

(n)

(F)

1(f

0)N

−

(F(k, m)). (3.4.7 а)

Поэтому достаточно показать, что выражения

−

(k,l)

в правой части урав

нения (3.4.3) удовлетворяют аналогичному соотношению, а именно

−

(k,l)

1(f





(

−

(k, m))

(m,l)

. (3.4.7 б)

Здесь и далее (

−

(k, m))

(m,l)

обозначает (m, l)

кофактор в матрице

−

(k, m). Поскольку все столбцы матриц F

−

(k, m) и F

−

, кроме m

го

столбца, одинаковы, кофакторы совпадают: (

−

(k, m))

(m,l)

= ϕ

−

(m,l)

. Из

этого факта и соотношения (3.4.4) следует, что уравнение (3.4.7 б) эквива

лентно уравнению

k,m

−



k,m



1(f

−

(m,l)

0. (3.4.8)

Поскольку

−

(m,l)

k,l

det F

−

, сразу получаем уравнение (3.4.8)

для случая, когда k

l. Значит, нужно только показать, что det F

−

если k

l. Для удобства обозначений предположим, что элементы f

положительны при i

r и равны нулю при i

r. Тогда F имеет

вид



A 0

0 0



, (3.4.9)

§ 3.4. Функции правдоподобия, II. Формула Уиттла 477

где A

—

это матрица r

r. В силу формул (3.4.4) имеем

−



−

0 I



, (3.4.10)

где строки матрицы A

−

имеют нулевую сумму. Следовательно, det F

−

det A

−

0. (Если k

l, то матрица F

−

может быть невырожденной.)

Интересный вопрос возникает при вычислении моментов распределе

ния Уиттла. Возьмем I

= {

1, . . . , s

}

. Пусть B

)

—

матрица

с собственными числами

, . . . ,

, которые в данный момент предпо

лагаются различными. Пусть g(x)

—

произвольный многочлен степени n,

и пусть g(B)

—

соответствующий матричный многочлен. Известная теорема

Сильвестра утверждает, что

g(B)

∈

)B(k), (3.4.11)

где матрицы B(k) определены как

B(k)

∈

I : i



−



∈

I : i

(

−

)

, k

∈

I. (3.4.12)

Матрица B(k) задает (неортогональную) проекцию ранга 1 на одномер

ное подпространство, образованное собственным вектором матрицы B,

соответствующим k

му собственному значению

; проецирование выпол

няется вдоль гиперплоскости, порожденной оставшимися собственными

векторами. Матрицы B(k) идемпотентны, т. е.

(B(k))

B(k) и B(k)B(k

)

0, k

, k, k

∈

Заметим, что B(1)

—

это (s

матрица, каждая строка которой является

инвариантным вектором

, определенным с помощью соотношения

Аналог формулы (3.4.11) имеет место и при наличии кратных собственных

значений, хотя уравнение (3.4.12) будет в этом случае содержать произ

водные полинома g. Детали мы опускаем.

Теорема 3.4.6. Если случайная (s

s)-матрица F имеет распреде-

ление Уиттла с параметрами (P, n, x), то математическое ожида-

ние ее (

, )-го элемента задается формулой

(n, x)

−

(m)

p , , , x

∈

I, n

1, 2, 3, . . . (3.4.13)

478 Глава 3. Статистика цепей Маркова с дискретным временем

где p

(m)

—

это (x, )-й элемент m-шаговой матрицы перехода P

Более того, предположим, что матрица P неприводима и аперио-

дична, имеет различные собственные значения и обозначим их через

> |

, . . . ,

. Тогда математическое ожидание E (n, x)

допускает представление

(n, x)



−



(p(k))



. (3.4.14)

Здесь (p(k))

задает (x, )-й элемент матрицы P(k), определенной

уравнением (3.4.12), при B

P(k)

∈

I : i

(

−

(

−

)

, k

1, . . . , s.

Д о к а з а т е л ь с т в о. Пусть N

(n, x)

—

это случайное число пере

ходов

→

в случайной матрице F, или, что эквивалентно, в выборке X

с распределением P (

· |

x). Пусть переход x

→

k, k

∈

—

это первый

переход в X. Тогда N (n, x) удовлетворяет уравнениям

N (n, x)

−

1, k), n

2, (3.4.15)

(1, x)

, k

∈

I. (3.4.16)

Таким образом, E

(n, x) удовлетворяет уравнениям

E (n, x)

E (n

−

1, k), n

(1, x)

. (3.4.17)

Докажем по индукции, что

E (n, x)

−

(m)

p . (3.4.18)

Поскольку

, уравнение (3.4.18) выполняется, если под

ставить в него функции из формулы (3.4.17), т. е. справедливо при n

§ 3.4. Функции правдоподобия, II. Формула Уиттла 479

Затем, используя уравнение (3.4.18), получим

1, x)

−

(m)

−

(m)

p , (3.4.19)

что подтверждает правильность шага индукции.

Если все собственные числа

матрицы P различны, то из теоремы

Сильвестра получаем

(m)

(p(k))

, m

0, 1, . . . (3.4.20)

Располагая собственные числа в порядке следующего убывания по аб

солютной величине: 1

> |

| >

. . .

> |

, запишем соотношение

(3.4.20) в виде

(n, x)

−

(p(k))





−



(p(k))



Теорема 3.4.7. Если случайная матрица F имеет распределение

Уиттла с параметрами (P, n, x), то для любых

, , ,

∈

I ко-

вариация между элементами (

, ) и ( , ) матрицы F задается

формулами

, ; ,

(n, x)

E (1, x)

−

E (1, x)

, n

, ; ,

(n, x)

E (n, x)

−

E (n, x)

−

p E (m, )

−

p E (m, )

, n

2, (3.4.21)

Если матрица P неприводима, апериодична и имеет различные

собственные числам

, . . . ,

, то ковариация между элементами

(

, ) и ( , ) матрицы F, соответствующая второму уравнению