Кельберт М.Я., Сухов Ю.М. Вероятность и статистика в примерах и задачах. Том 2. Марковские цепи как отправная точка теории случайных процессов и их приложения

Подождите немного. Документ загружается.

280 Глава 2. Цепи Маркова с непрерывным временем

...

и i

, i

, ..., i

∈Z

определим

min

, ..., N

min

, N

min

= ∞

, ..., N

min

= ∞

)

−

)



−

∈Z

−

)



. (2.5.27)

Соответственно назовем состояние i

∈Z

взрывным, если

∈Z

(t)

для некоторого момента времени t

0 (следовательно, и для б

ольших

моментов времени). Для взрывного состояния i выполняется соотношение

взр

< +∞

)

0, точнее, P

взр

−

∈Z

(t), (2.5.28)

где время взрыва T

взр

определяется как

взр

lim

→∞

. (2.5.29)

Здесь 0

...

—

последовательность времен скачков ПРГ и S

, ...

—

последовательность времен пребывания,

inf[t

0: N

min

], J

inf[t

: N

min

], ...,

, S

−

,...

(2.5.30)

Достаточное условие (Ledermann

—

Reuter) для того, чтобы состояние i

было взрывным, таково:

0 для n

< ∞

, sup

: n

Другое достаточное условие таково:

0 для n



−

...



< +∞

sup



−

...



: n

< +∞

Вновь упомянем, что при наличии взрывных состояний вопрос един

ственности (субстохастического) решения прямого и обратного уравнений

§ 2.5. Процессы рождения и гибели. Взрыв 281

становится сложным. Бывают случаи, когда прямое уравнение имеет един

ственное решение, а у обратного уравнения число решений более одного,

и наоборот. См., например, Reuter G. E. H., Ledermann W. On the diﬀer

ential equations for the transition probabilities of Markov processes with enu

merably many states

Proc. Cambridge Philos. Soc. 1953. V. 49. P. 247

–

262;

Karlin S., McGregor J. The classiﬁcations of birth and death processes

Trans. Amer. Math. Soc. 1957. V. 86. P. 366

–

400; Добрушин Р. Л. Условия

регулярности для марковских процессов с конечным числом состояний

УМН. 1952. Т. 7, № 6. С. 185

–

191.

Для невзрывного ПРГ, конечно, P

взр

= +∞

)

1 для любого состоя

ния i

∈Z

Следующий класс процессов, которые хотелось бы упомянуть,

—

это

случайные блуждания с непрерывным временем (с.б.н.в.) на

. Вначале

рассмотрим одномерный случай, когда d

Если

, то случайное блуждание называют симметричным; если

≡

, то случайное блуждание называют однородным.

Для этой ц.м.н.в. Q

матрица бесконечна (во всех направлениях):







−

(

−

)

−

0 ...

−

(

)

−

(

)







Рис. 2.45

В двумерном случае (d

2) состояниями являются точки i

, i

∈Z

; см. рис. 2.46.

Мы сосредоточимся в основном на однородном и симметричном случае,

когда

= −

≡

0, i

, i

)

∈Z

, если точка i

соседняя к i, т. е. i

1, i

) или (i

, i

1).

282 Глава 2. Цепи Маркова с непрерывным временем

Рис. 2.46

Для однородного и симметричного с.б.н.в. при d

3 существует шесть

возможных переходов, соответственно

для точки i

, соседней к i

, i

Общий случай

, d

1, рассматривается аналогично. При этом в ка

честве индексов у элементов Q

матрицы выступают точки i

∈Z

= −

1, q

i j

−

||=

1), i

j, i, j

∈Z

И вновь в более общей модели элементы q

могут зависеть от i

∈Z

§ 2.6. Инвариантные распределения счетных цепей Маркова. Цепь скачков 283

§ 2.6. Инвариантные распределения счетных

цепей Маркова. Цепь скачков

Countably Many Dalmatians

(Из серии

Фильмы, которые не вышли на большой экран

Введем теперь общие ц.м.н.в. и (не более чем) счетным множеством

состояний (или счетные цепи Маркова с непрерывным временем). Ц.м.н.в.

с конечным числом состояний включаются сюда как частный случай. Мы

будем приводить доказательства только тех фактов, которые в принципе

могли бы появиться на экзаменах в Кембридже.

Пространство состояний по

прежнему будем обозначать I; будем рас

сматривать Q-матрицы Q

) с элементами q

, проиндексированными

парами состояний i, j

∈

I. Неизменными остаются условия (внедиагональ

ные элементы Q неотрицательны и матрица Q консервативна)

∀

i, j: i

j, (2.6.1)

−∞<

0, q

= −

∈

I : j

∀

i. (2.6.2)

Напомним, что для любых j

i элемент q

является интенсивностью пере

хода из состояния i в состояние j и для любого i значение q

задает полную

интенсивность выхода из состояния i.

Кроме того, будем предполагать сходимость ряда

j : j

равномерной

(хотя в большинстве случаев утверждения, приведенные ниже, не требуют

такого ограничения). Равномерная сходимость означает, что состояния i

∈

можно пронумеровать, например, индексами j

, j

, ... таким образом,

чтобы

хвост

ряда, образованный слагаемыми q

с большими значени

ями k, был равномерно мал:

lim

→∞

sup

k :

−

: j

∈

0. (2.6.3)

В большинстве случаев конкретный порядок суммирования в формуле

(2.6.2) использоваться не будет, и ряд

∈

можно понимать при любом

порядке суммирования.

Ср. с названиями фильмов

101 Dalmatians

102 Dalmatians

284 Глава 2. Цепи Маркова с непрерывным временем

Стратегия наша в принципе не меняется: матрица Q трактуется

как генератор, требуется построить ассоциированную с Q полугруппу

(P(t), t

0) матриц вероятностей перехода P(t)

(t)) (P(0)

I) и изу

чить свойства соответствующей ц.м.н.в. По возможности, мы исполь

зовали матричную экспоненту; полезным орудием являлась пара пря

мых

обратных уравнений

QP, P(0)

I, (2.6.4)

или элементы матрицы удовлетворяют уравнениям











(прямое уравнение),

(обратное уравнение),

(0)

Как мы видели, для конечных матриц уравнения (2.6.4) имели един

ственное решение

P(t)

∞

(tQ)

, t

0, (2.6.5)

состоящее из стохастических матриц. В § 2.5 обсуждалось обобщение это

го факта на случай счетного пространства состояний I; в случае ПР (

)

решение может быть субстохастической матрицей, что ведет к взрыву;

выход из такой ситуации состоял в расширении пространства состоя

ний посредством добавления к нему поглощающего состояния

∞

; мы

вкратце обсудили и другую возможность, когда бесконечность превраща

ется в мгновенное состояние. Затем мы обсудили более общую модель

ПРГ (

В данном параграфе мы приводим общие теоремы (теоремы

2.6.1

–

2.6.11), которые даются без доказательства (см. [BR], [N]). При

этом предполагается, что Q

—

это Q

матрица, удовлетворяющая условиям

(2.6.1)

–

(2.6.3).

Теорема 2.6.1. Прямое и обратное уравнения (2.6.4) всегда име-

ют решение P(t), t

0, удовлетворяющее свойству полугруппы

P(t

P(t)P(s), t, s

0. (2.6.6)

В общем случае матрицы P(t)

(t)) являются только субстоха-

стическими, причем такими, что p

(t)

∀

i, j

∈

I и

(t)

∀

∈

I. (2.6.7)

§ 2.6. Инвариантные распределения счетных цепей Маркова. Цепь скачков 285

Это решение, вообще говоря, не единственно, и прямое и обратное

уравнения имеют, вообще говоря, различные множества решений.

Однако всегда существует единственное минимальное субстохастиче

ское решение P

min

(t)

min

(t)), t

0, уравнений (2.6.4), удовлетворяющее

условию (2.6.7). Минимальность означает, что для любого неотрицатель

ного решения R(t)

(t)), t

0, выполнено неравенство

min

(t)

(t). (2.6.8)

Это минимальное субстохастическое решение задается как

min

(t)

lim

→∞

tQ(n)

где Q

матрица Q(n)

(n))

—

это (n

усечение матрицы Q, состо

ящее из элементов

(n)

, l, k

0, ...n

−

1, j

;

(n)

= −

n : j

, l, k

0, ...n

−

Здесь используется такая же нумерация состояний i

∈

I, как и в соотно

шении (2.6.3).

Наконец, минимальное решение имеет полугрупповое свойство (2.6.6).

Таким образом, в случае, когда минимальное решение образовано сто

хастическими матрицами P

min

(t)

min

(t)), t

0, и при этом

min

(t)

∀

0 и i

∈

I, эффект субстохастичности исчезает, поскольку P

min

(t)

будет единственным решением уравнений (2.6.4). (Более точно, любое

субстохастическое решение P(t) равно P

min

(t) и, следовательно, является

стохастическим.)

Полезное свойство минимального решения состоит в том, что p

min

(t)

можно записать в виде ряда относительно числа скачков, совершенных

цепью на временном интервале (0, t).

Теорема 2.6.2. Для минимального решения P

min

(t)

min

(t)) имеет

место следующее представление:

min

(t)

−

1(i

(скачков нет)

1(i

j)1(q

−

(один скачок)

1(q

∈

1(k

i, j)1(q

−

1(t

) dt

... (два скачка)

(2.6.9)

286 Глава 2. Цепи Маркова с непрерывным временем

∀

0, i, j

∈

I. Общий член в правой части соотношения (2.6.9)

—

это сумма по последовательностям скачков через состояния i

, i

, ..., i

j, где i

−

, и он имеет вид

,...,i

−

1(q

0, i

)

...

exp[

−

]

k : n

→

−

exp[

−

)]) dt

... dt

,...,i

−

1(q

0, i

)

...

−

exp[

−

]

k : 1

→

−

exp[

−

]) ds

... ds

, (2.6.10)

где t

0 и s

Рис. 2.47

Как и ранее, уравнения (2.6.9) и (2.6.10) дают важное пошаговое

описание элементов p

min

(t), которое помогает представить

вклад

в за

данный элемент различных траекторий цепи. Это представление будет

основой наших определений и построений. Следует отметить, что урав

нения (2.6.9), (2.6.10) и их предшественники, уравнения (2.5.20)

–

(2.5.22)

и (2.5.6)

–

(2.5.9), обобщают уравнения (2.3.8)

–

(2.3.9); это подчеркивает

роль, которую играет пуассоновский процесс в различных построениях,

приведенных ниже.

Мы будем иметь в виду и изучать две ситуации.

Хорошая

ситу

ация, упомянутая выше, когда минимальное решение P

min

(t)

min

(t)),

0, описанное в соотношении (2.6.8), дается стохастическими матри

цами. В этом случае элемент p

min

(t) задает переходную вероятность из

состояния i в состояние j за время t. Назовем этот случай

невзрывным

§ 2.6. Инвариантные распределения счетных цепей Маркова. Цепь скачков 287

поскольку ц.м.н.в. (X

), определенная с помощью матриц перехода P

min

(t),

будет

жить

вечно в исходном пространстве состояний I. Ситуация

усложняется, когда матрицы P

min

(t) не являются стохастическими. Тогда

мы добавляем поглощающее состояние

∞

и рассматриваем

минималь

ную

ц.м.н.в. с пространством состояний

∪{∞}

. Это даст нам первое

определение ц.м.н.в. в терминах переходных вероятностей; см. определение

2.6.3.

Видим, что минимальное решение P

min

(t) ведет к минимальной ц.м.н.в.

с матрицей

генератором Q и дополнительным поглощающим состояни

ем

∞

; в

хорошей

ситуации, когда минимальное решение стохастическое,

необходимость в дополнительном состоянии отпадает, и мы получаем

ц.м.н.в. на исходном пространстве состояний I.

Следует отметить, что в случае, когда ситуация не является

хорошей

т. е. минимальное решение не стохастическое, оно не будет единственным

субстохастическим решением одного или обоих уравнений (2.6.4). Дру

гие решения P(t) могут быть стохастическими. Однако, вообще говоря,

возникает другая сложность: прямое и обратное уравнения могут иметь

различные множества решений.

Таким образом, спектр возможных случаев широк. Существуют об

щие условия на матрицу Q, гарантирующие, что минимальное решение

min

(t) уравнений (2.6.4) дается стохастическими матрицами. Эти усло

вия довольно сложны (и иногда не имеют ясного

физического смысла

В оставшейся части этого параграфа мы опустим индекс min и обозна

чим минимальное решение просто P(t)

(t)); оно имеет полугрупповое

свойство (2.6.6) благодаря теореме 2.6.1. Определение 2.6.3, приведенное

ниже, уточняет, что мы понимаем под ц.м.н.в. на общем конечном или

счетном пространстве состояний I с генератором Q и начальным веро

ятностным распределением

Определение 2.6.3. Ц.м.н.в. с начальным распределением

и гене

ратором Q (или, кратко, (

, Q)

ц.м.н.в.) на конечном или счетном про

странстве состояний I

—

это семейство (X

, t

0) таких с.в. со значениями

в I

∪{∞}

, что P (X

∀

∈

I, и выполнено свойство

а) для любых n

1, 2, ..., моментов времени 0

...

и со

стояний i

, ..., i

∈

I выполняется условие

P (X

, X

, ..., X

)

−

). (2.6.11)

Кроме того, для любой дополнительной последовательности моментов вре

288 Глава 2. Цепи Маркова с непрерывным временем

мени t

...

выполняется условие

P (X

, X

, ..., X

, X

...

= ∞

)

−

)



−

∈

−

)



. (2.6.12)

Здесь функции p

(t) определены уравнениями (2.6.9), (2.6.10). Повторим,

что матрицы P(t)

(t)), t

0, дают минимальные субстохастические

решения уравнений (2.6.4), описанные в теоремах 2.6.1 и 2.6.2.

Как и в случае дискретного времени, заключаем из определения 2.6.3,

что p

(t) является вероятностью перехода (X

) из состояния i в j за время

t, т. е. условной вероятностью P (X

i). Кроме того, разность

−

(t)

—

это вероятность перехода из i в

∞

за время t, т. е. условная

вероятность P (X

= ∞|

i); или вероятность взрыва при выходе из

состояния i за время t. Наконец по определению P (X

= ∞ |

= ∞

)

≡

По аналогии со взрывным процессом рождения или рождения и гибели

отметим, что в определении 2.6.3 мы задали минимальную цепь с задан

ными

и Q.

Как и в подобных определениях ранее, мы задали так называемую

однородную ц.м.н.в., когда вероятности перехода p

(t) зависят только

от прошедшего промежутка времени, а не от положения пары s, t

на временн

ой полуоси. Более общий класс процессов включает неодно-

родные цепи; один такой пример

—

это неоднородный процесс Пуассона

НПП (

(t)), обсуждаемый в § 2.4.

Далее под суммами

мы понимаем

∈

, и порядок суммиро

вания не имеет значения.

Определение 2.6.4. Ц.м.н.в. (X

) с параметрами ( , Q) (или с генера

тором Q) называют невзрывной, если для любого i и t

0 выполняется

соотношение

∈

(t)

1, (2.6.13)

т. е. матрицы P(t) являются стохастическими. В противном случае ц.м.н.в.

) называют взрывной.

Если цепь является невзрывной, то вероятности (2.6.12) все равны

нулю. Это означает, что состояние

∞

не нужно: выходя из любого со

стояния i, цепь остается в I навсегда. Значит можно пользоваться таким

определением.

Определение 2.6.5. Предположим, что матрица Q невзрывная в смыс

ле определения 2.6.4. Тогда свойство а) из определения 2.6.3 эквивалентно

§ 2.6. Инвариантные распределения счетных цепей Маркова. Цепь скачков 289

любому из следующих свойств б) и в).

б) Для любых состояний i

j, момента времени t

0 и h

услов

ные вероятности имеют следующую асимптотику:

P (X

не имеет скачков при 0

i, плюс предыстория до момента t)

−

o(h)

o(h), (2.6.14)

это означает, что q

= −

есть интенсивность, с которой цепь покидает

состояние i, и

P (X

имеет ровно один скачок i

→

j, 0

i, плюс предыстория до момента t)

o(h), (2.6.15)

это означает, что q

есть интенсивность, с которой происходит переход из

состояния i в j; весьма важно то, что свойства (2.6.14) и (2.6.15) означают

следующее:

P (X

i, плюс предыстория до момента t)

(

−

o(h), j

независимо от предыстории процесса.

в) Для любых i: q

0 при условии, что X

i, процесс (X

) находится

в состоянии i в течение случайного времени

∼

Exp(q

), а затем совершает

скачок в j

i с вероятностью

. (2.6.16)

Тогда если J

—

это время скачка, то процесс X

ведет себя так же,

как (X

), при условии, что X

j и т. д. Если q

0, то при условии X

процесс (X

) остается в состоянии i навсегда.

В п. а) эвфемизм

предыстория

означает любое событие, порожденное

случайными величинами X

, когда s меняется внутри заданного множества

значений: 0

t в свойстве б) и 0

(k)

в свойстве в), где H

(k)

—

е время попадания в состояние i. Здесь есть также тонкость, состоящая

в том, зависят ли остаточные члены o(h) в п. а) от i, j и t; мы не будем

углубляться в соответствующие детали. Однако при определенных подхо

дящих условиях на o(h) в свойстве а) можно доказать такой результат.

Теорема 2.6.6. Для невзрывной цепи приведенные выше характе-

ризации а), б) и в) из определений 2.6.3 и 2.6.5 эквивалентны.

290 Глава 2. Цепи Маркова с непрерывным временем

Наконец, удобно охарактеризовать случай взрыва в терминах времени

скачков J

, J

, ... Они определяются как

0, J

inf[t

0: X

], J

inf[t

: X

], ... (2.6.17)

Рис. 2.48

Определение 2.6.7. Говорят, что ( , Q)

ц.м.н.в. (X

) невзрывная, если

для любого состояния i при условии, что X

i, с вероятностью 1 времена

скачков J

возрастают к

+∞

( lim

→∞

= ∞

)

В противоположном случае, когда P

( lim

→∞

= ∞

)

1, т. е. P

( lim

→∞

< ∞

)

0, состояние i называется взрывным (для (X

)).

Теорема 2.6.8. Определения взрывной ц.м.н.в. 2.6.4 и 2.6.7 эквива-

лентны.

Подводя итог, заметим, что имеются три типа поведения траектории

ц.м.н.в.: регулярный, поглощающий и взрывной. Как было указано выше,

последний можно преобразовать в поглощающий путем добавления состо

яния

∞

Как и в случае дискретного времени, маргинальные вероятности P (X

i) образуют вектор, полученный из

(

) под действием матрицы

перехода P(t):

P (X

( P(t))

(t)

∀

0, j

∈

I. (2.6.18)

Введем следующее обозначение:

(

), где

(

, j

0, j

(2.6.19)

§ 2.6. Инвариантные распределения счетных цепей Маркова. Цепь скачков 291

Предполагая, что q

0 для любого i, получим корректно определен

ную стохастическую матрицу

P с нулевыми диагональными элемента

ми. Матрица

P определяет цепь скачков для ц.м.н.в. (X

). Точнее, это

( ,

ц.м.д.в. (Y

) (некоторые авторы называют ее вложенной цепью

скачков, так как она наследует скачки исходной ц.м.н.в. (X

)). Термин

вло

женная

в данном случае является значимым: цепь (Y

) ассоциирована

с (X

), т. е. ее траектория построена по траектории (X

Наглядный смысл таков: (Y

) есть наблюдения скачков в цепи (X

а формальное определение имеет вид

, где 0

...

—

моменты скачков цепи (X

). (2.6.20)

Заметим, что цепь скачков (Y

) всегда можно неограниченно задавать

в дискретные моменты времени n

0, 1, ...; она нечувствительна к

взры

вам

исходной цепи.

Перепишем соотношение (2.6.9) в терминах вероятностей скачков

(t)

−

1(i

−

s)q

1(i

∈

1(k

i, j)1(q

−

... (2.6.21)

с общим членом

−

1(q

...

−

exp[

−

])

−

exp[

−

] dt

... dt

, (2.6.22)

где t

Повторим, что уравнения (2.6.21), (2.6.22) дают

конструктивный

взгляд на то, как вероятности p

строятся

из вкладов, внесенных различ

ными траекториями. Подход, возникающий на основе таких рассмотрений,

был разработан в 1920

–

30 гг. Колмогоровым, Леви и другими. Ревностным

сторонником этого подхода выступал и Дуб, который неустанно под

черкивал, что случайный процесс следует трактовать как вероятностное

распределение на множестве его выборочных траекторий.

292 Глава 2. Цепи Маркова с непрерывным временем

Рис. 2.49

Определение 2.6.9. Пусть (X

)

—

невзрывная ц.м.н.в. Распределение

вероятностей

(

) на I называют инвариантным, или стационарным

распределением для ц.м.н.в. (X

), если для любых j и t

P (X

, т. е. P(t)

. (2.6.23)

Если выполнено лишь условие

0, но не выполняется равенство

1, то говорят, что является инвариантной мерой для (X

). Если

< ∞

, то, положив

, получим инвариантное распределение

(

Замечание 2.6.10. Для минимальной взрывной цепи последнее опре

деление имеет смысл только в случае, когда распределение

сосредото

чено в поглощающем состоянии

∞

, хотя все же можно думать и о мере ,

удовлетворяющей

= ∞

и соотношению (2.6.23). Будем этого избегать,

всегда предполагая, что цепь невзрывная, если речь идет об инвариантных

мерах или стационарных распределениях.

Теорема 2.6.11. Предположим, что (X

)

—

невзрывная ц.м.н.в. с ге-

нератором Q. Мера

(

)

—

инвариантная мера для (X

) тогда

и только тогда, когда

∀

j, т. е. Q

0. (2.6.24)

Замечание 2.6.12. Утверждение теоремы 2.6.11 для конечной ц.м.н.в.

было доказано уравнением (2.2.5). В теореме 2.6.11 оно распространено

на общий невзрывной случай. К аргументам, использованным при выво

де уравнения (2.2.5), нужно отнестись критически: они не работают для

взрывной цепи. Точнее, в случае взрывной цепи нельзя гарантировать, что

( P(t))

P(t), хотя верно, что

P(t)

QP(t)

P(t)Q.

§ 2.6. Инвариантные распределения счетных цепей Маркова. Цепь скачков 293

Теорема 2.6.13. Предположим, что (X

)

—

невзрывная ц.м.н.в. с ге-

нератором Q и что q

∀

i. Пусть

(

)

—

инвариантная мера

для (X

). Тогда

(

) является инвариантной мерой для цепи скач-

ков (Y

), где

= −

, i

∈

I. (2.6.25)

Обратно, если

—

инвариантная мера для (Y

), то мера ,

определяемая соотношением (2.6.25), является инвариантной для

ц.м.н.в. (X

Д о к а з а т е л ь с т в о. Запишем равенство

в виде

− =

или

(

−

)

i : i

−

)

−





{z }

( Q)

Видим, что левая часть равна 0 тогда и только тогда, когда правая часть

равна 0.

Таким образом, если является инвариантной мерой для невзрывной

ц.м.н.в. (X

), причем

< ∞

, то

(

) является стацио

нарным распределением для (Y

), где

. (2.6.26)

Определение 2.6.14. Пусть (X

)

—

( , Q)

ц.м.н.в. (возможно, взрыв

ная). Состояния i, j

∈

I сообщаются в цепи (X

) тогда и только тогда,

когда i, j сообщаются в цепи скачков (Y

). Таким образом, разбиение на

классы в обоих цепях (X

) и (Y

) совпадают. В частности, будем говорить,

что ц.м.н.в. (X

) с параметрами ( , Q) (или ее Q

матрица) неприводима,

если она имеет единственный сообщающийся класс (который, таким об

разом, замкнут).

Представители всех сообщающихся классов, объединяйтесь!

(Из серии

Кое

что из политики

Теорема 2.6.15. Пусть (X

)

—

( , Q)-ц.м.н.в. (возможно, взрывная).

Состояния i, j сообщаются в цепи (X

) тогда и только тогда, когда

выполнено одно из следующих эквивалентных условий:

а) q

...q

−

0 (2.6.27)

294 Глава 2. Цепи Маркова с непрерывным временем

для некоторых состояний i

, i

, ..., i

б) p

(t)

∀

0. (2.6.28)

Д о к а з а т е л ь с т в о. б)

=⇒

а): если выполняется условие б),

то i и j сообщаются в цепи (Y

), а следовательно, и в (X

). То

гда p

(t) ... p

−

(t)

0 для всех t

0 и некоторой траектории i

, i

, ..., i

j. Значит, q

...q

−

0, т. е. выполняется а).

а)

=⇒

б): если выполняется условие а), то для любой пары i

−

и любого t

0 имеем

−

(t)

P (единственный скачок на (0, t); X

−

)

−

exp(

−

| {z }

й скачок в момент s

−

|{z}

скачок i

−

→

exp(

−

s))

| {z }

на (s, t) нет скачков

Рис. 2.50

Тогда

(t)





...p

−





откуда следует условие б).

Состояния всех классов, сообщайтесь!

(Из серии

Кое

что из политики

Приведем без доказательства следующее утверждение: каждая счет

ная цепь Маркова с непрерывным временем (взрывная или нет) обладает

§ 2.6. Инвариантные распределения счетных цепей Маркова. Цепь скачков 295

марковским и строго марковским свойствами в точности в той же форму

лировке, что и в теоремах 2.2.2 и 2.2.3 для конечных ц.м.н.в.

В заключение заметим, что

склеивание

нескольких состояний в одно

(в ц.м.д.в. или ц.м.н.в.) может сохранять или разрушать марковское свой

ство. Это иллюстрируется следующим примером.

Пример 2.6.16. а) Рассмотрим ц.м.н.в. (X

) с состояниями

{

1, 2, 3, 4

}

и Q

матрицей







−

2 0 0 2

−

3 2 0

0 2

−

2 0

1 5 2

−







Положим

(

, если X

∈{

1, 2, 3

}

2, если X

(2.6.29)

(

, если X

∈{

1, 2, 3

}

1, если X

(2.6.30)

Являются ли процессы (Y

)

и (Z

)

цепями Маркова?

б) Найдите стационарное распределение цепи (X

)

, заданной в п.

а). Предположим, что X

1. Найдите вероятность того, что X

1 при

некотором t

Рис. 2.51

Решение. Переход от (X

) к (Y

) состоит в

склеивании

состояний 2

и 4 в одно состояние, которое мы обозначим 2

∗

4, см. рис. 2.51. Ясно, что

для проверки того, что (Y

)

—

цепь Маркова, достаточно установить, что

время пребывания J

∗

4) в состоянии 2

∗

4 является экспоненциальным

(нетрудно догадаться, что это распределение Exp(3)). В ц.м.н.в. (X

) время

296 Глава 2. Цепи Маркова с непрерывным временем

пребывания J

(2) в состоянии 2 распределено по закону Exp(3), а время

пребывания J

(4) в состоянии 4

—

по закону Exp(8). Пусть H

∗

—

момент n

го попадания в склеенное состояние 2

∗

4 в процессе (Y

). Тогда

состояние X

∗

цепи (X

) в момент H

∗

4) может быть 2 или 4. Таким

образом,

P (J

∗

P (J

∗

x, X

∗

P (J

∗

x, X

∗

4).

Действительно, неравенство J

∗

x означает, что процесс (Y

) не

прыгает в интервале времени (H

∗

4), H

∗

x). Но если X

∗

2, то процесс (X

) не прыгает в интервале (H

∗

4), H

∗

x). Таким

образом,

P (J

∗

x, X

∗

P (X

∗

2) P (J

∗

P (X

∗

P (X

не прыгает в интервале (H

∗

4), H

∗

P (X

∗

2)e

−

Аналогичным образом,

P (J

∗

x, X

∗

P (X

∗

[P (X

не прыгает в интервале (H

∗

4), H

∗

P (X

имеет единственный скачок 4

→

2 в интервале

∗

4), H

∗

4)].

Сумма в квадратных скобках равна

−

3(x

−

)

−

Таким образом,

P (J

∗

−

[P (X

∗

P (X

∗

4)]

−

поскольку сумма в квадратных скобках равна 1. Это означает, что (Y

)

является цепью Маркова с Q

матрицей вида

−

2 2 0

−

3 2

0 2

−

∗

§ 2.6. Инвариантные распределения счетных цепей Маркова. Цепь скачков 297

Из этих вычислений видно, что этот факт справедлив потому, что цепь (X

)

имеет такую же интенсивность скачков из состояния 2 в состояние 1 и 3,

как и из состояния 4 в те же состояния 1 и 3 (скачок из 4 в 2 игнорируется

при переходе от (X

) к (Y

)).

В отличие от этого (Z

) не является цепью Маркова, поскольку приве

денное выше свойство не выполняется для состояния 1 и 4. Действительно,

зададим s, t

0 и выпустим оба процесса (Z

) и (X

) из состояния 2. Тогда

P (Z

∗

4, Z

P (Z

3, Z

∗

P (Z

∗

P (X

3, X

P (X

3, X

P (X

2) P (X

P (X

2) P (X

P (X

−

Здесь q обозначает отношение

P (X

)

Аналогично, выпуская процессы (X

) и (Z

) из состояния 3, получаем

P (Z

∗

4, Z

P (Z

3, Z

∗

P (Z

∗

P (X

−

где

P (X

)

Но отношения q и r не равны тождественно:

)

6≡

)

т. е. условная вероятность P (Z

∗

4, Z

i) зависит от i и

условие Z

i не может быть отброшено.

Проверим, что q

6≡

r, рассматривая случай малого s: s

→

. Полезно

вычислить матрицы







6 10 4

−

5 13

−

10 2

−

10 8 0

−

10 66







, Q







−

122

−

28 172

−

49 50

−

14 46

−

36 4

25 463 50

−

538







298 Глава 2. Цепи Маркова с непрерывным временем

(нам нужны только элементы Q

, (Q

)

, (Q

)

и (Q

)

). Отметим, что

)

→

, s

→

Более точно, элементы (e

)

, (e

)

, (e

)

и (e

)

допускают следу

ющее разложение

)

O(s

)

O(s

)

O(s

)

O(s

)

O(s

)

O(s

)

(Q)

O(s

)

O(s

Из этих формул вытекает, что

≈

s, r

≈

б) Уравнения детального баланса для цепи (Y

) имеют вид:

∗

Единственное нормированное решение

5, 2

5) задает стаци

онарное распределение для (Y

). Стационарное распределение для (X

)

удовлетворяет условиям:

∗

. Легко видеть,

что





Заметим, что P (X

1), поскольку состояние 1

в обоих цепях (X

) и (Y

) совпадает. Собственные значения Q

матрицы

для цепи (Y

) находятся из уравнения

det

−

2 0

−

0 2

−

и равны 0,

−

2 и

−

5. С помощью стандартной диагонализации находим

элемент p

(t) переходной матрицы P

(t)

exp(tQ

) в виде

(t)

−

, t

§ 2.6. Инвариантные распределения счетных цепей Маркова. Цепь скачков 299

Константы A, B и C удовлетворяют соотношениям:

(0)

−

(0)

= −

2, A

(

∞

)

т. е. B

3, C

15. Окончательный ответ:

P (X

P (Y

−