Кельберт М.Я., Сухов Ю.М. Вероятность и статистика в примерах и задачах. Том 2. Марковские цепи как отправная точка теории случайных процессов и их приложения

Подождите немного. Документ загружается.

300 Глава 2. Цепи Маркова с непрерывным временем

§ 2.7. Времена и вероятности достижения. Возвратность

и невозвратность. Положительная и нулевая

возвратность

Рабочим нечего терять [в этой революции], кроме своих цепей.

K. Маркс (1818

–

1883), немецкий философ

Мы начнем этот параграф со следующего определения.

Определение 2.7.1. Пусть (X

)

—

( , Q)

ц.м.н.в. (возможно, взрыв

ная). Пусть A

⊂

—

это некоторое подмножество состояний. Момент

(первого) достижения H

(для ц.м.н.в. (X

)) определяют следующим

образом:

(

inf[t

0: X

∈

A], если X

∈

A для некоторого t

∞

, если X

∈

∀

(2.7.1)

Для того чтобы подчеркнуть связь с (X

) или (Y

), будем использовать

обозначения H

и H

Повторим определение времен скачков.

Определение 2.7.2. Времена последовательных скачков процесса (X

)

определяются как

0, J

inf[t

0: X

], J

inf[t

: X

], ... (2.7.2)

Чтобы подчеркнуть, какой процесс их порождает, мы часто будем писать

, J

, ...

Если процесс (X

) невзрывной, то, очевидно,

< ∞

, если и только если H

< ∞

; действительно, H

. (2.7.3)

Вероятности достижения определяются так же, как и в случае

дискретного времени:

< ∞

)

P (H

< ∞ |

P (H

< ∞|

i). (2.7.4)

Как и в предыдущих параграфах, P

обозначает распределение вероят

ностей ц.м.н.в. с начальным распределением

, т. е. цепи, выходящей из

состояния i. Аналогично E

означает математическое ожидание относи

тельно вероятностной меры P

Рассмотрим вектор

столбец h

), компоненты которого

—

это ве

роятности достижения при различных начальных состояниях.

§ 2.7. Времена и вероятности достижения. Возвратность и невозвратность 301

Теорема 2.7.3. Пусть (X

)

—

это ( , Q)-ц.м.н.в. (возможно, взрыв-

ная). Предположим, что q

0 для любых состояний i. Вектор h

задает минимальное неотрицательное решение следующей системы

уравнений:







1, i

∈

)

0, i

∈

(2.7.5)

Д о к а з а т е л ь с т в о. Случай i

∈

A очевиден: h

(попасть в A)

1. Поэтому пусть i

6∈

A. Тогда для (

цепи скачков (Y

) условно, по

первому скачку, можно записать

j : j

, т. е.

−

, или (Qh

)

Таким образом, h

всегда является неотрицательным решением. Мини

мальность доказывается точно так же, как и в случае дискретного време

ни.

Замечание 2.7.4. Заметим, что h

≡

1, т. е. вектор h

1 всегда является

неотрицательным решением, поскольку

(Q1)

∀

(сумма элементов i

й строки матрицы Q). Но это решение не всегда ми

нимально.

Определение 2.7.5. Далее определим средние времена достижения:

E (H

i). (2.7.6)

Заметим, что k

могут быть бесконечными.

Теорема 2.7.6. Пусть (X

)

—

это ( , Q)-ц.м.н.в. (возможно, взрыв-

ная). Предположим, что q

0 для всех состояний i. Вектор-столбец

представляет собой минимальное неотрицательное решение

(возможно, с некоторыми бесконечными элементами k

= +∞

) си-

стемы







0, i

∈

(

)

, i

6∈

(2.7.7)

Если k

< +∞ ∀

i, то k

) является решением системы







0, i

∈

(Qk

)

= −

1, i

6∈

(2.7.8)

302 Глава 2. Цепи Маркова с непрерывным временем

Д о к а з а т е л ь с т в о. Равенство k

0 для i

∈

A тривиально. Если

∈

A, то H

, где J

—

время первого скачка цепи (X

), и условно,

по первому скачку, можно записать

E [E

состояние цепи после момента J

)]

E [E

−

)

состояние цепи после момента J

)]

в силу строго марковского свойства. Отсюда следует соотношение (2.7.7).

Если известно, что все компоненты k

конечны, то можно переносить

слагаемые из левой части в правую и наоборот. Умножение на q

приводит

к соотношению (2.7.8).

Докажем минимальность. Пусть g

)

—

произвольное решение. То

гда g

0 для i

∈

A. Если i

∈

A, положим J

0, и пусть J

, J

, ...

—

это моменты последовательных скачков. (Индекс X, указывающий на связь

с (X

), будем опускать.) Разделив на q

, перегруппируем слагаемые и по

лучим, путем итераций уравнения, что g

равно

−

∈

−

)

∈



−

∈



[(J

−

)1(H

1)]

[(J

−

)1(H

2)]

j,k

∈

...

[(J

−

)1(H

1)]

[(J

−

)1(H

...

[(J

−

)1(H

n)]

,...,j

∈

Если g

0, то последняя сумма неотрицательна для любого n. Тогда для

∧

min [n, H

] находим

[(J

−

)1(H

k)]

∧

−

∧

, при n

→∞

Замечание 2.7.7. Существуют примеры, в которых средние времена

(

0, i

∈

+∞

, i

∈

(2.7.9)

§ 2.7. Времена и вероятности достижения. Возвратность и невозвратность 303

см. пример 1.3.5. Ясно, что k

из уравнений (2.7.9) задают неотрицательное

решение уравнения (2.7.7). Обратно, если любое неотрицательное решение

(2.7.7) имеет вид (2.7.9), то E

≡+∞

, i

∈

Определение 2.7.8. Пусть (X

)

—

( , Q)

ц.м.н.в. (возможно, взрыв

ная). Состояние i

∈

I называют возвратным (соответственно невозврат-

ным) для ц.м.н.в. (X

), если

(sup[t

0: X

= ∞

)

(цепь (X

) попадает в состояние i в сколь угодно

большие моменты времени)

1 (соответственно 0). (2.7.10)

Замечание 2.7.9. Если цепь (X

) взрывается, выходя из состояния i,

то состояние i является невозвратным.

Теорема 2.7.10. Пусть (X

)

—

( , Q)-ц.м.н.в. (возможно, взрывная).

Предположим, что q

0 для любых состояний i. Тогда

а) любое состояние i

∈

I либо является возвратным, либо являет-

ся невозвратным для обеих цепей (X

) и (Y

) одновременно;

б) каждое состояние ц.м.н.в. (X

) является либо возвратным, либо

невозвратным;

в) возвратность и невозвратность являются свойствами класса

для ц.м.н.в. (X

)

Д о к а з а т е л ь с т в о. а) Пусть состояние i является возвратным для

), т. е. выходя из i, цепь Y

попадает в состояние i бесконечно

часто. Тогда (X

) не взрывается, выходя из i (время взрыва содержит

бесконечно много времен пребывания в i):

взр

< ∞

)

∞

(i)

< ∞

поскольку

(i)

, S

(i)

··· ∼

Exp(q

) и с.в. S

(i)

, S

(i)

, ... независимы.

Заключаем, что P

%∞

)

1, а также Y

i бесконечно часто.

Отсюда следует, что существуют неограниченно большие t, для которых

i. Следовательно, i является возвратным для (X

Предположим теперь, что состояние i является невозвратным для (Y

Тогда при том условии, что X

i, имеем

(

sup[n: Y

< ∞

)

Но эту вероятность можно записать в виде

(

sup[t: X

< ∞

304 Глава 2. Цепи Маркова с непрерывным временем

Следовательно, состояние i является невозвратным для (X

), и утвержде

ние а) доказано.

Утверждение б) следует из утверждения а) для ц.м.н.в. (X

), поскольку

оно выполняется для ц.м.д.в. (Y

). Для доказательства п. в) используются

те же рассуждения.

Теорема 2.7.11. Пусть (X

)

—

( , Q)-ц.м.н.в. (возможно, взрывная).

Для заданного состояния i имеет место следующая дихотомия.

Либо а) q

0 (поглощение), или P

< ∞

)

1; тогда состояние

i является возвратным и

∞

(t) dt

= ∞

. Здесь и ниже

inf[t

: X

—

время возвращения в i для цепи (X

); (2.7.11)

либо б) q

0 и P

< ∞

)

1; тогда состояние i является невоз-

вратным и

∞

(t) dt

< ∞

Д о к а з а т е л ь с т в о. Случай q

0 тривиален, предположим поэтому,

что q

0. Если T

—

это время возвращения в i для цепи (Y

), то события

совпадают,

{

< ∞} = {

< ∞}

, и

< ∞

)

< ∞

В силу теоремы 2.7.10 а состояние i является возвратным (соответственно

невозвратным) тогда и только тогда, когда P (T

< ∞

)

1 (соответственно

P (T

< ∞

)

1). Наконец,

∞

(t) dt

∞

[1(X

i)] dt

∞

1(X

i) dt



−

)1(Y



E (S

(i)

i) P

P (Y

(n)

Приходим к заключению, что

∞

(t) dt

= ∞

тогда и только тогда, когда

сумма

(n)

= ∞

. Теорема доказана.

Замечание 2.7.12. Как и в случае дискретного времени, если h

{

}

(цепь попадает в i)

∀

i, то состояние i является возвратным.

§ 2.7. Времена и вероятности достижения. Возвратность и невозвратность 305

Рис. 2.52

В противном случае состояние i может быть либо возвратным, либо

невозвратным (оно невозвратно, если h

(i)

1 для некоторого j

i и цепь

неприводима). Точнее,

(время возвращения T

< ∞

)

j : j

(i)

1, если h

(i)

≡

1, j

но эта вероятность может быть меньше 1, если

{

}

для некоторого

i. Действительно, если цепь неприводима и h

{

}

1 для некоторого j

i, то можно выбрать такое n, что

(n)

0. Записав

(существуют неограниченно большие моменты времени,

когда цепь попадает в состояние i)

(n)

{

}

(n)

1 (так как h

{

}

1),

видим, что состояние i является невозвратным.

Возвратность и невозвратность можно установить, рассмотрев дискре-

тизацию цепи (X

) с

шагом

, n

0, 1, ...; (Z

) является ( , P(h))

−

ц.м.д.в. (2.7.12)

Назовем (Z

) вложенной ц.м.д.в. с шагом h для цепи (X

Теорема 2.7.13. Для любого h

0 введем ц.м.д.в. Z

, тогда

для любого состояния i имеет место следующее утверждение:

i является возвратным (соответственно невозвратным)

для ц.м.н.в. (X

) тогда и только тогда, когда i является

возвратным (соответственно невозвратным) для ц.м.д.в. (Z

306 Глава 2. Цепи Маркова с непрерывным временем

Д о к а з а т е л ь с т в о. Если i является невозвратным для ц.м.н.в. (X

то это состояние является невозвратным для ц.м.д.в. (Z

), что очевидно.

Наоборот, если i является возвратным для ц.м.н.в. (X

), то для nh

1)h можно записать

((n

1)h)

(t)e

−

i и нет скачков на (t, t

h)).

Рис. 2.53

Следовательно,

∞

(t) dt

∞

(nh),

т. е. состояние i является возвратным и для ц.м.д.в. (Z

Определение 2.7.14. Предположим, что ( , Q)

ц.м.н.в. (X

) неприво

дима. Назовем цепь (X

) (или ее Q

матрицу) возвратной, если каждое

состояние i возвратно.

Теорема 2.7.15. Пусть матрица Q неприводима и возвратна. То-

гда инвариантная мера

, удовлетворяющая условию Q

0, един-

ственна с точностью то множителя.

Д о к а з а т е л ь с т в о. Случай, когда ц.м.н.в. имеет единственное по

глощающее состояние, тривиален, поэтому предположим, что q

0 для

всех i. Тогда матрица переходов для цепи скачков

, i

j) воз

вратна.

Ввиду теоремы 1.7.5 все инвариантные меры

(

) для ц.м.д.в. (Y

)

пропорциональны. Таким образом, для ц.м.н.в. (X

) все инвариантные меры

(

, также пропорциональны.

Теорема 2.7.16. Пусть ц.м.н.в. (X

) неприводима. Тогда если (X

)

возвратна, то она невзрывная, т. е. если J

...

—

моменты

скачков, то для всех состояний i выполняется равенство

( lim

→∞

= ∞

)

§ 2.7. Времена и вероятности достижения. Возвратность и невозвратность 307

Д о к а з а т е л ь с т в о. Для возвратной ц.м.н.в. (X

) любое состояние i

возвратно и для цепи скачков (Y

). Пусть S

(i)

, S

(i)

, ...

—

последовательные

времена пребывания в состоянии i. Тогда

lim

→∞

lim

→∞

(i)

...

(i)

)

= ∞

п. н.,

так как (S

(i)

)

—

н.о.р.с.в. с распределением Exp (q

Далее, будем предполагать, что ц.м.н.в. (X

) неприводима и все q

Таким образом, если ц.м.н.в. (X

) возвратна, то она невзрывная.

Напомним, что состояние i возвратно, если и только если P

< ∞

)

Определение 2.7.17. Будем говорить, что состояние i положительно

возвратно для ц.м.н.в. (X

), если

)

< ∞

, (2.7.13)

и нулевое возвратное, если

P (T

< ∞

)

1, но m

= ∞

. (2.7.14)

Здесь и далее E

обозначает математическое ожидание по вероятностной

мере P

ц.м.н.в., выходящей из i. Как мы увидим в теореме 2.7.18, если

цепь является неприводимой и возвратной, то имеет место дихотомия: либо

все состояния являются положительно возвратными, либо имеют нулевую

возвратность. В первом случае мы говорим, что цепь (или ее Q

матрица)

является положительно возвратной, во втором случае она имеет нулевую

возвратность.

Теорема 2.7.18. Пусть (

, Q)-ц.м.н.в. (X

) неприводима и возврат-

на. Тогда

а) или каждое состояние i положительно возвратно, или каждое

состояние i имеет нулевую возвратность.

б) Q-матрица является положительно возвратной тогда

и только тогда, когда она имеет (единственное) стационарное

распределение

(

), и

0 и m

∀

i. (2.7.15)

Д о к а з а т е л ь с т в о. Для заданного i запишем m

в виде

среднее время возвращений в i

среднее время пребываний в i

j : j

(среднее время, проведенное в j до возвращения в i).

308 Глава 2. Цепи Маркова с непрерывным временем

Первое слагаемое равно q

−

. Поэтому положим

, и пусть

(время, проведенное в j до возвращения в i)

1(X

j) dt

∞

1(X

j, J

) dt, j

i. (2.7.16)

Тогда

j : j

(

< ∞

, если состояние i положительно возвратно,

= ∞

, если состояние i имеет нулевую возвратность.

Таким образом определяем вектор

(

) (или

(

), поскольку он

зависит от выбора i).

Далее, если T

—

время возвращения в состояние i для цепи скач

ков (Y

), то



∞

−

)1(Y

j, n

)



∞

[(J

−

)

| {z }

−

j, 1

)

| {z }

1(Y

j,1

)



∞

1(Y

j, 1

)



−

1(Y

Здесь полагаем

1 и

−

1(Y

(время, проведенное в j цепью (Y

) до возвращения в i)

(число посещений состояния j перед возвращением в i) (2.7.17)

для j

i; ср. с уравнением (1.7.2). Будем писать

(

, j

∈

I), чтобы

подчеркнуть зависимость вектора

от выбора i.

§ 2.7. Времена и вероятности достижения. Возвратность и невозвратность 309

Если ц.м.н.в. (X

) возвратна, то ц.м.д.в. (Y

) также возвратна. Тогда по

теореме 1.7.1 для всех состояний i вектор

(

) задает инвариантную

меру для ц.м.д.в. (Y

) и 0

< ∞ ∀

j. Далее, все инвариантные меры

для (Y

) пропорциональны

. Поэтому вектор

(

, задает

инвариантную меру для ц.м.н.в. (X

); все такие инвариантные меры вновь

пропорциональны

. (В частности,

, для любых состояний i, k.)

Далее, если состояние i положительно возвратно, то

< ∞

Но тогда

< ∞ ∀

т. e. все состояния являются положительно возвратными. Аналогично если

i имеет нулевую возвратность, то таковы все состояния k. Мы получили,

что положительная возвратность и нулевая возвратность являются свой

ствами класса, т. е. установили утверждение а).

Если матрица Q положительно возвратна, то

задает (единственное) стационарное распределение .

Очевидно,

0 для любого состояния i. Более того,

, т. е.

(время, проведенное в j до возвращения в k)

; (2.7.18)

ср. с уравнением (1.7.10).

Обратно, если ц.м.н.в. (X

) имеет инвариантное распределение , то для

всех инвариантных мер

(

) справедливо неравенство

< ∞

, т. e.

для всех состояний i вектор

(

) удовлетворяет условию m

< ∞

. Таким образом, i положительно возвратно, откуда следует п. б).

Дадим краткое резюме свойств возвратности и невозвратности ц.м.н.в.

I. Неприводимые ц.м.н.в. с более чем одним состоянием имеют ин

тенсивности q

0 для всех состояний i (поглощение отсутствует).

II. Неприводимые невзрывные ц.м.н.в. могут быть невозвратными или

возвратными:

310 Глава 2. Цепи Маркова с непрерывным временем

а) в первом случае P

(время возвращения T

< ∞

)

1, т. e.

= ∞

)

0 для всех i, или, что эквивалентно, P

(i не

посещается цепью (X

) после некоторого конечного момента

времени)

1 и

∞

(t) dt

< ∞ ∀

i, или, что эквивалентно, h

{

}

(достичь i)

1 для некоторых j и i;

б) во втором случае P

(время возвращения T

< ∞

)

1, т. e.

= ∞

)

0, или, что эквивалентно, P

(существуют сколь

угодно большие моменты времени, в которые i посещается

цепью (X

))

1 и

∞

(t) dt

= ∞ ∀

i, или, что эквивалентно,

{

}

(достичь i)

∀

j и i; в этом случае для любого i

вектор

(

) из соотношения (2.7.15) удовлетворяет условию

< ∞

, что и задает инвариантную меру для ц.м.н.в. (X

);

все такие инвариантные меры имеют вид

; в частности,

(

)

−

∀

i, k.

III. Далее, неприводимая возвратная ц.м.н.в. может иметь

а) нулевую возвратность: m

(время возвращения T

)

= ∞ ∀

в этом случае не существует такой инвариантной меры

(

что

< ∞

; следовательно, в этом случае не существует ста

ционарного распределения;

б) положительную возвратность: m

< ∞ ∀

i; в этом случае для

всех инвариантных мер

< ∞

и существует единственное

стационарное распределение

(

), где

∀

в этом случае

и E

(время в j до момента T

)

∀

i, k.

Конечные неприводимые ц.м.н.в. всегда положительно возврат

ны.

IV. Неприводимые взрывные ц.м.н.в. всегда невозвратны.

Сформулируем без доказательства полезный результат о асимптотиче

ских пропорциях для ц.м.н.в.

Теорема 2.7.19. Пусть (X

)

—

неприводимая положительно воз-

вратная (

, Q)-ц.м.н.в. со стационарным распределением

(

§ 2.7. Времена и вероятности достижения. Возвратность и невозвратность 311

Тогда для любых состояний i

1(X

i) ds

доля времени, проведенного в i на отрезке (0, t)

п. н.

−−→

среднее время, проведенное в i

среднее время возвращения в i

(2.7.19)

при t

→∞

. Справедливо также соотношение для среднего

1(X

i) ds

P (X

i) ds

→

. (2.7.20)

В частности, для неприводимой положительно возвратной

(

, Q)-ц.м.н.в.

1(X

i) ds

(s) ds

→

, (2.7.21)

откуда видно, что интеграл

(s) ds линейно растет при t

→∞

Замечание 2.7.20. Уравнение (2.7.20) можно вывести из утверждения

теоремы 2.8.1 ниже; см. уравнение (2.8.1).

Remember this: if something possesses a frequency,

then it will eventually occur with that frequency.

(Из серии

Так говорил суперлектор

Пример 2.7.21. а) Рассмотрим ц.м.н.в.: (X

)

с состояниями

{

1, 2, 3, 4, 5, 6, 7

}

и генератором







−

6 2 0 0 0 4 0

−

3 0 0 0 1 0

0 1

−

5 1 2 0 1

0 0 0 0 0 0 0

0 2 2 0

−

6 0 2

1 2 0 0 0

−

3 0

0 0 1 0 1 0

−







Вычислите вероятность того, что процесс, выходя из состояния 3, когда

нибудь попадет в состояние 2.

312 Глава 2. Цепи Маркова с непрерывным временем

Получите, что

lim

→∞

P (X

б) Группа клеток состоит из молодых и взрослых клеток. Спустя неко

торое время (экспоненциально распределенное с параметром 2) каждая

молодая клетка становится взрослой. Спустя некоторое время (распреде

ленное по Exp(3)) взрослая клетка делится на 2 молодые. Предположим,

что вначале имеется одна молодая клетка, и пусть n(t)

—

среднее число

молодых клеток в момент t. Покажите, что

n(t)

(4e

−

)

Решение. а) Состояния 1, 2, 6 образуют замкнутый сообщающийся

класс; если ц.м.н.в. (X

) туда попадает, то остается там навсегда. Другой

замкнутый сообщающийся класс состоит из состояния 4; состояния 3, 5, 7

образуют открытый сообщающийся класс. Из состояния 3 можно попасть

{

1, 2, 6

}

только через состояние 2; см. рис. 2.54.

Рис. 2.54

Положим h

(попасть в 2). Тогда

поэтому

10h

, 5h

или

, 6h

4 и h

§ 2.7. Времена и вероятности достижения. Возвратность и невозвратность 313

Благодаря симметрии цепь скачков на

{

1, 2, 6

}

имеет инвариантную меру

(1, 1, 1), и, рассуждая стандартным образом, мы получаем, что ц.м.н.в.

)

имеет стационарное распределение (

). Таким образом,

lim

→∞

P (X

3 2

б) Обозначим через m(t) среднее число взрослых клеток в момент

t при условии, что изначально в момент 0 была одна молодая клетка.

Рассматривая условные вероятности по первому событию, мы получим,

что среднее число n(t) молодых клеток в момент t равно

n(t)

−

m(t

−

s) ds

m(t)

−

2n(t

−

s) ds.

Значит,

n(t)

m(u)du,

m(t)

n(u)du

2m,

6n,

12n

−

12n

−

6n.

Таким образом,

−

0, n(0)

n(0)

= −

Значит,

n(t)

−

, где 1

−

6B.

Тогда

−

6A, 7A

4, откуда следует, что A

, B

314 Глава 2. Цепи Маркова с непрерывным временем

Пример 2.7.22. Частица совершает непрерывное во времени блужда

ние по ближайшим точкам на правильной треугольной решетке внутри угла

величиной

3, причем выходит из вершины угла. Интенсивности скачков

из этого угла решетки равны 1

3. В дальнейшем, если частица находится

внутри угла, то интенсивности равны 1

6 в любом из 6 направлений. Одна

ко если частица попадает на сторону угла, то она двигается по этой стороне

угла в направлении от вершины с интенсивностью 1

3 и с интенсивностью

6 в любую из трех оставшихся вершин внутри угла; см. рис. 2.55.

Рис. 2.55

В момент времени t

0 положение частицы определяется ее верти

кальным уровнем V

и ее горизонтальной позицией G

; если V

k, то

0, ..., k. Здесь 1, ..., k

−

—

позиции внутри угла, а 0 и k

—

позиции

на стороне угла на вертикальном уровне k.

Пусть J

, J

, ...

—

моменты последовательных скачков процесса (V

Рассмотрим вложенный процесс с дискретным временем

(

) и Y

out

(

out

где 1)

—

вертикальный уровень сразу же после момента J

, 2)

—

горизонтальный уровень сразу же после момента J

, 3)

out

—

горизон

тальный уровень непосредственно перед моментом J

а) Поясните, почему (Y

) и (Y

out

) являются цепями Маркова.

б) Докажите, что (

)

—

ц.м.д.в. с переходными вероятностями

P (

−

2(k

, P (

−

2(k

§ 2.7. Времена и вероятности достижения. Возвратность и невозвратность 315

а (V

)

—

ц.м.н.в. с интенсивностями

−

3(k

, q

= −

, q

3(k

Определите, являются ли ц.м.д.в. (

) и ц.м.н.в. (V

) невозвратными, по

ложительно возвратными или они имеют нулевую возвратность.

в) Предположим, что при условии, что фиксированы

k и после

довательность пройденных ранее вертикальных уровней, горизонтальные

позиции

out

равномерно распределены на

{

0, ..., k

}

, т. e. для всех

достижимых значений k, k

−

, ... , k

и всех i

0, ..., k выполняется ра

венство

P (

−

, ...,

)

P (

out

−

, ...,

)

. (2.7.22)

Выведите, что тогда ц.м.д.в. (

) и ц.м.н.в. (V

) имеют переходные вероят

ности, указанными в п. б).

Наконец, докажите свойство (2.7.22) для ц.м.д.в. (Y

) и ц.м.н.в. (Y

out

Решение. а) С.в. (Y

) образуют ц.м.д.в., поскольку вероятность пере

хода из состояния Y

−

, k

−

) в состояние Y

, k

) полностью

определяется парой (i

−

, k

−

) и не зависит от предыдущих значений Y

−

, ... То же справедливо и для с.в. (Y

out

). Заметим, что

−

т. e. скачок всегда происходит на ближайший соседний вертикальный уро

вень.

б) Выведем формулу для вероятностей достижения

P (

попадет в 0

i), i

0, 1, ... , h

Если мы покажем, что h

1, то автоматически получим, что

P (

возвратится в 0

т. e. 0 является невозвратным состоянием. Так как ц.м.д.в. (

) неприво

дима, она невозвратна.

Рассмотрим уравнения для вероятностей достижения:

−

, k

и перепишем их в терминах разностей

−

316 Глава 2. Цепи Маркова с непрерывным временем

Получим u

, т. e.

−

1) ...1

1)k ...3

k(k

Тогда, как обычно,

=−

−

...

−

) [1

1)l

]

2(1

−

)

l(l

и минимальное решение равно

−

l(l



∞

m(m

, k

Поэтому

−





∞

m(m



Таким образом, ц.м.д.в. (

) невозвратна. Так как эта цепь является

цепью скачков для (V

), получаем, что ц.м.н.в. (V

) также невозвратна.

в) Ввиду соотношения (2.7.22) запишем

P (

−

, ...,

−

P (

out

−

, ...,

−

P (

out

−

, ...,

0).

Далее,

P (

out

−

, ...,











4, если j

0 или k

−

и k

−

4, если j

0 или k

−

и k

−

2, если j

1, ..., k

−

Мы использовали вероятности скачков

{

4, 1

}

{

2, 1

4, 1

}

полученных из интенсивностей

{

6, 1

}

{

3, 1

§ 2.7. Времена и вероятности достижения. Возвратность и невозвратность 317

Рис. 2.56

6, 1

}

после отбрасывания интенсивностей в горизонтальных направ

лениях, см. рис. 2.56.

Теперь

P (

−

k, ...,

P (

−

k, ...,

т. e. с.в. (

) образуют ц.м.д.в., как и предполагалось. Следовательно, с.в.

) образует ц.м.н.в. Времена пребывания распределены экспоненциально

∼

Exp(2

3), а интенсивности переходов определяются соотношением











, если l

−

, если l

и q

= −

3; см. рис. 2.57.

Рис. 2.57

Докажем соотношение (2.7.22) индукцией по n: при n

1 предположе

ние, очевидно, выполнено для

out

, а также для

, поскольку вероятности

318 Глава 2. Цепи Маркова с непрерывным временем

переходов из угла равны 1

2. Далее, запишем

P (

−

, ...,

P (Y

(i, k)

−

, ...,

P (

−

, ...,

. (2.7.23)

Чтобы завершить индукцию для

, достаточно проверить, что числитель

P (Y

(i, k)

−

, ...,

0) (2.7.24)

не зависит от i

0, ..., k

−

Как мы заметили выше, значение k может равняться k

−

1 или

−

1. Представим выражение в правой части равенства (2.7.23) как

сумму

−

P (Y

(i, k),

out

−

, ...,

0). (2.7.25)

По предположению индукции условное распределение

out

−

равномерно.

Далее, заметим, что число ненулевых слагаемых в сумме (2.7.25) равно

1 или 2, в зависимости от i. Тем не менее, коэффициенты могут быть

подобраны так, что сумма не будет зависеть от i. Точнее, рассуждая как

и выше, получим, что сумма (2.7.25) равна

P (

−

, ...,











−

, если k

−

1 и i

0 или k,





−

, если k

−

1 и i

1, ..., k

−





−

, если k

−

1 и i

0, ..., k.

Мы видим, что вероятность (2.7.23) действительно не зависит от i, что

доказывает равенство

P (

−

, ...,

)

, i

0, ..., k.

Остается проверить аналогичное равенство для

out

. Но между мо

ментами времени J

и J

случайное блуждание совершает только гори

зонтальные скачки, оставаясь на вертикальном уровне k

k. Эти скачки

§ 2.7. Времена и вероятности достижения. Возвратность и невозвратность 319

имеют одинаковую интенсивность 1

6 и сохраняют равномерное распре

деление. (Горизонтальное случайное блуждание обратимо, и равномерное

распределение удовлетворяют уравнениям детального баланса с семей

ством постоянных интенсивностей.) Таким образом, условное распреде

ление

out

также равномерно.