Кельберт М.Я., Сухов Ю.М. Вероятность и статистика в примерах и задачах. Том 2. Марковские цепи как отправная точка теории случайных процессов и их приложения

Подождите немного. Документ загружается.

260 Глава 2. Цепи Маркова с непрерывным временем

Рис. 2.37

−

(t))

= −

(t) (p

(t)

−

(t))

o(1).

При h

→

0 получаем

(t)

= −

(t) (p

(t)

−

(t)). Кроме того, p

(0)

По индукции находим решение

(t)

(

(t))

−Λ

(t)

Здесь

(s, t)

(u) du.

Действительно, (N

)

∼

НПП ( (t)), поскольку приращения N

−

∼

Po(

(s, t)) и независимы на непересекающихся интервалах.

Пример 2.4.3. Полезно иметь в виду, что процесс НПП ( (t)) может

быть получен из процесса Пуассона с постоянной интенсивностью 1 с по

мощью замены времени

7→ Λ

(0, t)

(u) du. (2.4.8)

Это означает следующее. Предположим, что (t)

—

это непрерывная по

ложительная функция такая, что

∞

(t)dt

= ∞

. Пусть (N

) является

процессом ПП (1). Положим

НО

(0,t)

, t

Тогда (N

НО

) является процессом НПП ( (t)). В частности, процесс ПП ( )

получаем в результате замены времени t

7→

Самый простой способ проверить этот факт

—

использовать инфини

тезимальное определение б): образ процесса ПП (1) при указанной замене

времени имеет независимые приращения на непересекающихся интерва

лах, и для этого процесса вероятности отсутствия скачка и единственного

§ 2.4. Неоднородный процесс Пуассона 261

скачка на [t, t

h) будут соответственно равны 1

−

(t)h

o(h) и (t)h

o(h)

при h

Пример 2.4.4 (процессы рекордов). НПП играют важную роль в раз

личных приложениях (физике, технике, биологии), когда распределение

времени жизни зависит от текущей позиции на временной оси. Рассмотрим

здесь одно приложение НПП, касающееся рекордных значений, или ре-

кордов. Пусть X

, X

, . . .

—

последовательность н.о.р.с.в. с непрерывной

строго возрастающей функцией распределения F. Назовем X

рекордным

значением, если

max

{

, . . . , X

−

}

Тогда последовательность рекордных значений образует неоднородный

процесс Пуассона; найдем его интенсивность.

Рассмотрим сначала функцию распределения случайной величины

F(X

∀

F(X

)

(x)

P (F(X

)

P (X

−

(x))

F(F

−

(x))

x, (2.4.9)

где F

−

—

функция, обратная к F (которая существует при введенных

предположениях относительно F). Тогда

−

ln(1

−

F(X

))

∼

Exp(1).

Пусть теперь V

—

это последовательные рекордные значения:

0, V

, V

1(X

, . . . , X

−

) и т. д.

(2.4.10)

Рассмотрим процесс рекордов (R

)

число



1: V



, t

0. (2.4.11)

Схема, по которой получается новое значение рекорда после того, как уже

имеется последовательность, скажем n предыдущих рекордных значений

. . .

величин X

, . . . , X

, такова: мы либо сразу имеем X

, либо появляется некоторое число m

1 неудачных попыток X

. . . , X

, а затем X

. Следовательно,

P (новый рекорд

предыдущие рекорды x

. . .

)

F(x

)

−

F(x

y))

−

F(x

−

F(x

)

независимо от значений n и x

, . . . , x

−

В частном случае, когда F(x)

−

, находим для n

го времени

пребывания S

−

P (S

−

x, . . . , V

)

−

262 Глава 2. Цепи Маркова с непрерывным временем

Таким образом, S

∼

Exp(1) и не зависит от S

, . . . , S

−

. Следовательно,

) является процессом ПП (1).

В общем случае, вышеуказанная вероятность равна

−

F(x

−

F(x)

−

(

−Λ

(x))

exp



−

(s) ds



Здесь

(t)

(s) ds

= −

ln[1

−

F(t)] при (t)

f(t)

−

F(t)

где f(t)

(t)

—

плотность распределения X

. Следовательно, (R

) явля

ется НПП с интенсивностью

(t). Он превращается в стандартный процесс

Пуассона если заменить X

∼

F на

−

ln(1

−

F(X

))

∼

Exp(1).

Как уже упоминалось, важный вклад в теорию цепей Маркова (и более общих случайных

процессов) был внесен Джозефом Дубом (1910

–

2004) и Уильямом Феллером (1906

–

1970),

двумя знаменитыми американскими математиками. Оба, и Дуб, и Феллер, были родом из

Восточной Европы, и оба были неординарными личностями с сильным чувством юмора

и задатками лидеров. Приведем хорошо известную историю о появлении термина

случайная

величина

, постоянно употребляемого в этом томе, как и в томе 1. Термин

random variable

стал общепринятым в англоязычной литературе в конце 1940

х гг., когда Дуб и Феллер

работали над своими монографиями, сформировавшими теорию случайных процессов, какой

мы знаем ее сегодня. (В англоязычной литературе термин

random variable

появляется

в статье A. Winter

On analytic convolutions of Bernoulli distributions

(American Journ.

Math. 1934. V. 56. P. 659

–

663), но Кантелли использовал его по итальянски уже в 1916 г.)

По версии Дуба, выяснилось, что он и Феллер используют различную терминологию в своих

подготавливаемых к печати монографиях. Феллер утверждал, что все говорят

random vari

able

(случайная величина), а Дуб считал, что все говорят

chance variable

(стохастическая

величина). Решение было принято с помощью стохастической процедуры: они подбросили

монету, и Феллер выиграл. Однако Дуб назвал свою книгу

Stochastic processes

(

Сто

хастические процессы

), а не

Random processes

(не

Случайные процессы

) (видимо,

их джентльменское соглашение не распространялось далее концепции одной величины).

Отметим, что в российской (советской) вероятностной школе безболезненно использовался

общеупотребительный термин

случайная величина

, появившийся в середине 1920

х. Этот

термин своеобразно объединяет обе англоязычные; возможно также, что, поскольку Колмо

горов был общепризнанным лидером российского вероятностного сообщества, его вердикт

был окончательным.

Фамилия Дуба (Doob) это модификация слова

Дуб

(Dub), что на чешском и других

славянских языках означает дерево дуб. Его отец сменил фамилию, когда семья эмигриро

вала в США, чтобы избежать шуток окружающих

. Широкой вероятностной аудитории Дуб

запомнился, среди прочего, уникальным свойством избегать ошибок. Например, насколько

известно авторам, в вышеупомянутом толстом томе

Стохастических процессов

не было

найдено ни одной ошибки, даже ни одной опечатки, к удивлению русских переводчиков

Dub по

английски означает тупой.

§ 2.5. Процессы рождения и гибели. Взрыв 263

и прилежных читателей, известных своими способностями находить ошибки в любом предо

ставленном математическом тексте.

Ситуация с Феллером иная. Его получившая заслуженное признание двухтомная моно

графия

Введение в теорию вероятностей и ее приложения

содержала множество ошибок

(большинство из которых было поправимо, и многие из которых были исправлены самим

автором в позднейших изданиях). В 1960

х гг. эти ошибки привлекали внимание как авторов,

так и читателей стенной газеты механико

математического факультета Московского госу

дарственного университета. Газета называлась

За передовой факультет

; она выпускалась

(издание было прекращено в 1990 г.) с некоторой периодичностью и была проводником офи

циальной политики партийного бюро, профсоюзного комитета и руководства факультета (из

этих трех образований в настоящее время сохранилось лишь последнее). Статьи печатались

на машинке, а иногда были написаны от руки и наклеивались на плотный белый ватман

(предназначенный, в принципе, для технических чертежей и выпускаемый в больших коли

чествах для нужд советской промышленности). В периоды политических оттепелей издатели

газеты могли позволить авторам занять более свободную позицию, интерпретируемую как

советская сатира и юмор. Официально это было направлено на

искоренение существующих

преград на пути нашего прогресса

, а неофициально на то, чтобы развлечь (и привлечь)

читателей. И действительно, многие математики и ученые других специальностей редко про

пускали случай прочесть свежий номер этой стенгазеты; многие часами добирались даже из

Подмосковья (в общем, по нашим предположениям, газета была эквивалентом современного

интернета). Некоторые статьи вызывали оживленные профессиональные или общественные

дискуссии и имели значительное влияние на математическую жизнь в Москве. Одна серия

(анонимных) статей появлялась в газете периодически, общим числом где

то дюжину раз

или около того, и постоянное название пародировало риторику времен холодной войны,

господствовавшую в советской прессе тех лет. Название звучало так:

Свежая ошибка

американского автора

, и статья всегда начиналась словами

Наши читатели обнаружили

новую ошибку американского автора Феллера

. В недавно вышедшей книге

Колмогоров

в воспоминаниях учеников

(М.: МЦНМО, 2006) этот эпизод описывается несколько иначе,

хотя два представленных рассказа также отличаются друг от друга.

§ 2.5. Процессы рождения и гибели. Взрыв

And such a yell was there,

Of sudden and portentous birth,

As if men fought upon the earth,

And ﬁends in upper air;

Oh, life and death were in the shout...

В. Скотт (1771

–

1832), шотландский писатель и поэт

И сразу шум такой,

Как будто злобна и слепа

Воюет дьяволов толпа

Там, в туче над землей!

И смерть, и жизнь

—

всё в крике том...

Пер. С. Я. Маршака

Другое полезное обобщение процесса Пуассона получают, предполо

жив, что независимые времена пребывания распределены экспоненциаль

264 Глава 2. Цепи Маркова с непрерывным временем

но:

∼

Exp(

), (2.5.1)

где

0 зависит от состояния k. (Если

0, то состояние являет

ся поглощающим и S

= ∞

. Процесс прекращает развиваться, попадая

в такое состояние.) Это обобщение приводит к процессу рождения с ин

тенсивностями (

) (обозначим его кратко ПР (

)). См. рис. 2.38.

Рис. 2.38

Являясь ц.м.н.в., процесс ПР (

) представляет собой процесс с про

странством состояний

и Q

матрицей







−

0 0

0 0 . . .

−

1 1

0 0

−

2 2

. . .







. (2.5.2)

Можно ожидать, что, как и в случае процесса ПП (

), матричная экспо

нента

P(t)

∞

(tQ)

будет задавать переходные вероятности этого процесса. Более удобно,

однако, начать с определения, которое обобщает характеризации б) и в)

процесса ПП (

Определение 2.5.1. Пусть

, . . .

0. Процесс рождения с ин

тенсивностями

, . . . , выходящий из состояния i

∈ Z

—

это

неубывающий процесс (N

, t

0) с начальным состоянием N

и значениями в

, который может быть охарактеризован двумя экви

валентными способами:

б) как такой процесс, что для любых t

0 и i

∈ Z

при условии N

i приращение N

−

на будущем временн

ом полуинтервале [t, t

условно не зависит от прошлого (N

, 0

t) и имеет следующие

инфинитезимальные вероятности:





−

o(h),





o(h),





o(h),

(2.5.3)

§ 2.5. Процессы рождения и гибели. Взрыв 265

где остаточные члены могут зависеть от i, но не зависят от t,

или

в) как процесс, который 1) находится в состоянии i

в течение

случайного времени

∼

Exp(

), где

0, независимо от предыдущей

истории, а затем совершает скачок в j

1, или 2) остается навсегда в этом

состоянии, если

0, независимо от предыдущей истории.

Ясно, что эти характеризации дублируют свойства б) и в) процесса

ПП (

). В дальнейшем будем предполагать, что все

положительны (т. е.

нет поглощающих состояний).

В приложениях процесс ПР (

) часто представляет собой численность

растущей популяции (например, живых организмов или физических ча

стиц), скорость роста которой зависит от состояния, в котором процесс

находится в заданный момент времени t.

Рис. 2.39

Вернемся теперь к характеризации а). Заметим, что матрица Q должна

приводить к верхней треугольной матричной экспоненте P(t)

P(t)







(t) p

(t) . . .

0 p

(t) p

(t) . . .

0 0 p

(t) . . .







, (2.5.4)

причем P(0)

I. Чтобы отыскать эту матрицу P(t), вновь воспользуемся

прямым и обратным уравнениями

QP, P(0)

(аргумент t

0 часто будем опускать). Уравнения для заданного элемента

имеют вид

(

−

(прямое уравнение),

−

(обратное уравнение),

(2.5.5)

(0)

, i

266 Глава 2. Цепи Маркова с непрерывным временем

Предположение о том, что матрица P(t) имеет верхний диагональный вид,

позволяет решить эти уравнения. Например, рассмотрим прямое уравне

ние. Здесь на главной диагонали

= −

, p

(0)

⇒

(t)

−

, t

На один шаг вверх от главной диагонали имеем

i i

= −

, p

i i

(0)

⇒

i i

−

)

−

(

−

, t

Видим, что p

(t)

0 и стремится к te

−

, когда

стремятся к .

Далее, на два шага вверх от главной диагонали имеем

= −

, p

(0)

⇒

−



−



−





, t

И вновь p

(t)

0 и стремится к

( t)

−

, когда

стремятся

, и т. д.

Более элегантный способ решения прямого и обратного уравнений со

стоит в использовании характеризации в) из определения 2.5.1: запишем

(t)

−

(нет скачков до момента времени t), (2.5.6)

(t)

−

)

, (единственный скачок до момента t),

(2.5.7)

§ 2.5. Процессы рождения и гибели. Взрыв 267

(t)

−

)

−

)

1(t

) dt

−

)

−

)

−

)

−

)

−

(в точности два скачка до момента t) (2.5.8)

и т. д. Решение для p

имеет вид

(t)

...

−

)

...

−

)

−

)

1(t

...

) dt

... dt

...

−

...

−

)

−

)

... dt

...

−

...

−

)

−

... ds

(в точности n скачков до момента t) (2.5.9)

и т. д. При этом подынтегральное выражение как функция переменных 0

...

t (времена скачков) удобно для проверки прямых уравнений,

а как функция переменных s

−

(времена от скачков до момента t,

т. е. времена переходов) удобно для проверки обратных уравнений. За

метим, что в формулах (2.5.6)

–

(2.5.9) не требуется, чтобы выполнялось

равенство

. Но все же, когда

совпадают, получаем соотношения

(2.3.8)

–

(2.3.9). Выборочные траектории ПР (

) показаны на рис. 2.40.

Пример 2.5.2. (ср. с примером 2.4.2). Сигнализация в другом здании

университета на Квантовой улице отличается от описанной в примере 2.4.2:

P (M

−

o(h),

P (M

−

o(h),

P (M

−

o(h)

∀

0, i

0, 1, ..., h

Найдите уравнения для вероятностей p

(t)

P (M

i). Проверьте, что

268 Глава 2. Цепи Маркова с непрерывным временем

Рис. 2.40

при

выполняется равенство

m(t)

−

и найдите VarM

Решение. В предположении, что M

0, (M

)

∼

ПР (

) (интенсивности

рождения

), уравнения таковы:

= −

−

, i

При

процесс не взрывается. Рассмотрим п.ф.м.

G(s, t)

(t),

при этом

G(1, t)

1 (взрыва нет) и

∂

G(s, t)

−

(t).

Тогда

∂

G(s, t)

−

1) G(s, t)

s(s

−

∂

G(s, t)

и для m(t)

∂

G(s, t)



получаем

m(t)

, m(0)

Отсюда следует, что m(t)

−

§ 2.5. Процессы рождения и гибели. Взрыв 269

Наконец, рассмотрим

v(t)

−

∂

G(s, t)



VarM

v(t)

m(t)

−

m(t)

Тогда

v(t)

2 v(t)

2 )m(t), v(0)

Отсюда следует, что

v(t)

(

)



−



VarM

−

1).

ПР с

линейными интенсивностями

называется процессом

Юла

—

Фурри; он используется в некоторых приложениях.

Million Dollar

(Из серии

Фильмы, которые не вышли на большой экран

Перейдем теперь к вопросу о возможности взрыва, т. е. бесконечного

числа скачков (траектория неограниченно растет) на конечном интервале

времени, см. рис. 2.29.

Как мы только что видели, при

≡ >

0 (т. е. (N

)

∼

ПП ( )) вероят

ность P



∞

< ∞



взрыва за конечное время равна 0. Сформулируем

теперь общий результат.

Теорема 2.5.3. Для ПР (

) с интенсивностями

0 имеет место

следующая дихотомия:

а) если

= ∞

, то взрыва нет: P



∞

< ∞



0, (2.5.10)

б) если

< ∞

, то взрыв есть: P



∞

< ∞



1. (2.5.11)

Д о к а з а т е л ь с т в о. а) Следуя доказательству теоремы 2.3.10, поло

жим T

взр

и рассмотрим п.ф.м. Ee

−

взр

. Вновь используя монотонную

Ср. с названием фильма

Million Dollar Baby

270 Глава 2. Цепи Маркова с непрерывным временем

сходимость частичных сумм

взр

и независимость времени пребы

вания S

, S

, ... , запишем

−

взр

lim

→∞

−

lim

→∞

lim

→∞

)

−

Заметим, что последнее произведение

) растет по K. Используя

элементарную оценку





...

заключаем, что

lim

→∞

)

−





−

т. е.

−

взр

Вновь как в доказательстве теоремы 2.3.10, заметим, что e

−

взр

0 и T

взр

= ∞

с вероятностью 1, откуда следует соотношение (2.5.10).

б) С.в. T

взр

принимает значения в [0,

∞

) и, возможно, значение

+∞

Однако

взр

lim

→∞

−

< ∞

в силу теоремы о монотонной сходимости. В частности, значение

+∞

принимается с вероятностью 0, т. е. имеет место соотношение (2.5.11).

Замечание 2.5.4. Теорема 2.5.3 рассматривает взрывы при начальном

состоянии 0. Однако ее утверждение сохраняется, если ц.м.н.в. выходит из

любого состояния i, что просто означает совпадение событий

{

взр

< ∞}

< ∞

Поэтому результат верен для любого начального распределения.

Определение 2.5.5. В случае а) теоремы 2.5.3 процесс ПР (

) назы

вают невзрывным, а в случае б)

—

взрывным.

§ 2.5. Процессы рождения и гибели. Взрыв 271

В случае невзрывного процесса ПР (

), когда

−

= ∞

, пря

мое

обратное уравнения (2.5.5) имеют единственное решение P(t)

(t))

∀

0, задаваемое формулами (2.5.6)

–

(2.5.9) и удовлетворя

ющее условиям

(t)

1 и

(t)

∀

0, i

0, 1, ... (2.5.12)

В этом случае матрица P(t)

(t)) является

истинной

матрицей пе

реходных вероятностей для любого t

0. (Некоторые авторы используют

термин

корректно определенная матрица перехода

.) Вдобавок семейство

матриц P(t) имеет полугрупповое свойство P(t

P(t)P(s)

∀

t, s

Это тот

хороший

случай, когда процесс определяется своей Q

матрицей

(и начальным распределением) однозначно.

[Вот] что я понимаю под словом

философ

ужасно вспыльчивую (взрывную) персону,

в присутствии которой все находится в опасности.

Ф. Ницше (1844

–

1900), немецкий философ

Однако для взрывного процесса ПР (

) ситуация более сложная.

Решение P(t)

(t)) задач (2.5.5), определенное с помощью формул

(2.5.6)

–

(2.5.9), не обеспечивает сумме

(t) значение 1; напротив,

(t)

∀

0 и i

0, 1, ... Тем не менее, это решение особое: оно

минимальное в том смысле, что для любого семейства матриц R(t)

(t)), удовлетворяющих уравнениям

QR, R(0)

I, элементы

(t) удовлетворяют неравенствам r

(t)

∀

0 и i, j

0, 1, ... Ми

нимальное свойство следует из нашего предположения о том, что матрица

P(t) верхнетреугольная. Минимальное решение все еще имеет хорошие

свойства: например, его можно записать как

P(t)

∞

(tQ)

, P(t)

lim

→∞

tQ(n)

, (2.5.13)

где Q(n)

—

это (n

модификация (

усечение

) матрицы Q из фор

мулы (2.5.2). Оно также имеет полугрупповое свойство: P(t

P(t)P(s)

∀

t, s

В невзрывном случае минимальное решение задается с помощью стоха

стических матриц P(t), причем верны уравнения (2.5.12), и других решений

быть не может. Однако в случае взрыва, когда минимальное решение не

272 Глава 2. Цепи Маркова с непрерывным временем

приводит к стохастической матрице, оно как бы открывает ящик Пандоры,

полный сюрпризов, возможно интересных, но редко возникающих в при

кладных задачах.

Для начала, прямое уравнение

PQ имеет единственное решение

P(t), P(0)

I, задаваемое формулами (2.5.6)

–

(2.5.9) (иными словами, ми

нимальное решение

—

это единственное решение прямого уравнения с на

чальной матрицей I). В противоположность этому обратное уравнение

(с начальной матрицей I) имеет бесконечно много решений б

ольших, чем

минимальное

. Сейчас мы не будем двигаться далее в этом направлении,

но вернемся к ним, когда будем обсуждать более общие классы случайных

процессов.

Итак, мы знаем, что в случае взрыва матрица P(t) с элементами p

(t)

из формул (2.5.6)

–

(2.5.9), представляющая собой минимальное решение

прямого и обратного уравнения (2.5.5), имеет

вероятностный дефект

ее суммы по строкам меньше 1 (более того, суммы по строкам убывают

и стремятся к 0 с ростом времени). Таким образом, матрица P(t)

субстохастическая, а не стохастическая (и приближается к нулевой мат

рице при t

→∞

). Как превратить ее в стохастическую? Для этого полезно

записать

∞

(t)

взр

1. (2.5.14)

Один из вариантов

—

считать, что процесс остается в состоянии

∞

при

взр

, и приписать вероятностям p

∞

(t) следующие значения:

−

(t)

взр



...



, (2.5.15)

и, конечно, p

∞∞

(t)

≡

1), т. е. добавить поглощающее состояние

∞

Это приводит к минимальному процессу рождения (N

min

) на простран

стве состояний

= {

0, 1, ...,

∞}

, ассоциированному с интенсивностями

. Этот процесс называют минимальным, так как решение P(t), зада

ваемое формулами (2.5.6)

–

(2.5.9), минимально для прямого и обратного

уравнения, кроме того, тождество N

min

≡∞

при t

взр

оставляет ми

нимальные возможности для переходов i

→

j (j

i, т. к. соответствующая

матрица перехода является верхней треугольной).

Однако это не единственно возможный вариант: можно предположить

также, что в момент t

взр

процесс мгновенно возвращается в состояние

0 (после чего, конечно, вновь возможен взрыв).

См. Булинский А. В., Ширяев А. Н. Теория случайных процессов. М.: Физматлит, 2003,

с. 221.

§ 2.5. Процессы рождения и гибели. Взрыв 273

Рис. 2.41

Очевидно, это увеличивает шансы попасть из состояния i в состо

яние j (теперь это может происходить и после взрыва). Кроме того,

соответствующая переходная матрица уже не будет верхней треугольной.

Получаем другой процесс рождения (N

∗

) с интенсивностями

при k

0, 1, ... и бесконечной интенсивностью q

∞

. Иными словами,

∞

будет

теперь мгновенным состоянием.

Вообще говоря, мгновенные состояния, когда элемент q

равен минус

бесконечности (или полная интенсивность выхода q

равна плюс беско

нечности), нередко приводят к парадоксам. Теория ц.м.н.в. с мгновенными

состояниями содержит много неожиданных результатов, но они находятся

вне поля зрения этой книги.

Теперь можно подвести итог.

Определение 2.5.6. Пусть

··· >

0 и

−

= ∞

, что обес

печивает отсутствие взрыва у соответствующей Q

матрицы из формулы

(2.5.2). Пусть P(t)

(t)), t

0, является (единственным) решением пря

мого

обратного уравнений

QP (с начальным условием P(0)

I),

которое составлено из стохастических матриц. Процесс рождения с ин

тенсивностями

, ... , выходящий из состояния

∈Z

—

это ц.м.н.в.

, t

0) с N

0 и такая, что а) для любых моментов времени 0

...

и целых чисел i

...

выполняется равенство

, ..., N

)

−

) ...p

−

). (2.5.16)

Теорема 2.5.7. При выполнении условия

−

= ∞

характери-

зации а)

–

в) процесса ПР (

), данные в определениях 2.5.1 и 2.5.6,

эквивалентны.

Теорема 2.5.7 означает, что невзрывной процесс ПР (

) определяет

274 Глава 2. Цепи Маркова с непрерывным временем

ся своей Q

матрицей (и начальным распределением). С другой стороны,

мы видели, что взрыв приводит к неединственности процесса ПР (

)

(т. е. процесс не определяется единственным образом своей Q

матрицей):

минимальный процесс N

min

попадает в поглощающее состояние

∞

после

момента T

взр

, а процесс (N

∞→

) совершает мгновенный переход из

∞

в 0.

Ситуация становится гораздо более сложной (и занимательной), если

выйти за пределы класса процессов рождения: здесь мы вновь ограничимся

основными фактами.

Следующее обобщение, которое мы рассмотрим,

—

это процессы рож-

дения и гибели, обозначаемые для краткости, ПРГ (

). Диаграмма

таких процессов содержит стрелки в обоих направлениях; см. рис. 2.43.

Рис. 2.42

Интерпретируют это так:

—

это интенсивность скачка k

→

(рождение), а

—

интенсивность скачка k

→

−

1 (гибель). Когда

≡

то получаем процесс рождения, а когда

≡

—

процесс гибели.

Соответствующая Q

матрица имеет нули всюду, за исключением глав

ной диагонали и двух соседних с ней:







−

0 0

0 0 ...

−

(

)

−

(

)

...







. (2.5.17)

Рис. 2.43

§ 2.5. Процессы рождения и гибели. Взрыв 275

Кто угодно может прервать человеческую жизнь,

но никто

—

смерть: тысячи путей открыты к ней.

Сенека (4 г. до н. э.

–

65 г. н. э.), римский философ

Как и ранее, нас интересует матрица перехода P(t), ассоциированная

с Q, которая позволит нам определить процесс рождения

гибели с гене

ратором Q. Заметим, что соответствующий процесс совершает скачки как

вниз, так и вверх, поэтому матрица P(t) не должна быть верхнетреугольной.

Конечно, вопрос о взрыве процесса рождения и гибели также подлежит

рассмотрению. Интуитивно понятно, что условие

= ∞

является

достаточным для отсутствия взрыва. Однако это условие не является необ

ходимым. Это значит, что сходимость вышеуказанного ряда не обязательно

приводит к взрыву, так как цепь может смещаться к левому краю и про

водить б

ольшую часть времени в позициях, для которых значение

велико.

Общие условия отсутствия взрыва у ПРГ сложны; приведем их без

доказательства. Как мы уже знаем на примере процесса рождения, нам

придется работать с классом субстохастических матриц P(t)

(t)),

где

(t)

∀

i, j

0, 1, ... и

(t)

∀

0, 1, ...,

∀

0; (2.5.18)

в частности, случай равенства

(t)

1 означает, что матрица P(t)

—

стохастическая. Воспользуемся опытом, приобретенным при изучении про

цессов рождения, и введем понятие минимального неотрицательного ре

шения P

min

(t)

min

(t)) прямого и обратного уравнений

PQ и

с начальным условием P(0)

(

−

(

i,j

(прямое),

1,j

−

(

−

1,j

(обратное),

(2.5.19)

(0)

Как и ранее, минимальность означает, что любое такое семейство матриц

R(t)

(t)), t

0, что r

(t)

RQ и R(0)

I, удовлетворяет

неравенствам

min

(t)

∀

0 и i, j

0, 1, ... (2.5.20)

Основное свойство минимального решения вновь состоит в том, что

276 Глава 2. Цепи Маркова с непрерывным временем

оно допускает хорошее представление

min

(t)

1(i

j)e

−

)

(скачков нет)

(

1(j

−

1))

−

(

)

−

) (

)

(один скачок)

∈

(

1(k

−

1))

(

1(j

−

1))

−

(

)

−

) (

)

−

) (

)

1(t

) dt

(два скачка)

... (2.5.21)

Общая формула для выражений в правой части соотношения (2.5.21) соот

ветствует последовательности скачков через состояния i

, i

, ..., i

где i

−

1, и может быть записана в форме

−

(

1(i

−

1))

...

exp[

−

) (

)]

k : n

→

(exp[

−

) (

−

)]) dt

... dt

, (2.5.22)

где t

0, или

−

(

1(i

−

1))

...

−

exp[

−

) (

)]

k : 1

→

(exp[

−

) (

)]) ds

... ds

, (2.5.23)

§ 2.5. Процессы рождения и гибели. Взрыв 277

где s

0. В произведениях

k : n

→

k : 1

→

множители перечислены

в соответствующем порядке. Уравнения (2.5.22) и (2.5.23), конечно, эк

вивалентны: формула (2.5.22) годится для проверки прямого, а (2.5.23)

—

обратного уравнения.

Мы хотим подчеркнуть, что уравнения (2.5.21)

–

(2.5.23) позволяют по

смотреть на переходные вероятности p

min

(t) как на интегралы по всем

возможным траекториям процесса, выходящего из состояния i и фини

ширующего в состоянии j в момент времени t.

Опустим теперь индекс min и запишем равенство P(t)

(t)) для

минимального решения, определенного уравнениями (2.5.21)

–

(2.5.23).

Теорема 2.5.8. Формулы (2.5.21)

–

(2.5.23) определяют семейство

субстохастических матриц P(t)

(t)), t

0, задающих минималь-

ное решение прямого и обратного уравнений

QP, P(0)

(см. соотношение (2.5.6)). Для любого t

0 это решение имеет сле-

дующие свойства:

(t)

∀

i, j

0, 1, ... , и

(t)

∀

0, 1, ...

Также имеет место полугрупповое свойство: P(t

P(t)P(s),

t, s

Определение 2.5.9. Говорят, что ПРГ (

) с интенсивностями

является невзрывным (или соответствующая Q

матрица в формуле

(2.5.17) является невзрывной), если минимальное решение P(t)

(t))

из теоремы 2.5.8 состоит из стохастических матриц, т. е.

(t)

∀

0, 1, ...

∀

0 (2.5.24)

и взрывным в противоположном случае. Точнее, мы называем состояние i

невзрывным, если соотношение (2.5.24) верно для любого t

0, и взрыв-

ным, если

(t)

1 для некоторого t

Теорема 2.5.10 (см. Ledermann W., Reuter G. E. H. Spectral theory for

the diﬀerential equations of simple birth and death processes

Philos. Trans.

Roy. Soc. London. Ser. A. 1954. V. 246. P. 321

–

369) дает достаточные усло

вия для того, чтобы ПРГ (

) был невзрывным.

Теорема 2.5.10. Зафиксируем набор интенсивностей

При заданном i

0 предположим, что

0, k

i, i

1... Тогда

любое из следующих условий a)

–

г) гарантирует, что состояние i

невзрывное:

278 Глава 2. Цепи Маркова с непрерывным временем

а)

0 для некоторого n

б)

0 для n

i и

= +∞

;

в)

0 для n

i и

...

= +∞

;

г)

0 для n

i и



−

...



= +∞

Таким образом, ПРГ (

) невзрывной, если для любого состоя-

ния i выполняется одно из условий а)

–

г).

Профессор Вальтер Ледерманн умер 22.05.09 в возрасте 98 лет. Его математическая

карьера была яркой и необычной. Ледерманн родился в Германии в 1911 г. и изучал ма

тематику в Берлинском университете, где его профессорами были Эрих Шмидт (операторы

Гильберта

—

Шмидта), Исай Шур (лемма Шура из теории представлении групп) и Людвиг

Бибербах (гипотеза Бибербаха). Физику ему преподавали Макс Планк, Макс фон Лауэ и

Эрвин Шредингер. Выпускные экзамены Ледерманн сдавал в ноябре 1933 г. Шмидту и Шуру

(который несмотря на еврейское происхождение был временно восстановлен в должности

профессора, как ветеран Первой мировой войны, но вскоре окончательно уволен). Бибербах

также появился во время экзамена, одетый в нацистскую униформу.

В январе 1934 г. Ледерманн получил стипендию в университете Св. Андрея в Шот

ландии, средства для этой стипендии были собраны местными студентами. Впоследствии он

работал в нескольких британских университетах и сотрудничал со многими выдающимися

математиками и физиками, включая Нобелевского лауреата Макса Бора. Статья Рейтера и

Ледерманна была написана, когда Ледерманн и Гарри Рейтер работали в одной комнате в

университете Манчестера, такие случаи очень характерны для Ледерманна. Он запомнился

многими коллегами как человек, вызывающий естественную симпатию. Как сказал один из его

бывших студентов:

Это был маленький и хрупкий человек, который оказался обаятельным,

остроумным и все понимающим, и который мастерски читал лекции

Определение 2.5.11. Зафиксируем набор интенсивностей

, ...

0. Пусть P(t)

(t)), t

—

минимальное решение прямо

го

обратного уравнения

QP, P(0)

I, и предположим, что мат

рица Q невзрывная. ПРГ (

) с интенсивностями

, выходящий

из состояния i

∈Z

—

это процесс (N

РГ

, t

0), N

РГ

, со значениями

∈Z

, который можно охарактеризовать тремя следующими способами:

a) как такой процесс, что

РГ

, ..., N

РГ

)

−

) ...p

−

), (2.5.25)

∀

...

, i

, ..., i

∈Z

;

б) как процесс, у которого для любого t

0 и j

∈Z

при условии

РГ

i приращение N

РГ

−

РГ

на будущем временном интервале [t, t

§ 2.5. Процессы рождения и гибели. Взрыв 279

условно не зависит от прошлого (N

РГ

, 0

t) и

P (N

РГ

−

(

o(h),

P (N

РГ

o(h),

P (N

РГ

−

РГ

o(h),

P (

РГ

−

РГ

o(h)

(2.5.26)

при h

→

, где остаточные члены могут зависеть от i, но не от t,

или

в) как процесс, который 1) проводит случайное время

∼

Exp(

)

в состоянии i

∈Z

, если

0, и затем прыгает в состояние i

или i

−

1 с вероятностями

(

) и

(

) соответственно или 2)

остается навсегда в этом состоянии, если

0, независимо от его

предыдущей истории.

Теорема 2.5.12. Для невзрывной матрицы Q три характеризации

а)

–

в) ПРГ (

), заданные в определении 2.5.11, эквивалентны.

В дальнейшем мы детально изучаем ПРГ, у которых

...

= >

0 и

...

= >

0. Такие ПРГ всегда невзрывные. При этом если

0, то состояние 0 поглощающее.

А что будет, если матрица Q взрывная? Тогда следуем предыдущим

рецептам: добавляем поглощающее состояние

∞

, т. е. рассматриваем наш

ПРГ на расширенном пространстве состояний

= Z

∪{∞}

. Вновь обо

значим процесс как (N

min

, t

0), тогда определение 2.5.11 a) принимает

следующий вид.

Рис. 2.44

Определение 2.5.13. Для любых чисел 0

...