Кельберт М.Я., Сухов Ю.М. Вероятность и статистика в примерах и задачах. Том 2. Марковские цепи как отправная точка теории случайных процессов и их приложения
Подождите немного. Документ загружается.
240 Глава 2. Цепи Маркова с непрерывным временем
Рассмотрим теперь попарно непересекающиеся полуинтервалы
[t
1
, t
1
+
h
1
), . . . , [t
n
, t
n
+
h
n
), 0
=
t
0
<
t
1
<
t
1
+
h
1
<
t
2
<
. . .
<
<
t
n
−
1
+
h
n
−
1
<
t
n
, и вероятность
P (t
1
<
H
1
6
t
1
+
h
1
, . . . , t
n
<
H
n
6
t
n
+
h
n
)
=
=
P (N(t
1
)
=
0, N(t
1
+
h
1
)
−
N(t
1
)
=
1, N(t
2
)
−
N(t
1
+
h
1
)
=
0, . . .
. . . , N(t
n
)
−
N(t
n
−
1
+
h
n
−
1
)
=
0, N(t
n
+
h
n
)
−
N(t
n
)
=
1)
=
=
P (N(t)
=
0) P (N(t
1
+
h
1
)
−
N(t
1
)
=
1) P (N(t
2
)
−
N(t
1
+
h
1
)
=
0)
×
. . .
. . .
×
P (N(t
n
)
−
N(t
n
−
1
+
h
n
−
1
)
=
0) P (N(t
n
+
h
n
)
−
N(t
n
)
=
1)
=
=
e
−
t
1
( h
1
+
o(h
1
))e
−
(t
2
−
t
1
−
h
1
)
. . . e
−
(t
n
−
t
n
−
1
−
h
n
−
1
)
( h
n
+
o(h
n
)).
Разделим ее на h
1
×
. . .
×
h
n
и перейдем к пределу при h
k
→
0. Тогда левая
часть сходится к совместной плотности распределения f
H
1
,...,H
n
(t
1
, . . . , t
n
)
и правая часть сходится к (e
−
t
1
) (e
−
(t
2
−
t
1
)
) . . . (e
−
( (t
n
−
t
n
−
1
)
). Поэтому
f
H
1
,...,H
n
(t
1
, . . . , t
n
)
=
n
Y
k
=
1
( exp[
−
(t
k
−
t
k
−
1
)])1(0
<
t
1
<
. . .
<
t
n
)
=
=
n
e
−
t
n
1(0
<
t
1
<
. . .
<
t
n
).
Теперь
S
0
=
H
1
, S
2
=
H
2
−
H
1
, . . . , S
n
−
1
=
H
n
−
H
n
−
1
.
Замене переменных
s
0
=
t
1
, s
1
=
t
2
−
t
1
, . . . , s
n
−
1
=
t
n
−
t
n
−
1
соответствует якобиан
∂
(s
0
, . . . , s
n
−
1
)
∂
(t
1
, . . . , t
n
)
=
1
=
∂
(t
1
, . . . , t
n
)
∂
(s
0
, . . . , s
n
−
1
)
,
где
∂
(t
1
, . . . , t
n
)
∂
(s
0
, . . . , s
n
−
1
)
—
якобиан обратного преобразования. Поэтому сов
-
местная плотность распределения имеет вид
f
S
0
,...,S
n
−
1
(s
0
, . . . , s
n
−
1
)
=
f
H
1
,...,H
n
(s
0
, s
0
+
s
1
, . . . , s
0
+
. . .
+
s
n
−
1
)
=
=
n
−
1
Y
k
=
0
( e
−
s
k
)
=
n
−
1
Y
0
f
S
k
(s
k
).
Мы видим, что с.в. S
0
, S
1
, . . . имеют распределение Exp ( ) и независимы
в совокупности. Отсюда следует п. в).
§ 2.3. Процесс Пуассона 241
Рис. 2.22
Наконец, докажем, что в)
⇒
а). Нам нужно установить следующее
равенство:
P (N(t
1
)
−
N(0)
=
l
1
, N(t
2
)
−
N(t
1
)
=
l
2
, . . . , N(t
n
)
−
N(t
n
−
1
)
=
l
n
)
=
=
n
Y
1
( (t
k
−
t
k
−
1
))
l
k
l
k
!
e
−
t
n
(независимость приращений).
Естественно применить индукцию по n. На первом шаге n
=
1, и мы
полагаем t
1
=
t, l
1
=
l. При H
l
=
S
0
+
. . .
+
S
l
−
1
запишем
P (N(t)
=
l)
=
P (S
0
+
. . .
+
S
l
−
1
<
t
<
S
0
+
. . .
+
S
l
−
1
+
S
l
) в силу п. в)
и используем тот факт, что H
l
∼
Gam(l, ), где f
H
l
(x)
=
l
x
l
−
1
/
(l
−
1)!,
x
>
0:
P (N(t)
=
l)
=
t
Z
0
f
H
l
(x) P (S
l
>
t
−
x) dx
=
t
Z
0
l
x
l
−
1
(l
−
1)!
e
−
(t
−
x)
dx
=
=
l
e
−
t
(l
−
1)!
t
Z
0
x
l
−
1
dx
=
( t)
l
l!
e
−
t
. (2.3.6)
Далее, чтобы сделать шаг индукции от n
−
1 к n, достаточно доказать,
что
P (N(t
n
)
−
N(t
n
−
1
)
=
l
n
|
N(t
k
)
−
N(t
k
−
1
)
=
l
k
, 1
6
k
6
n
−
1)
=
=
P (N(t
n
−
t
n
−
1
)
=
l
n
)
=
( (t
n
−
t
n
−
1
))
l
n
l
n
!
e
−
(t
n
−
t
n
−
1
)
, (2.3.7)
но это верно в силу свойства отсутствия памяти у времени пребывания
S
l
1
+
...
+
l
n
−
1
∼
Exp( ),
242 Глава 2. Цепи Маркова с непрерывным временем
Рис. 2.23
откуда следует п. а).
Сравнение упомянутых определений а)
–
в) приводит к следующему ин
-
туитивному представлению пуассоновской вероятности как интеграла по
последовательным скачкам: для любых t, s
>
0 и n, i
=
0, 1, . . . справед
-
ливы соотношения
( t)
n
n!
e
−
t
=
p
0n
(t)
=
P (N
t
=
n)
=
=
p
ii
+
n
(t)
=
P (N
t
+
s
−
N
s
=
n
|
N
s
=
i)
=
P (N
t
+
s
−
N
s
=
n)
=
=
e
−
t n
t
Z
0
t
Z
0
. . .
t
Z
0
1(t
1
<
. . .
<
t
n
) dt
n
dt
n
−
1
. . . dt
2
dt
1
=
=
t
Z
0
t
n
Z
0
. . .
t
2
Z
0
exp(
−
t
1
)
| {z }
первый скачок между 0 и t в момент t
1
×
×
( exp[
−
(t
2
−
t
1
)])
| {z }
второй скачок между 0 и t в момент t
2
×
. . .
×
×
( exp[
−
(t
k
−
t
k
−
1
)])
| {z }
n
-
й скачок между 0 и t в момент t
n
×
×
exp[
−
(t
−
t
n
)]
| {z }
скачков между t
n
и t нет
dt
1
dt
2
. . . dt
n
−
1
dt
n
. (2.3.8)
Рис. 2.24
§ 2.3. Процесс Пуассона 243
Рис. 2.25
Альтернативное представление дается в терминах времен s
k
=
t
−
t
k
между точкой k
-
го скачка t
k
и t:
( t)
n
n!
e
−
t
=
t
Z
0
s
1
Z
0
. . .
s
n
−
1
Z
0
exp[
−
(t
−
s
1
)]
×
×
( exp[
−
(s
1
−
s
2
)])
×
. . .
×
( exp[
−
(s
n
−
1
−
s
n
)])
×
×
exp(
−
s
n
) ds
n
ds
n
−
1
. . . ds
2
ds
1
. (2.3.9)
Другой полезный факт состоит в том, что процесс ПП (
) (N
( )
t
) можно
получить из ПП (1) (N
(1)
t
) с помощью замены времени:
(N
(1)
t
)
∼
(N
( )
t
). (2.3.10)
Использование этих утверждений позволяет установить ряд дополни
-
тельных свойств ПП (
). С другой стороны, мы увидим далее, как попытки
обобщить эти свойства приводят к более общим моделям.
Будучи ц.м.н.в., пуассоновский процесс обладает марковским и строго
марковским свойствами. Специфика пуассоновского процесса позволят
придать им следующую специальную форму.
Теорема 2.3.4. Марковское свойство процесса ПП (
) состоит
в том, что для любого t
>
0 прошлое (N : 0
6 <
t) не зависит от
будущего (N
t
+
s
−
N
t
: s
>
0). Кроме того, (N
t
+
s
−
N
t
: s
>
0)
∼
(N
s
, s
>
0).
Иными словами, для любого t
>
0 процесс после момента времени t,
отсчитываемый от уровня N
t
—
это процесс ПП ( ), независимый
от прошлого (N
: 0
6 <
t).
244 Глава 2. Цепи Маркова с непрерывным временем
Заметим, что с.в. S
N(t)
=
H
N(t)
+
1
−
H
N(t)
(время пребывания, покры
-
вающее точку t) не имеет показательного распределения (этот парадокс
обсуждается ниже).
Теорема 2.3.5. Строго марковское свойство для момента оста-
новки H
k
(времени k-го скачка), состоит в том, что прошлое
(N
s
: 0
6
s
<
H
k
) не зависит от будущего (N
H
k
+
s
−
k: s
>
0). Кроме
того, (N
H
k
+
s
−
k: s
>
0)
∼
(N
s
, s
>
0). Иными словами, процесс,
наблюдаемый после момента H
k
и отсчитываемый от уровня k,
—
это процесс ПП ( ), независимый от прошлого (N
s
: 0
6
s
<
H
k
).
Доказательство теоремы 2.3.5 опускается; заметим лишь, что здесь
важную роль играет свойство отсутствия памяти у показательного рас
-
пределения.
Поучительно сравнить графически марковское и строго марковское
свойства процесса ПП (
) (N
t
):
марковское свойство:
∀ >
0 строго марковское свойство:
∀
k
=
1, 2, . . .
(N
t
, 0 6 t 6 ) (прошлое)
))
T
T
T
T
T
T
T
T
T
T
T
(N
t
, 0 6 t 6 H
k
) (прошлое)
uu
j
j
j
j
j
j
j
j
j
j
j
не зависит
от будущего
(N
+
t
−
N , t > 0)
∼
ПП ( )
(N
H
k
+
t
−
k, t > 0)
∼
ПП ( )
Рис. 2.26
Markov and Strong Markov Private Property
5
(Из серии
«
Фильмы, которые не вышли на большой экран
»
.)
5
Игра слов: по
-
английски property
—
свойство, а также собственность, имущество.
§ 2.3. Процесс Пуассона 245
Следующий результат касается суммы независимых пуассоновских
процессов.
Теорема 2.3.6. Пусть (N
1
t
) и (N
2
t
)
—
два независимых процесса
ПП (
) и ПП ( ). Тогда для N
t
=
N
1
t
+
N
2
t
, выполняется соотношение
(N
t
)
∼
ПП (
+
). (2.3.11)
Д о к а з а т е л ь с т в о. Оба пуассоновских процесса (N
i
t
) имеют неза
-
висимые приращения. Значит, то же верно и для (N
t
). Тогда обратимся
к определению б):
N
t
+
h
−
N
t
=
X
i
=
1,2
(N
i
t
+
h
−
N
i
t
)
=
=
0, если и только если N
i
t
+
h
−
N
i
t
=
0, i
=
1, 2,
1, если и только если одно N
i
t
+
h
−
N
i
t
=
0, другое
=
1,
>
2 в остальных случаях.
с вероятностями
0 : (1
−
h) (1
−
h)
+
o(h)
=
1
−
(
+
)h
+
o(h),
1 : h(1
−
h)
+
(1
−
h) h
+
o(h)
=
(
+
)h
+
o(h),
>
2 : o(h).
Значит, (N
t
)
∼
ПП (
+
).
Сложение пуассоновских процессов можно также описать как опера
-
цию взятия суперпозиции: мы подсчитываем в нужном порядке все скачки
нескольких процессов.
«
Обратной
»
операцией является
«
прореживание
»
.
Теорема 2.3.7. Пусть (N
t
)
∼
ПП ( ) и 0
<
p
<
1. Пусть (M
t
)
—
это
прореженный процесс (N
t
), такой что каждый скачок разрешается
с вероятностью p и отменяется с вероятностью 1
−
p. Тогда
(M
t
)
∼
ПП (p ). (2.3.12)
Рис. 2.27
Д о к а з а т е л ь с т в о. Используем определение в): рассмотрим време
-
246 Глава 2. Цепи Маркова с непрерывным временем
на пребывания S
M
0
, S
M
1
, . . . процесса (M
t
); п.ф.м. имеет вид
Ee
sS
M
0
=
E
E
e
sS
M
0
|
число отмен
=
=
∞
X
k
=
0
(1
−
p)
k
p E
e
sS
M
0
|
число отмен
=
k
=
=
∞
X
0
(1
−
p)
k
p
Ee
sS
N
0
k
+
1
=
p
1
−
p
∞
X
0
(1
−
p)
−
s
k
+
1
=
=
p
1
−
p
(1
−
p)
/
(
−
s)
1
−
(1
−
p)
/
(
−
s)
=
p
p
−
s
.
Отсюда немедленно выводим, что S
M
0
∼
Exp(p ). Аналогично S
M
1
,
S
M
2
, . . .
∼
Exp(p ). Независимость очевидна. Значит, (M
t
)
∼
ПП ( p).
Подводя итог, отметим, что обе операции (сложение независимых пуас
-
соновских процессов и прореживание ПП (
)) не выводят из класса пуас
-
соновских процессов; этот факт играет важную роль в ряде приложений;
см. ниже.
Теорема 2.3.8. Пусть (N
t
)
∼
ПП ( ). Тогда для любых s, t
>
0 и m
=
=
1, 2, . . . при условии, что N
t
+
s
−
N
s
=
m, точки скачков J
1
=
J
1
(s, t),
. . ., J
m
=
J
m
(s, t) в интервале (s, s
+
t) имеют совместную плотность
распределения
f
J
1
,...,J
m
(x
1
, . . . , x
m
|
m скачков на интервале (s, s
+
t))
=
=
m!
t
m
1(s
<
x
1
<
. . .
<
x
m
<
t
+
s), (2.3.13)
т. е.
«
условные
»
случайные величины (J
1
, . . . , J
m
|
m скачков на интер-
вале (s, s
+
t)) можно получить, бросая m н.о.р. точек с равномерным
распределением
∼
U(s, s
+
t) на интервал (s, s
+
t) и располагая их
в порядке возрастания.
В частности, при условии m
=
1 (единственный скачок) точка
распределена как
∼
U(s, s
+
t)).
Д о к а з а т е л ь с т в о. Используем определение б): для любых s
<
<
x
1
<
. . .
<
x
m
<
t
+
s и малых h
i
, предполагая, что x
0
+
h
0
=
s,
имеем
P (x
i
<
J
i
<
x
i
+
h
i
, 1
6
i
6
m; всего m точек скачков в интервале (s, s
+
t))
=
=
P (N
x
k
−
N
x
k
−
1
+
h
k
−
1
=
0, N
x
k
+
h
k
−
N
x
k
=
1, 1
6
k
6
m, N
t
+
s
−
N
x
m
+
h
m
=
0)
=
=
e
−
(x
1
−
s)
( h
1
)e
−
(x
2
−
x
1
−
h
1
)
( h
2
)
×
. . .
×
( h
m
)e
−
(t
+
s
−
x
m
−
h
m
)
.
§ 2.3. Процесс Пуассона 247
Рис. 2.28
Далее,
P (всего m точек скачков в интервале (s, s
+
t))
=
=
P (N
t
+
s
−
N
s
=
m)
=
m
t
m
m!
e
−
t
.
Разделим на h
1
h
2
. . . h
m
и перейдем к переделу при h
i
→
0:
f
J
1
,...,J
m
(x
1
, . . . , x
m
|
всего m скачков)
=
m!
t
m
.
Если же 1(s
<
x
1
<
. . .
<
x
m
<
s
+
t)
=
0, то f
J
1
,...,J
m
(x
1
, . . . , x
m
|
всего
m скачков)
=
0.
Пример 2.3.9. Кайры и т
´
упики (это виды птиц) прилетают на гнез
-
довье на утес. Прибытия двух особей независимы, а также независимы
прибытия особей на непересекающихся интервалах. Замечено, что на лю
-
бом малом интервале длины h вероятность того, что не прилетит кайра,
равна 1
−
h
+
o(h), а одна кайра прилетает с вероятностью h
+
o(h).
Соответствующие вероятности для т
´
упиков равны 1
−
h
+
o(h) и h
+
o(h).
Найдите распределение общего числа птиц, прилетевших в интервале вре
-
мени длины t.
Какова вероятность того, что первые три прибывшие птицы будут
т
´
упиками?
Предположим, что за время t прибыла ровно одна кайра и один т
´
упик.
Какова вероятность того, что обе птицы прибыли до момента s, где s
6
t?
Какова вероятность того, что первым прилетит т
´
упик?
Решение. В силу независимости
P (на интервале (t, t
+
h) птиц нет )
=
(1
−
h
+
o(h)) (1
−
h
+
o(h))
=
1
−
(
+
)h
+
o(h).
Также
P (на интервале (t, t
+
h) ровно одна птица)
=
(1
−
h
+
o(h)) ( h
+
o(h))
+
+
( h
+
o(h)) (1
−
h
+
o(h))
=
(
+
)h
+
o(h),
248 Глава 2. Цепи Маркова с непрерывным временем
и
P (на интервале (t, t
+
h)) две или более птиц )
=
o(h).
Пусть (Z
t
)
—
суперпозиция двух процессов, а p
ij
(t) означает P
i
(Z
t
=
j).
Положим
= +
. Вновь в силу независимости имеем
p
00
(t
+
h)
=
p
00
(t) (1
−
h
+
o(h)), откуда
˙
p
00
(t)
= −
p
00
(t),
и, значит, p
00
(t)
=
e
−
t
(поскольку p
00
(0
+
)
=
1). Аналогично
p
0i
(t
+
h)
=
p
0i
−
1
(t) ( h
+
o(h))
+
p
0i
(t) (1
−
h
+
o(h)),
откуда следует, что
˙
p
0i
(t)
= −
(p
0i
−
1
(t)
−
p
0i
(t)),
и, значит, p
0i
(t)
=
e
−
t
( t)
i
i!
. Таким образом, (Z
t
)
—
пуассоновский процесс
с интенсивностью
+
.
Далее,
P (на интервале (t, t
+
h) прилетел т
´
упик
|
на интервале (t, t
+
h)
прилетела одна птица)
=
+
+
o(h).
Поэтому
P (первые три птицы т
´
упики)
=
+
3
,
поскольку времена прибытия не имеют значения.
Теперь
P (обе птицы прилетят до момента s
|
одна птица каждого вида
прилетела до момента t)
=
e
−
(t
−
s)
e
−
s
( s)
2
2
/
(
2
)
e
−
t
( t)
2
2
/
(
2
)
=
s
2
t
2
.
Наконец,
P (т
´
упик прилетит первым
|
одна птица каждого вида
прилетела до момента t)
=
e
−
t
( t)
2
/
(
2
)
e
−
t
( t)
2
2
/
(
2
)
=
1
2
.
Перейдем теперь к анализу асимптотических свойств пуассоновского
процесса. Он приведет к важной концепции взрыва ц.м.н.в.
§ 2.3. Процесс Пуассона 249
Теорема 2.3.10. Для ПП ( ) (N
t
) выполняются соотношения
N
t
% ∞
и H
n
=
inf[t
>
0: N
t
=
n]
% ∞
п.н.,
т. е. с вероятностью 1
lim
t
→∞
N
t
=
lim
n
→∞
H
n
= ∞
.
Рис. 2.29
Д о к а з а т е л ь с т в о. Начнем с времен достижения H
n
=
S
0
+
. . .
. . .
+
S
n
−
1
; напомним, что S
i
∼
Exp ( ) и н.о.р.с.в.. Значит, H
n
+
1
>
H
n
, т. е.
H
n
%
по n. Таким образом, либо H
n
% ∞
, либо величины H
n
остаются
ограниченными. Мы хотим проверить, что
P (H
n
остается ограниченным)
=
P
∞
X
k
=
0
S
k
< ∞
=
0.
Событие
n
∞
P
k
=
0
S
k
< ∞
o
означает
«
взрыв
»
.
Удачное соображение, быстро приводящее к результату, состоит в сле
-
дующем. Положим
T
взр
=
∞
X
k
=
0
S
k
=
lim
K
→∞
K
X
k
=
0
S
k
=
lim
K
→∞
H
K
+
1
и используем п.ф.м. Ee
T
взр
при
= −
1.
Формально с.в. e
−
T
взр
определяется как предел
lim
K
→∞
exp
−
K
X
k
=
0
S
k
=
lim
K
→∞
K
Y
k
=
0
e
−
S
k
.
250 Глава 2. Цепи Маркова с непрерывным временем
Сходимость монотонна, с.в. e
−
T
взр
заключена между 0 и 1 и равна 0,
если T
взр
= ∞
. Следовательно, математическое ожидание Ee
−
T
взр
можно
понимать как E [e
−
T
взр
1(T
взр
< ∞
)].
С другой стороны
Ee
−
T
взр
=
lim
K
→∞
E
K
Y
k
=
0
e
−
S
k
,
в силу теоремы о монотонной сходимости (можно также использовать
теорему об ограниченной сходимости, известную как теорема Лебега о ма
-
жорируемой сходимости). В силу независимости с.в. S
0
, S
1
, . . . , имеем
E
K
Y
k
=
0
e
−
S
k
=
K
Y
k
=
0
Ee
−
S
k
=
+
1
K
,
а эта величина стремится к 0 при K
→ ∞
. Поэтому
Ee
−
T
взр
=
0.
Заключаем, что с вероятностью 1 с.в. e
−
T
взр
равна 0, откуда следует, что
T
взр
= ∞
, что означает расходимость ряда
P
k
S
k
и то, что H
n
% ∞
:
P
∞
X
k
=
0
S
k
= ∞
=
P
lim
n
→∞
H
n
= ∞
=
1.
Затем аналогично либо N
t
% ∞
, либо N
t
остается ограниченным (т. е.
не меняется после некоторого случайного момента времени). Иными сло
-
вами, событие
{
N
t
6→ ∞}
совпадает с событиями
{
N
t
+
s
≡
N
t
∀
s
>
0 для некоторого t
>
0
} =
X
k
L
k
< ∞
.
Здесь L
k
=
N
k
+
1
−
N
k
—
это приращение на единичном временном интер
-
вале [k, k
+
1); мы знаем, что L
k
∼
Po(1) и с.в. L
k
независимы, k
=
0, 1, . . .
п.ф.м. равна Ee
L
k
=
exp(e
−
1).
Аналогично положим U
=
P
k
L
k
и используем п.ф.м. Ee
−
U
. Рассуждая,
как и ранее, получим
Ee
−
U
=
lim
K
→∞
[exp(e
−
1
−
1)]
K
=
0,
§ 2.3. Процесс Пуассона 251
откуда следует, что с вероятностью 1 с.в. e
−
U
равна 0 и U
= ∞
, что
означает расходимость ряда
P
k
L
k
и то, что N
t
% ∞
. .
Завершим данный параграф кратким обсуждением так называемого
парадокса инспектора для ПП (
) (N
t
). Рассмотрим длину S
N
t
+
1
ин-
тервала пребывания, содержащего момент времени t. Она имеет
следующую функцию распределения:
P (S
N
t
+
1
6
x)
=
1
−
(1
+
min[t, x])e
−
x
, x
>
0, (2.3.14)
со средним значением
ES
N(t)
+
1
=
∞
Z
0
(1
+
min[t, x])e
−
x
dx
=
(2
−
e
−
t
)
/
. (2.3.15)
Ключевым моментом здесь является тот факт, что S
N
t
+
1
∼
min[t, S
−
]
+
+
S
+
, где S
±
∼
Exp( ) и с.в. S
±
независимы между собой.
В частности, для хвоста функции распределения получаем урезанную
показательную форму
P (min[t, S
−
]
>
y)
=
1(0
<
y
<
t)e
−
y
∀
y
>
0, (2.3.16)
откуда
E min[t, S
−
]
=
∞
Z
0
P (min[t, S
−
]
>
y) dy
=
t
Z
0
e
−
y
dy
=
1
(1
−
e
−
t
).
Рис. 2.30
252 Глава 2. Цепи Маркова с непрерывным временем
Это приводит к формуле свертки
F
S
N(t)
(x)
=
P (S
N(t)
6
x)
=
x
Z
0
P (min[t, S
−
]
6
x
−
s) ( e
−
s
) ds
=
=
(x
−
t)
+
Z
0
e
−
s
ds
+
x
Z
(x
−
t)
+
(1
−
e
−
(x
−
s)
)e
−
s
ds
=
=
x
Z
0
e
−
s
ds
−
e
−
x
x
Z
(x
−
t)
+
ds
=
1
−
e
−
x
−
e
−
x
[x
−
(x
−
t)
+
],
где (x
−
t)
+
=
max[x
−
t, 0]. Поскольку x
−
(x
−
t)
+
=
min[x, t], получаем
требуемый результат.
Находим математическое ожидание:
ES
N(t)
=
E min[t, S
−
]
+
ES
+
=
1
(1
−
e
−
t
)
+
1
=
2
−
e
−
t
,
откуда следует соотношение (2.3.15).
Следует отметить, что при t
→ ∞
для хвоста функции распределения
получаем асимптотику следующего вида:
P (S
N(t)
>
x)
=
(1
+
min[t, x])e
−
x
→
(1
+
x)e
−
x
, x
>
0. (2.3.17)
Правая часть в формуле (2.3.17) есть хвост функции распределения закона
Gam(2,
). Соответствующая плотность распределения имеет вид
f
Gam (2, )
(x)
=
2
xe
−
x
1(x
>
0).
Иными словами, с.в. S
N(t)
сходится по распределению к сумме двух
н.о.р.с.в. с распределением Exp(
). Понятно, что одну из этих величин
можно отождествить с S
+
, а другую
—
с S
−
. Отметим также, что для 0
<
<
t
< ∞
выполняются неравенства
e
−
x
<
(1
+
min[t, x])e
−
x
)
<
(1
+
x)e
−
x
,
т. е. вероятности хвостов удовлетворяют соотношению
P (S
+
>
x)
<
P (S
N(t)
>
x)
<
P (S
+
+
S
−
>
x), x
>
0.
В этом случае говорят, что с.в. S
N(t)
стохастически больше, чем с.в. S
+
,
но стохастически меньше, чем S
−
+
S
+
.
Парадокс инспектора привлекал к себе значительное внимание в лите
-
ратуре. Возможно, наиболее впечатляющими являются попытки исполь
-
зовать его для поиска НЛО и внеземных цивилизаций.
§ 2.3. Процесс Пуассона 253
Пример 2.3.11. 1. Пусть (X
t
)
t
>
0
и (Y
t
)
t
>
0
—
независимые ПП с ин
-
тенсивностями и соответственно, Покажите, что процесс (X
t
+
Y
t
)
t
>
0
также является процессом Пуассона, и найдите его интенсивность.
2. Некий наблюдатель полагает, что у процесса Пуассона с интенсив
-
ностью первое время пребывания больше, чем все последующие времена
пребывания. Сколько времени в среднем понадобится, чтобы этот наблю
-
датель удостоверился в ошибочности своего утверждения?
Решение. 1. Если (X
t
) и (Y
t
)
—
независимые процессы Пуассона с ин
-
тенсивностями
и , а Z
t
=
X
t
+
Y
t
, то для процесса (Z
t
) выполнены
условия а) и б). Далее,
P (Z
t
=
n)
=
n
X
k
=
0
P (X
t
=
k, Y
t
=
n
−
k)
=
=
n
X
k
=
0
P (X
t
=
k) P (Y
t
=
n
−
k)
=
n
X
k
=
0
( t)
k
k!
(
t)
n
−
k
(n
−
k)!
e
−
(
+
)t
=
=
e
−
(
+
)t
1
n!
n
X
k
=
0
n!
k!(n
−
k)!
( t)
k
( t)
n
−
k
=
((
+
)t)
n
n!
e
−
(
+
)t
.
Следовательно, Z
t
является ПП (
+
).
2. Наблюдатель зафиксировал, что время пребывания в состоянии 0
равно J
1
; чтобы удостовериться в ошибочности его утверждения, требуется
продолжать наблюдения, до тех пор пока не будет зафиксировано время
пребывания с длительностью, по крайней мере, равной длительности пер
-
вого времени пребывания. При условии, что J
1
=
s, условное среднее время
до появления такого события равно s
+
ET (s), где
T (s)
=
inf
{
t
>
s: N
t
=
N
t
−
s
}
.
Величина ET (s) удовлетворяет уравнению
ET (s)
=
se
−
s
+
s
Z
0
da(a
+
ET (s)) e
−
a
,
полученному усреднением по первому скачку. Следовательно,
ET (s)
=
(e
s
−
1)
/
.
Тогда среднее время до момента, когда будет зафиксировано время пре
-
254 Глава 2. Цепи Маркова с непрерывным временем
бывания не меньше J
1
, равно
∞
Z
0
ds e
−
s
s
+
e
s
−
1
= ∞
.
Пример 2.3.12. 1. В каждом из следующих случаев заданы простран
-
ство состояний I, а также ненулевые интенсивности перехода q
ij
(i
6=
j)
ц.м.н.в. Определите, в каких случаях цепь взрывается:
а) I
= {
1, 2, 3, . . .
}
, q
i,i
+
1
=
i
2
, i
∈
I,
б) I
=
Z, q
i,i
+
1
=
q
i,i
−
1
=
2
i
, i
∈
I.
2. Дети приходят покачаться на качелях согласно процессу Пуассона
с интенсивностью 1. Первоначально нет ни одного ребенка. Прибывший
первым ожидает, когда придет второй ребенок, и затем они начинают
качаться на качелях. Когда приходит третий, они все решают пойти на ка
-
русель. Цикл затем повторяется. Покажите, что число детей, приходящих
покачаться на качелях, эволюционирует как ц.м.н.в. и найдите Q
-
матрицу
этой цепи. Найдите вероятность того, что в момент времени t на качелях
нет ни одного ребенка.
Таким образом, получите тождество
∞
X
n
=
0
e
−
t
t
3n
(3n)!
=
1
3
+
2
3
e
−
3t
/
2
cos
√
3
2
t
.
Решение. 1. а) Худший случай
—
это тот, когда X
0
=
1. При этом n
-
е
время пребывания J
n
∼
Exp(n
2
). Следовательно,
E
X
n
J
n
=
X
n
EJ
n
=
X
n
1
n
2
< ∞
,
и цепь взрывается.
б) Цепь скачков является простым симметричным случайным блужда
-
нием на Z, которое возвратно и попадает в состояние 0 бесконечно часто.
Времена пребывания при последовательных попаданиях в 0 обозначим T
1
,
T
2
, . . . Тогда с.в. T
i
∼
Exp(2), независимы и P
P
i
T
i
= ∞
=
1. Время
взрыва не меньше
P
i
T
i
, следовательно, цепь не взрывается.
2. Ср. с решением примера 2.2.6. Так как приход детей следует процессу
Пуассона, число детей на качелях представляет собой одно из состояний
ц.м.н.в. с тремя состояниями и Q
-
матрицей вида
Q
=
−
1 1 0
0
−
1 1
1 0
−
1
!
.
§ 2.3. Процесс Пуассона 255
Чтобы найти p
00
(t), вычислим
det(
κ
I
−
Q)
=
det
κ
+
1
−
1 0
0 κ
+
1
−
1
−
1 0 κ
+
1
!
=
(
κ +
1)
3
−
1
= κ
(
κ
2
+
3
κ +
3).
Таким образом, собственные числа матрицы Q
—
это 0 и
−
3
2
±
√
3
2
i. При
-
меняя стандартный метод диагонализации, находим
p
00
(t)
=
A
+
e
−
3
2
t
B cos
√
3
2
t
+
C sin
√
3
2
t
,
где A, B, C
—
некоторые постоянные. Заметим, что
1
3
=
p
00
(
∞
)
=
A, 1
=
p
00
(0)
=
A
+
B,
−
1
=
q
00
=
˙
p
00
(0)
= −
3
2
B
+
√
3
2
C,
откуда получаем B
=
2
/
3 и C
=
0. Заключаем, что
p
00
(t)
=
1
3
+
2
3
e
−
3
2
t
cos
√
3
2
t.
С другой стороны, поскольку на качелях никого нет в точности тогда, когда
общее число прибывших кратно 3,
p
00
(t)
=
∞
X
n
=
0
e
−
t
t
3n
(3n)!
,
что приводит к требуемому тождеству.
Рис. 2.31
256 Глава 2. Цепи Маркова с непрерывным временем
Рис. 2.32
§ 2.4. Неоднородный процесс Пуассона
... and since a woman must wear chains,
I would have the pleasure of hearing ’em rattle a bit.
... и так как женщина должна носить цепи,
мне было бы приятно слышать их легкий звон.
Г. Фаркухар (1678
–
1707), ирландский драматург
Понятие процесса Пуассона чрезвычайно плодотворно и приводит
к многочисленным обобщениям.
Вначале рассмотрим неоднородный процесс Пуассона (НПП). Этот
процесс получают, обобщая определения а) (независимых пуассоновских
приращений) и б) (инфинитезимальных вероятностей). Удобно начать с ха
-
рактеристики б): здесь просто заменяют постоянную интенсивность
интенсивностью (t), зависящей от времени:
P (на интервале (t, t
+
h) нет скачков)
=
1
−
(t)h
+
o(h),
P (на интервале (t, t
+
h) один скачок)
=
(t)h
+
o(h),
P (
>
2 скачков на (t, t
+
h))
=
o(h).
(2.4.1)
Сохраняют, конечно, предположение о независимости приращений на
непересекающихся временных интервалах.
Рис. 2.33
Характеризация a) может быть также немедленно перефразирована
в следующем виде: для любых s, t
>
0
число скачков на (s, t
+
s)
∼
Po(
Λ
(s, t
+
s)), (2.4.2)
§ 2.4. Неоднородный процесс Пуассона 257
и числа скачков независимы на непересекающихся интервалах. При этом
Λ
(s, t
+
s)
=
s
+
t
Z
s
(u) du (ранее t 1(s
>
0))
=
=
E (число скачков на (s, s
+
t)).
Мы предполагаем, что функция
Λ
(s, t) конечна для любых 0
<
s
<
t
< ∞
.
Рис. 2.34
Назовем такой процесс НПП ( (t)). Формальное определение таково.
Определение 2.4.1. Неоднородный процесс Пуассона с интенсивно
-
стью (t), t
>
0,
—
это неубывающий процесс (N
t
, t
>
0) со значениями
в
Z
+
и с N
0
=
0, который можно охарактеризовать двумя эквивалентными
способами:
а) как процесс с независимыми приращениями N(t
j
+
1
)
−
N(t
j
)
∼
∼
Po(
Λ
(t
j
, t
j
+
1
)) на непересекающихся временных интервалах:
∀
0
=
t
0
<
<
t
1
. . .
<
t
n
и 0
=
i
0
, i
1
, . . . , i
n
∈ Z
+
выполняется равенство
P (N
t
1
−
N
t
0
=
i
1
−
i
0
, . . . , N(t
n
)
−
N(t
n
−
1
)
=
i
n
−
i
n
−
1
)
=
=
n
−
1
Q
k
=
0
(
Λ
(t
k
, t
k
+
1
))
i
k
+
1
−
i
k
(i
k
+
1
−
i
k
)!
exp
−
t
n
R
t
0
(u)du
, если 0
6
i
1
6
. . .
6
i
n
,
0 в противном случае;
(2.4.3)
б) как процесс с независимыми приращениями на непересекающихся
временн
´
ых интервалах, имеющий следующее асимптотическое поведение
при h
→
0
+
:
P
(
N
t
+
h
−
N
t
=
0
) =
1
−
(t)h
+
o(h),
P
(
N
t
+
h
−
N
t
=
1
) =
(t)h
+
o(h),
P
(
N
t
+
h
−
N
t
>
1
) =
o(h).
(2.4.4)
258 Глава 2. Цепи Маркова с непрерывным временем
Рис. 2.35
Как и в однородном случае, P обозначает распределение НПП( (t)).
Характеризация процесса НПП (
(t)) посредством определения в) не
столь прямолинейна и естественна и потребует более существенных из
-
менений. Например, времена пребывания процесса НПП не являются
независимыми и их распределения не являются показательными. Действи
-
тельно,
∀
s
>
0 и n
>
1 условная вероятность
P (S
n
= ∞ |
H
n
=
S
0
+
. . .
+
S
n
−
1
=
s)
=
e
−Λ
(s,
∞
)
, (2.4.5)
где
Λ
(s,
∞
)
=
∞
Z
s
(u) du,
т. е. если
Λ
(s,
∞
)
< ∞
, то процесс будет находиться в
«
замороженном
»
со
-
стоянии с положительной вероятностью exp[
−Λ
(s,
∞
)]. Это означает, что
с положительной вероятностью происходит только конечное число скачков
на всем временном интервале (0,
∞
). (Такого не случается с процессом
ПП (
).)
Далее, условная плотность распределения
f
S
n
|
H
n
−
1
(x
|
H
n
−
1
=
s, S
n
< ∞
)
=
(s
+
x)
e
−Λ
(s,s
+
x)
1
−
e
−Λ
(s,
∞
)
, x
>
0; (2.4.6)
если
Λ
(s,
∞
)
= ∞
, то вероятность P (S
n
< ∞
)
=
1 и знаменатель
1
−
e
−Λ
(s,
∞
)
≡
1. В этом случае неравенство S
n
< ∞
можно исключить
из условия. Легко видеть, что если локальная интенсивность (t) предпо
-
лагается дифференцируемой по t, то плотность распределения f
S
n
|
H
n
−
1
не
зависит от s (например,
∂
∂
s
f
S
n
|
H
n
−
1
(x
|
s)
=
0) тогда и только тогда, когда
(u)
≡
(т. е. процесс НПП является процессом ПП ( )).
Процесс НПП является примером неоднородной ц.м.н.в., у которой
интенсивности перехода, а, следовательно, вероятности перехода зависят
от времени. Точнее, вероятность перехода
P (N
t
+
s
=
i
+
k
|
N
t
=
i)
=
p
0k
(t, t
+
s)
=
(
Λ
(t, t
+
s))
k
k!
exp(
−Λ
(t, t
+
s)).
(2.4.7)
Диаграмма, задающая НПП (
(t)), обычно выглядит так:
§ 2.4. Неоднородный процесс Пуассона 259
Рис. 2.36
Если
Λ
(s, s
+
t)
= ∞
, то может происходить накопление точек скачков
на интервале (s, s
+
t) (взрывы). Мы исследуем такие
«
патологические
»
случаи более подробно для других классов ц.м.н.в.
Пример 2.4.2. Пожарная сигнализация в здании университета в Мар
-
тингальном тупике включается в случайные моменты времени:
P (сигнализация срабатывает на интервале (u, u
+
h))
=
(u)h
+
o(h);
интенсивность
(u) может зависеть от u. Пусть N
t
—
число сигналов
тревоги до момента времени t. Вводя обоснованные дополнительные пред
-
положения, покажите, что вероятности
p
i
(t)
=
P (N
t
=
i)
удовлетворяют уравнениям
·
p
0
(t)
= −
(t)p
0
(t),
·
p
i
(t)
=
(t) (p
i
−
1
(t)
−
p
i
(t)), i
>
1,
и проверьте, что N
t
∼
Po(
Λ
(t)), где
Λ
(t)
=
t
Z
0
(u) du.
Решение. Предположим, что N
0
=
0, является непрерывной,
и
∀
t
>
0, i
=
0, 1, . . . , и h
&
0:
P (N
t
+
h
−
N
t
=
0
|
N
t
=
i)
=
1
−
(t)h
+
o(h),
P (N
t
+
h
−
N
t
=
1
|
N
t
=
i)
=
(t)h
+
o(h),
и
P (N
t
+
h
−
N
t
>
1
|
N
t
=
i)
=
o(h).
Тогда
p
i
(t
+
h)
=
P (N
t
+
h
=
i)
=
P (N
t
=
N
t
+
h
=
i)
+
P (N
t
=
N
t
+
h
−
1
=
i
−
1)
+
o(h)
=
=
p
i
(t) P (N
t
+
h
−
N
t
=
0
|
N
t
=
i)
+
p
i
−
1
(t) P (N
t
+
h
−
N
t
=
1
|
N
t
=
i
−
1)
+
o(h)
=
=
p
i
(t) (1
−
(t)h)
+
p
i
−
1
(t) (t)h
+
o(h)