Доказательство. Так как по формуле полной вероятности при любом k ∈
{1, . . . , m − 1} и любых i, j ∈ {1, . . . , n}
p
ij
(m + 1) =
n
X
v=1
p
iv
(m)p
vj
= (P (m)P )
ij
,
где (A)
ij
обозначает j-й элемент i-й строки матрицы A. Таким образом, P (m + 1) =
P (m)P . Отсюда по индукции следуют формулы (12). Формулы (13) доказываются
аналогично.
Произведение S = ks
ij
k = P Q любых двух стохастических матриц P = kp
ij
k
и Q = kq
ij
k одинакового порядка n — тоже стохастическая матрица порядка n:
неотрицательность элементов произведения очевидна, а
n
X
j=1
s
ij
=
n
X
j=1
n
X
k=1
p
ik
q
kj
=
n
X
j=1
p
ik
n
X
k=1
q
kj
=
n
X
i=1
p
ik
= 1.
Поэтому матрицы P
n
и P
(t)
P
(t+1)
. . . P
(t+m−1)
— тоже стохастические, как и матрицы
P и P
(u)
.
3.1. Классификация состояний цепей Маркова
Пусть M — множество состояний цепи Маркова, p
ij
(t) — вероятность перехода
из состояния i в состояние j за t шагов. Состояния цепи Маркова можно
классифицировать по характеру последовательности моментов попадания в них
траектории цепи Маркова.
Определения. Состояние j однородной цепи Маркова следует за состоянием i,
т.е. i → j, если p
ij
(t) > 0 при некотором t < ∞. Если i → j и j → i, то состояния i и
j называют сообщающимися: i ∼ j.
Состояние i ∈ M называется:
поглощающим, если p
ii
(1) = 1,
периодическим с периодом d > 1, если НОД{t : p
ii
(t) > 0} = d,
непериодическим, если оно периодическое с периодом 1,
несущественным, если ∃j ∈ M : i → j, j 9 i,
существенным, если ∀j ∈ M : {i → j} ⇒ {j → i}.
Существенное состояние i называется:
возвратным, если P{∃t < ∞ : ξ
t
= i|ξ
0
= i} = 1,
возвратным нулевым, если при этом p
ii
(t) → 0, t → ∞,
возвратным положительным, если lim sup
t→∞
p
ii
(t) > 0.
Отношение ∼ является отношением эквивалентности на множестве состояний.
На множестве классов сообщающихся состояний определено отношение частичного
порядка: класс состояний A следует за классом B, если хотя бы одно состояние i ∈ A
следует за каким-нибудь состоянием j ∈ B. Ситуация A → B, B → A для классов
сообщающихся состояний возможна только при A = B.
14