Гуськов, А.В., Милевский, К.Е. Надежность технических систем и техногенный риск. Часть 2
Подождите немного. Документ загружается.
9
точки
Изобразим состояния системы в виде графа (рис. 5.27), где
стрелками указаны возможные переходы системы из состояния в
состояние
за
один шаг.
Случайный процесс (марковскую цепь) можно представить себе
так, как будто точка, изображающая систему
S
, случайным образом
перемещается (блуждает) по графу состояний, перескакивая из
состояния в состояние в моменты
t
1
,
t
2
,
t
3
, …, а иногда (в общем
случае) и задерживаясь какое-то число шагов в одном и том же
состоянии.
Например, последовательность переходов
S
1
→
S
3
→
S
2
→
S
2
→
S
3
→
S
5
→
S
6
→
S
2
можно изобразить на графе состояний как последовательность
различных положений точки (см. пунктирные стрелки, изображающие
переходы из состояния в состояние на рис. 5.28). «Задержка» системы
в состоянии
S
2
на третьем шаге изображена стрелкой, выходящей из
состояния
S
2
и в него же возвращающейся.
Для любого шага (момента времени
t
1
,
t
2
, …,
t
k
, … или номера 1,
2, …,
k
…) существуют какие-то вероятности перехода системы из
любого состояния в любое другое (некоторые из них равны нулю,
если непосредственный переход за один шаг невозможен), а также
вероятность задержки системы в данном состоянии.
Будем называть эти вероятности
переходными вероятностями
марковской цепи.
Марковская цепь называется
однородной
, если переходные
вероятности не зависят от номера шага. В противном случае
марковская цепь называется
неоднородной.
S
3
S
1
S
6
S
4
S
2
S
5
Р
13
Р
35
Р
56
Р
62
Р
46
Р
45
Р
24
Р
43
Р
32
Р
23
Р
12
Рис. 5.29. Граф состояний однородной
10
марковской цепи
Рассмотрим сначала однородную марковскую цепь. Пусть систе-
ма
S
имеет
n
возможных состояний
S
1
,
S
2
, …,
S
n
. Предположим, что
для каждого состояния нам известна вероятность перехода в любое
другое состояние за один шаг (в том числе и вероятность задержки в
данном состоянии). Обозначим
P
ij
– вероятность перехода за один шаг
из состояния
S
i
в состояние
S
j
;
P
ii
будет вероятность задержки системы
в состоянии
S
i
. Запишем переходные вероятности
P
ij
в виде
прямоугольной таблицы (матрицы):
11 12 1 1
21 22 2 2
1 2
1 2
... ...
... ...
..................................
... ...
.................................
... ...
j n
j n
ij
i i ij in
n n nj nn
P P P P
P P P P
P
P P P P
P P P P
=
. (5.81)
Некоторые из переходных вероятностей
P
ij
могут быть равны
нулю: это означает, что за один шаг переход системы из
i
-го
состояния
в
j
-е невозможен. По главной диагонали матрицы переходных
вероятностей стоят вероятности
P
ii
того, что система не выйдет из
состоя-ния
S
i
, а останется в нем.
Пользуясь введенными выше событиями
S
1
(k)
,
S
2
(k)
, … ,
S
n
(k)
,
переходные вероятности
P
ij
можно записать как условные
вероятности:
P
ij
=
P
(
S
j
(k)
/
S
i
(k–1)
).
Отсюда следует, что сумма членов, стоящих в каждой строке матрицы
(5.81), должна быть равна единице, так как, в каком бы состоянии
система ни была перед
k
-м шагом, события
S
1
(k)
,
S
2
(k)
, … ,
S
n
(k)
несовместны и образуют полную группу.
При рассмотрении марковских цепей часто бывает удобно
пользоваться графом состояний, на котором у стрелок проставлены
соответствующие переходные вероятности (см. рис. 5.29). Такой граф мы
будем называть «размеченным графом состояний».
11
Заметим, что на рис. 5.29 проставлены не все переходные
вероятности, а только те из них, которые не равны нулю и меняют
состояние системы, т.е.
P
ij
при
I
≠
j
; «вероятности задержки»
P
11
,
P
22
проставлять на графе излишне, так как каждая из них
дополняет до
единицы
сумму переходных вероятностей, соответствующих всем
стрелкам, исходящим из данного состояния. Например, для графа рис.
5.29:
P
11
= 1 – (
P
12
+
P
13
),
P
22
= 1– (
P
23
+
P
24
),
P
33
= 1 – (
P
32
+
P
35
),
P
44
= 1– (
P
43
+
P
45
+
P
46
),
P
55
= 1 –
P
56
,
P
66
= 1 –
P
62
.
Если из состояния
S
i
не исходит ни одной стрелки (переход из него
ни в какое другое состояние невозможен), соответствующая
вероятность задержки
P
ii
равна единице.
Имея в распоряжении размеченный граф состояний (или, что
равносильно, матрицу переходных вероятностей) и зная начальное
состояние системы, можно найти вероятности состояний
p
1
(
k
),
p
2
(
k
), …,
p
n
(
k
)
после любого (
k
-го) шага.
Покажем, как это делается.
Предположим, что в начальный момент (перед первым шагом)
система находится в каком-то определенном состоянии, например
S
m
.
Тогда, для начального момента (0) будем иметь:
p
1
(0) = 0;
p
2
(0) = 0; …;
p
m
(0) = 1; …;
p
n
(0) = 0,
т.е. вероятности всех состояний равны нулю, кроме вероятности
начального соcтояния
S
m
, которая равна единице
Найдем вероятности состояний после первого шага. Мы знаем, что
перед первым шагом система заведомо находится в состоянии
S
m
.
Значит, за первый шаг она перейдет в состояния
S
1
,
S
2
, …,
S
m
, …,
S
n
с вероятностями
P
m1
,
P
m2
, …,
P
mm
, … ,
P
mn
,
записанными в
m
-й строке матрицы переходных вероятностей. Таким
образом, вероятности состояний после первого шага будут:
p
1
(1) =
P
m1
;
p
2
(1) =
P
m2
; … ;
p
m
(1) =
P
mm
; …;
p
n
(1) =
P
mn
. (5.82)
12
Найдем вероятности состояний после второго шага:
p
1
(2),
p
2
(2), …,
p
i
(2), …,
p
n
(2).
Будем вычислять их по формуле полной вероятности, с гипотезами:
•
после первого шага система была в состоянии
S
1
;
•
после второго шага система была в состоянии
S
2
;
…
•
после первого шага система была в состоянии
S
i
;
….
•
после первого шага система была в состоянии
S
n
.
Вероятности гипотез известны (см. (5.82)); условные вероятности
перехода в состояние
S
i
при каждой гипотезе тоже известны и
записаны в матрице переходных вероятностей. По формуле полной
вероятности получим:
p
1
(2) =
p
1
(1)
P
11
+
p
2
(1)
P
21
+ …+
p
n
(1)
P
n1
;
p
2
(2) =
p
1
(1)
P
12
+
p
2
(1)
P
22
+ …+
p
n
(1)
P
n2
;
………………………………………………
p
i
(2) =
p
1
(1)
P
1i
+
p
2
(1)
P
2i
+ …+
p
n
(1)
P
ni
; (5.83)
……………………………………………..
p
n
(2) =
p
1
(1)
P
1n
+
p
2
(1)
P
2n
+ …+
p
n
(1)
P
nn
,
или, гораздо короче,
1
(2) (1) ,
n
i i j
i
p p P
=
=
е
(
i
= 1, …,
n
). (5.84)
В формуле (5.84) суммирование распространяется формально на
все состояния
S
1
, …,
S
n
, фактически учитывать надо только те из них,
для которых переходные вероятности
P
ij
отличны от нуля, т.е. те
состояния, из которых может совершиться переход в состояние
S
i
(или задержка в нем).
Таким образом, вероятности состояний после второго шага
известны. Очевидно, после третьего шага они определяются
аналогично:
1
(3) (2) ,
n
i j ji
i
p p P
=
=
е
(5.85)
и вообще после
k
-го шага:
13
1
( ) ( 1) ,
n
i j
i
p k p k Pj
=
= -
е
(
i
= 1,…,
n
). (5.86)
Итак, вероятности состояний
p
i
(
k
) после
k
-го шага определяются
рекуррентной формулой (5.86) через вероятности состояний после
(
k
-1)-го шага; те в свою очередь – через вероятности состояний после
(
k
-2)-го шага и т.д.
Пример 5.9.
По некоторой цели ведется стрельба четырьмя
выстрелами в моменты времени
t
1
,
t
2
,
t
3
,
t
4
.
Возможные состояния цели (системы
S
):
S
1
– цель невредима;
S
2
– цель незначительно повреждена;
S
3
– цель получила существенные повреждения;
S
4
– цель полностью поражена (не может функционировать).
Размеченный граф состояний системы показан на рис. 5.30. В
начальный момент цель находится в состоянии
S
1
(не повреждена).
Определить вероятности состояний цели после четырех выстрелов.
Решение.
Из графа состояний имеем:
P
12
= 0,4;
P
13
= 0,2;
P
14
= 0,1 и
P
11
= 1 – (
P
12
+
P
13
+
P
14
) = 0,3.
S
1
S
3
S
2
S
4
0,4
0,1
0,4
0,2
0,7
0,2
Рис. 5.30. Граф состояний системы
для примера 5.9
Аналогично находим:
P
21
= 0,
P
22
= 0,4,
P
23
= 0,4,
P
24
= 0,2,
P
31
= 0,
P
32
= 0,
P
33
= 0,3,
P
34
= 0,7,
P
41
= 0,
P
42
= 0,
P
43
= 0,
P
44
= 1.
Таким образом, матрица переходных вероятностей имеет вид:
0,3 0,4 0,2 0,1
14
0 0,4 0,4 0,2
||
P
ij
|| = 0 0 0,3 0,7
0 0 0 1
Так как в начальный момент цель
S
находится в состоянии
S
1
, то
p
1
(0) = 1.
Вероятности состояний после первого шага (выстрела) берутся из
первой строки матрицы:
p
1
(1) = 0,3;
p
2
(0) = 0,4;
p
3
(0) = 0,2;
p
4
(0) = 0,1.
Вероятности состояний после второго шага:
p
1
(2) =
p
1
(1)
P
11
= 0,3·0,3 = 0,09;
p
2
(2) =
p
1
(1)
P
12
+
p
2
(1)
P
22
= 0,3·0,4+0,4·0,4 = 0,28;
p
3
(2) =
p
1
(1)
P
13
+
p
2
(1)
P
23
+
p
3
(1)
P
33
=
= 0,3·0,2 + 0,4·0,4 + 0,2·0,3 = 0,28;
p
4
(2) =
p
1
(1)
P
14
+
p
2
(1)
P
24
+
p
3
(1)
P
34
+
p
4
(1)
P
44
=
= 0,3·0,1 + 0,4·0,2 + 0,2·0,7 + 0,1·1 = 0,35.
Вероятности состояний после третьего шага:
p
1
(3) =
p
1
(2)
P
11
= 0,09·0,3 = 0,027;
p
2
(3) =
p
1
(2)
P
12
+
p
2
(2)
P
22
= 0,09·0,4 + 0,28·0,4 = 0,148;
p
3
(3) =
p
1
(2)
P
13
+
p
2
(2)
P
23
+
p
3
(2)
P
33
=
= 0,09·0,2 + 0,28·0,4 + 0,28·0,3 = 0,214;
p
4
(3) =
p
1
(2)
P
14
+
p
2
(2)
P
24
+
p
3
(2)
P
34
+
p
4
(2)
P
44
=
= 0,09·0,1 + 0,28·0,2 + 0,28·0,7 + 0,35·1 = 0,611.
Вероятности состояний после четвертого шага:
p
1
(4) =
p
1
(3)
P
11
= 0,0081;
p
2
(4) =
p
1
(3)
P
12
+
p
2
(3)
P
22
= 0,27·0,4 + 0,148·0,4 = 0,0700;
p
3
(4) =
p
1
(3)
P
13
+
p
2
(3)
P
23
+
p
3
(3)
P
33
=
= 0,027·0,2 + 0,148·0,4 + 0,214·0,3 = 0,1288;
p
4
(4) =
p
1
(3)
P
14
+
p
2
(3)
P
24
+
p
3
(3)
P
34
+
p
4
(4)
P
44
=
= 0,027·0,1 + 0,148·0,2 + 0,214·0,7 + 0,611·1 = 0,7931.
Таким образом, нами получены вероятности всех исходов
обстрела цели (четырех выстрелов):
•
цель не повреждена;
p
1
(4) = 0,008;
•
цель получила незначительные повреждения:
p
2
(4) = 0,070;
•
цель получила существенные повреждения:
p
3
(4) = 0,129;
15
•
цель поражена полностью:
p
4
(4) = 0,793.
Мы рассмотрели однородную марковскую цепь, для которой
вероятности перехода от шага к шагу не меняются.
Рассмотрим теперь общий случай – неоднородную марковскую
цепь, для которой вероятности перехода
P
ij
меняются от шага к шагу.
Обозначим
P
ij
(k)
– вероятность перехода системы из состояния
S
i
в
состояние
S
j
на
k
-м шаге, т.е. условную вероятность
P
ij
=
P
(
S
j
(k)
/
S
i
(k–1)
).
Предположим, что нам заданы матрицы вероятностей перехода на
каждом шаге. Тогда вероятность того, что система
S
после
k
шагов
будет находиться в состоянии
S
i
, выразится формулой:
( )
( ) ( 1)
k
i j ji
j
p k p k P= -
е
(
i
= 1,…,
n
), (5.87)
которая отличается от аналогичной формулы (5.86) для однородной
цепи Маркова только тем, что в ней фигурирует вероятность
перехода, зависящая от номера шага
k
. Вычисления по формуле (5.87)
ничуть не сложнее, чем в случае однородной цепи.
Пример 5.10.
Производится три выстрела по цели, которая может
быть в тех же четырех состояниях
S
1
,
S
2
,
S
3
,
S
4
, что и в предыдущем
примере, но вероятности перехода для трех последовательных
выстрелов различны и заданы тремя матрицами:
(1)
ij
P
=
0,3 0,4 0,2 0,1
0 0,4 0,4 0,2
0 0 0,3 0,7
0 0 0 1
,
(2)
ij
P
=
0,1 0,4 0,3 0,2
0 0,2 0,5 0,3
0 0 0,2 0,8
0 0 0 1
,
16
(3)
ij
P
=
0,05 0,3 0,4 0,25
0 0,1 0,6 0,3
0 0 0,1 0,9
0 0 0 1
.
В начальный момент цель находится в состоянии
S
1
. Найти
вероятности состояний после трех выстрелов.
Решение.
Имеем:
p
1
= 0,3;
р
2
(1) = 0,4;
p
3
(1) = 0,2;
Р
4
(1) = 0,1;
р
1
(2) =
p
1
(1)
Р
(2)
11
= 0,3
⋅
0,1 = 0,30;
p
2
(2) =
p
1
(1)
P
(2)
12
+
p
(1)
P
(2)
22
= 0,3
⋅
0,4+0,4
⋅
0,2 = 0,20;
p
3
(2) =
p
1
(1)
P
(2)
13
+
p
2
(1)
P
(2)
23
+
p
3
(1)
P
(2)
33
= 0,33;
p
4
(2) =
p
1
(1)
P
(2)
14
+
p
2
(1)
P
(2)
24
+
p
3
(1)
P
(2)
34
+
p
4
(1)
P
(2)
44
= 0,44;
p
1
(3) =
p
1
(2)
P
(3)
11
= 0,002;
p
2
(3) =
p
1
(2)
P
(3)
12
+
p
2
(2)
P
(3)
22
= 0,029;
p
3
(3) =
p
1
(2)
P
(3)
13
+
p
2
(2)
P
(3)
23
+
p
3
(2)
P
(3)
33
= 0,165;
p
4
(2) =
p
1
(2)
P
(3)
14
+
p
2
(2)
P
(3)
24
+
p
3
(2)
P
(3)
34
+
p
4
(2)
P
(3)
44
= 0,804.
Итак, вероятности состояний после трех выстрелов:
Р
1
(3) = 0,002;
р
2
(3) = 0,029;
р
3
(3) = 0,165;
р
4
(3) = 0,804.
МАРКОВСКИЙ ПРОЦЕСС
С ДИСКРЕТНЫМИ СОСТОЯНИЯМИ
И НЕПРЕРЫВНЫМ ВРЕМЕНЕМ.
УРАВНЕНИЯ КОЛМОГОРОВА
ДЛЯ ВЕРОЯТНОСТЕЙ СОСТОЯНИЙ
В предыдущем подразделе мы рассматривали марковскую цепь,
т.е. случайный процесс, протекающий в системе, которая случайным
17
образом может переходить из состояния в состояние только в
некоторые заранее определенные, фиксированные моменты времени.
На практике значительно чаще встречаются ситуации, когда
переходы системы из состояния в состояние происходят не в
фиксированные, а в случайные моменты времени, которые заранее
указать невозможно – переход может осуществиться, вообще говоря, в
любой момент. Например, выход из строя (отказ) любого элемента
аппаратуры может произойти в любой момент времени; окончание
ремонта (восстановление) этого элемента также может произойти в
заранее не зафиксированный момент и т.д. Для описания таких
процессов в ряде случаев может быть с успехом применена схема
марковского случайного процесса с дискретными состояниями и
непрерывным време-
нем, который мы будем для краткости называть
непрерывной цепью
Маркова.
Покажем, как выражаются вероятности состояний для такого
процесса. Пусть имеется ряд дискретных состояний:
S
1
,
S
2
, ...,
S
n
;
переход (перескок) системы
S
из состояния в состояние может
осуществляться в любой момент времени. Граф состояний системы
представлен на рис. 5.31.
S
1
S
2
S
3
S
i
S
j
S
n
Рис. 5.31. Граф состояний непрерывной марковской цепи
18
Обозначим
р
i
(
t
) – вероятность того, что в момент
t
система
S
будет
находиться в состоянии
S
i
(
i
= 1, ...,
n
). Очевидно, для любого момен-
та
t
сумма вероятностей состояний равна единице:
1
( ) 1
n
i
i
p t
=
=
е
(5.88)
как события, состоящие в том, что в момент
t
система находится в
состояниях
S
1
,
S
2
,
S
3
,
…
,
S
n
, несовместны и образуют полную группу.
Поставим задачу – определить для любого
t
вероятности
состояний:
p
1
(
t
),
p
2
(
t
),…,
p
n
(
t
). Для того чтобы найти эти вероятности,
необходимо знать характеристики процесса, аналогичные переходным
вероятностям для марковской цепи. В случае процесса с непрерывным
временем нам не придется задавать определенные, отличные от нуля
переходные вероятности
Р
ij
.
Вероятность перехода (перескока)
системы из состояния в состояние точно в момент
t
будет равна нулю
(так же, как вероятность любого отдельного значения непрерывной
случайной величины). Вместо переходных вероятностей
Р
ij
мы введем
в рассмотрение плотности вероятностей перехода.
Пусть система
S
в момент
t
находится в состоянии
S
i.
Рассмотрим
элементарный промежуток времени ∆
t
, примыкающий к моменту
t
(рис. 5.32). Назовем плотностью вероятности перехода
λ
ij
предел от-
ношения вероятности перехода системы за время ∆
t
из состояния
S
i
∆
t
0 t t +∆t t
Рис. 5.32. Время перехода системы S
из состояния S
i
в состояние S
j
в состояние
S
j
к длине промежутка ∆
t
:
λ
ij =
0
( )
lim
ij
t
P t
t
∆
∆
∆
®
,
(5.89)
где
P
ij
(∆
t
) – вероятность того, что система, находившаяся в момент
t
в состоянии
S
i
за время ∆
t
перейдет из него в состояние
S
j
(плотность
вероятностей перехода определяется только для
j
≠
1)
.