HHX px px
И ii
i
m
X
==−
=
∑
() ()log()
1
.
Часто производительность источника измеряется
количеством информации
ν
X()
, которое он выраба-
тывает за одну секунду (
ν—количество букв за одну
секунду). Максимальная производительность источ-
ника достигается, когда все буквы алфавита появля-
ются с равными вероятностями. В этом случае
m
= log .
МАРКОВСКИЕ ИСТОЧНИКИ СООБЩЕНИЙ
Рассмотренная модель дискретного источника со-
общений имеет сравнительно узкую область приме-
нения, поскольку реальные источники вырабатывают
слова при наличии статистической зависимости меж-
ду буквами. В реальных источниках вероятность вы-
бора какой-либо очередной буквы зависит от всех
предшествующих букв. Многие реальные источники
достаточно хорошо описываются марковскими моде-
лями источника сообщений.
Согласно указанной мо-
дели условная вероятность выбора источником оче-
редной
x
i
k
, буквы зависит
только от
ν предшествующих. Математической мо-
делью сообщений, вырабатываемых таким источни-
ком, являются цепи Маркова
-ãî порядка. В рамках
указанной модели условная вероятность выбора i
k
-й
буквы
p
p
i
k
i
k
i
k
ii
k
i
k
i
k
( | ..., ,..., ) ( | ,..., )
−−− − −
νν ν11 1
.
Если последнее равенство не зависит от времени, то
есть справедливо при любом значении k, источник на-
зывается однородным. Однородный марковский ис-
точник называется стационарным, если безусловная
вероятность выбора очередной буквы не зависит от k
(( ) ( ))p
p
i
k
i
= . В дальнейшем будем иметь дело
только со стационарными источниками. Вычислим
производительность источника для простой цепи
Маркова (
=l). В этом случае вероятность
p
p
p
p
ii
n
iii i
n
i
n
(,..., ) ()(|)...(| )
11211
−
.
Прологарифмировав последнее равенство, получим
−
−
log ( ... ) log ( ) log ( | ) ... log( |
p
p
p
ii
n
iii i
n
i
n11211
.
Это равенство показывает, что индивидуальное ко-
личество информации, которое несет слово, равно ко-
личеству информации, которое неcет первая буква,
плюс количество информации, которое несет вторая