неопределенность. С получением информации эта неопределенность снимается. Таким образом,
статистическая количественная характеристика информации — это мера, на основе которой в
процессе получения информации снимается неопределенность системы. Естественно, что
количество информации зависит от закона распределения состояний системы.
Введем количественную меру информации для простейшего варианта передачи
равновероятных сообщений. Пусть источник формирует М сообщений, каждое из которых
передается неизбыточным кодом длиной п. Определим число сведений/в некотором сообщении,
полагая, что оно линейно зависит от длины кода, т.е. f=kn, где k — коэффициент
пропорциональности. Будем считать что выполняются следующие условия: осуществляется
передача дискретных сообщений; сообщения являются равновероятными и взаимонезависимыми;
символы, выдаваемые источником, взаимонезависимы; система счисления (основание кода) А"
конечна. Тогда число передаваемых сообщений составляет М = А". Учитывая, что f=kn, получаем
df=kdn, dM = К" In Kdn, dn = dM/k"\nK, df=kdM/M\nk.
Отсюда
/ = k In Л//1п К = ki log, Л//1п К = ko 1о&,Л/,
где &o
=
k[/\n K; k\ = k Ina.
За единицу количества информации примем число сведений, которые передаются двумя
равновероятными сообщениями. Назовем эту единицу двоичной единицей информации. Тогда
для/= 1, М- 1 получим /= ko log,, 2. Отсюда а = 2, ko = 1 и, следовательно, количество информации
в сообщении составит /= log
2
M.
Эта формула получила название формулы Хартли. Из нее следует, что для равновероятных
дискретных сообщений количество информации зависит лишь от числа передаваемых сообщений.
Если сообщения отображаются неизбыточным кодом, то, подставляя М = К", получим /= п Iog2
К.
Видно, что число двоичных единиц информации, содержащихся в одном сообщении, прямо
пропорционально длине кода п и возрастает с увеличением его основания. Если основание кода К-
2, то количество информации, содержащееся в любом сообщении, передаваемом неизбыточным
кодом, составит /= п двоичных единиц или бит. Отсюда видно, что если длина сообщения равна п,
то сообщение содержит п бит информации, т.е. один элемент кода несет одну двоичную единицу
информации. Информация, содержащаяся в сообщении, складывается из информации, которую
несет каждый элемент кода, поэтому мера информации является аддитивной.
Аддитивность статистической меры информации позволяет определить ее количество и в более
общем случае, когда передаваемые дискретные сообщения являются неравновероятными. Можно
предположить, что количество информации, содержащейся в конкретном дискретном сообщении,
функционально зависит от вероятности выбора этого сообщения. Тогда для сообщения XQJ
возникающего с вероятностью Дд%
;
), количество информации может быть описано в виде 7= ф [Р
(%)]. Пусть вслед за сообщением XQ/ из источника формируется сообщение Xf>
k
. Вероятность
последовательного возникновения этих сообщений обозначим Р(щ, x
jK
). Количество информации,
которая будет содержаться в этих сообщениях, оценим как 1 = ф [Р(ху, АО*)]. Учитывая
аддитивный характер принятой выше статистической меры информации, будем считать, что
количество информации, заключенное в последовательности сообщений XQJ, хоь равно сумме
количеств информации, содержащихся в каждом из выбранных сообщений. Тогда
где Р (XQIC/XQJ) — вероятность возникновения сообщения x^
k
при условии появления перед ним
сообщения щ.
Соответственно вероятность возникновения последовательности сообщений XQJ, XQ
K
составит ?
(:%, XQ*) = A*Q/) [P CWxfy). Отсюда
Дифференцируя по переменной P(XQJ), получим
= Ф'
Умножим левую и правую части уравнения на вероятность P(XQJ), тогда
Учитывая, что вероятность P(XOJ) находится в пределах от 0 до 1, видим, что части уравнения
должны представлять собой постоянную величину, т.е. P(XQJ) ср' [ P[xoJ)] = k, где k — постоянная
величина. Отсюда ф' [Р(хщ)] = k/P(x<)j). Количество информации в j-м сообщении составит
<
?
[P(
XO
j)}= klnP^+C,
где с — постоянная интегрирования. Для определения с рассмотрим частный случай, когда
имеет место передача лишь одного j-ro сообщения, т.е. P(XQJ)=\. Подставляя Джо,) = 1 в
приведенное уравнение, находим, что с = 0, а отсюда