Мурыгин А.В., Бочаров А.Н. Теория информации и кодирования

Методическое пособие. — Красноярск: Сибирский государственный аэрокосмический.
университет имени академика М.Ф. Решетнева, 2007. — 27 с. В работе рассмотрены основы теории информации, вопросы информационной метрики, оптимального неравномерного кодирования, принципы построения корректирующих кодов. Предисловие.
Информационная метрика.
Энтропия и ее свойства.
Энтропия сложной системы.
Условная энтропия. Объединение зависимых систем.
Определение информационных потерь в каналах связи.
Кодирование информации.
Количественное определение избыточности в сообщениях.
Оптимальное неравномерное кодирование.
Кодирование методом Шеннона-Фано.
Кодирование методом Хаффмана.
Определение оптимальности закодированных сообщений.
Корректирующие коды.
Код Хемминга.
Линейные групповые коды.
Указания к выполнению лабораторных работ.
Энтропия как мера степени неопределенности системы.
Энтропия сложной системой. Условная энтропия.
Определение избыточности сообщений. Оптимальное неравномерное кодирование.
Определение и исправление ошибок в сообщении. Код Хемминга.
Линейные групповые коды.
Заключение.
Библиографический список.