Чечёта С.И. Введение в дискретную теорию информации и кодирования

Учебное издание. — М.: МЦНМО, 2011. — 224 с. ISBN 978-5-94057-701-0 В пособии рассматриваются три основные проблемы: количественная оценка информации, создаваемой дискретными источниками и передаваемой по дискретным каналам связи; оптимальное кодирование для дискретных источников; помехоустойчивое кодирование для дискретных каналов. Пособие нацелено прежде всего на выделение и объяснение математических понятий, моделей и результатов, которые лежат в основе теории, и тем самым на создание условий для дальнейшего самостоятельного изучения её специальных и более сложных разделов и практических приложений.
Предполагается, что читатель владеет необходимыми знаниями по математическому анализу, алгебре, теории вероятностей, дискретной математике. Для преподавателей и научных работников, студентов и аспирантов. Содержание
Предисловие
Обозначения
Энтропия и взаимная информация
Введение
Дискретные случайные величины
Количество информации
Энтропия
Средняя взаимная информация
Аксиоматическое определение энтропии
Задачи
Дискретные источники сообщений
Вероятностные модели источников
Энтропия стационарных источников сообщений
Асимптотическая равнораспределённость
Задачи
Кодирование дискретных источников
Коды и кодовые деревья
Средняя длина оптимального кода
Алгоритм оптимального кодирования
Задачи
Дискретные каналы связи
Основные понятия
Симметричные каналы
Соединение каналов
Геометрическое представление
Задачи
Теоремы кодирования
Вероятность ошибочного декодирования. Обратная теорема кодирования
Прямая теорема кодирования
Задачи
Коды, исправляющие ошибки
Блоковые коды
Линейные коды
Циклические коды
Коды Хэмминга
Задачи
Послесловие
Список литературы