Информатика и вычислительная техника
  • формат djvu
  • размер 188,07 КБ
  • добавлен 19 декабря 2014 г.
Потапов В.Н. Теория информации. Кодирование дискретных вероятностных источников
Новосибирск, НГУ. 1999. — 71 с.
Учебное пособие предназначено для студентов технических факультетов, а также студентов-математиков, специализирующихся в области теории информации. Пособие содержит описание основных методов сжатия дискретных данных и оценки их эффективности. Теоретический материал дополнен примерами и задачами.
СОДЕРЖАНИЕ
Предисловие
Литература
Основы теории информации.
Необходимые сведения из теории вероятности.
Энтропия как мера неопределенности опыта.
Свойства энтропии и информации.
Эмпирическая энтропия и число сочетаний.
Побуквенное кодирование.
Префиксные коды и неравенство Крафта.
Префиксные коды натурального ряда.
Нумерация двоичных слов заданного веса.
Стоимость и избыточность кодирования. Теорема Шеннона.
Префиксные коды Шеннона, Гильберта-Мура, Шеннона-Фано.
Оптимальное кодирование, код Хаффмана.
Блочное и неблочное кодирование.
Стационарные источники. Энтропия стационарного источника.
Блочное кодирование и теорема кодирования Шеннона.
Неблочное кодирование, его энтропия и стоимость.
Кодирование Ходака.
Арифметическое кодирование.
Избыточность арифметического кодирования.
Универсальное кодирование.
Оптимальное универсальное кодирование.
Кодирование Бабкина-Фитингофа.
Интервальное кодирование.
Схема кодирования Лемпела-Зива.
Передача сообщений по каналам связи, допускающим ошибки.
Канал связи и его пропускная способность.
Теорема кодирования Шеннона.
Коды, исправляющие ошибки.
Границы Хэмминга и Варшамова-Гильберта
Задачи.