Шпоры к зачету по Теории информации для заочников 2 курс БТЭУПК

Зачет по Теории информации для заочников 2 курс БТЭУПК
Предмет теории информации.
Начальные определения: информация, материальный носитель, сигнал, сообщение, источник и приемник информации, система связи.
Формы представления информации. Преобразование сообщений: N1 N2, D1 D
2. Преобразование сообщений N D, D N. Теорема отсчетов.
Энтропия как мера неопределенности.
Энтропия и информация.
Информация и алфавит. Шенноновское сообщение. Относительная избыточность языка.
Постановка задачи кодирования. Длина кода.
Первая теорема Шеннона. Относительная избыточность кода. Особенности вторичного алфавита, используемого при кодировании.
Способы построения двоичных кодов. Неравномерный код с разделителем.
Префиксные коды. Условию Фано. Префиксный код Шеннона-Фано.
Префиксный код Хаффмана.
Системы счисления.
Представление чисел в различных системах счисления.
Кодирование и обработка в компьютере целых чисел.
Общая схема передачи информации в линии связи.
Обеспечение надежности передачи и хранения информации.
Коды, обнаруживающие ошибку
Коды, исправляющие одиночную ошибку