Лабораторная работа 2. Сжатие информации

Типовые задачи
Задача 1. Построить код Хаффмена для ансамбля сообщений {xi}, i=1..5 с вероятностями
Px ( 0.2 0.2 0.2 0.2 0.2 ) .
Определить характеристики эффективного кода.
Задача 2. Построить код Хаффмена для ансамбля сообщений {xi}, i=1..8 с вероятностями
Px 1/4
1/ 4 1 / 8 1 / 8 1 / 16
1 / 16
1 / 16
1/ 16
.Определить характеристики кода.
Задача 3. Ансамбль сообщений {xi}, i=1..5 задан вектор-строкой вероятностей
Px 1 / 2
1 / 4 1 / 8 1 / 16
1 / 16
.
Закодировать сообщения кодом Хаффмена и обычным двоичным кодом.
Определить характеристики кодов и скорость передачи по каналу при условии, что
длительность двоичного символа
1.
Источник генерирует знак z1 с вероятностью 0.8 и z2 с вероятностью 0.2. Какова энтропия источника?
2.
Символы азбуки Морзе могут появиться в сообщении с вероятностями: для точки - 0.51, для тире - 0.31,
для промежутка между буквами - 0.12, между словами - 0.06. Определить среднее количество
информации в сообщении из 500 символов данного алфавита, считая, что связь между
последовательными символами отсутствует.
3.
Найти число значений m случайной величины Y, все значения которой одинаково вероятны, при
котором энтропия Y будет равна энтропии случайной величины X. вероятности значений которой
заданы таблицей:
x1 x2 x3 x4
x5
x6
x7
x8
xj
p(xj) 1/2 1/4 1/8 1/16 1/32 1/64 1/128 1/128
4.
Бросаются одновременно две игральные кости. Определить количество информации, содержащееся в
сообщении о том, что произведение числа выпавших очков четно.
5.
Два стрелка, для которых вероятности попадания в мишень равны соответственно 0.6 и 0.7, производят
по одному выстрелу. В результате оказалось, что мишень поражена. Какое количество информации
содержится в этом сообщении?
6.
Источник генерирует знак z1 с вероятностью 0.8 и Z2 с вероятностью 0.2. Постройте эффективные коды
Шенона-Фано и Хаффмана для последовательности из трех знаков zi, zj, zk. Каково среднее число
символов на знак? Сравните с энтропией источника.
7.
Построить коды Шеннона-Фэно и Хаффмана для с.д.в. вероятности значений которой заданы таблицей:
x1 x2 x3 x4
x5
x6
x7
x8
xj
p(xj) 1/2 1/4 1/8 1/16 1/32 1/64 1/128 1/128
Оценить оптимальность построенных кодов
Метод Шеннона-Фэно
Метод Хаффмена
Задания