Лекция № 3. Измерение количества информации

Лекция №3. Подходы к понятию информации и измерению информации
План:
1. Вероятностный подход к измерению количества информации.
2. Единицы измерения количества информации.
3. Алфавитный подход к измерению количества информации.
4. Закрепление изученного материла. Решение задач.
1. Вероятностный подход к измерению информации:
Количество информации можно рассматривать как меру уменьшения неопределённости знания
при получении информационного сообщения.
Примеры:
Эта стена – зеленая? Да.
Дверь открыта? Нет.
Сегодня выходной? Нет.
Это новый автомобиль? Новый.
Ты будешь чай или кофе? Кофе.
Если вариантов больше…
4 варианта – 2 бита
8 вариантов – 3 бита
Количество
вариантов
2
4
8
16
32
64
128
256
512
1024
Количество
бит
информации
1
2
3
4
5
6
7
8
9
10
1 бит (binary digit, двоичная цифра) – это количество информации, которое мы получаем при
выборе одного из двух возможных вариантов (вопрос: «Да» или «Нет»?)
N=2i
N – количество возможных событий
i – количество информации
Задача:
В доме имеется 8 подъездов. Сколько информации несёт сообщение, что Вася живёт в 3
подъезде?
N = 8 = 23; i = 3 бита
2. Единицы измерения информации:
1 байт (bytе) = 8 бит
1 Кб (килобайт)
= 1024 байта
1 Мб (мегабайт)
= 1024 Кб = 1 048 576 байт
1 Гб (гигабайт)
= 1024 Мб = 1 073 741 824 байт
1 Тб (терабайт)
= 1024 Гб = 1 099 511 627 776 байт
1 Пб (петабайт)
= 1024 Тб = 1 125 899 906 842 626
Перевод в другие единицы:
25 Кб =
=25·1024 байт
=25·1024·8 бит
=25:1024 Мб
=25:1024:1024=25:10242 Гб
=25:1024:1024:1024= 25:10243 Тб
умножение
крупные
единицы
мелкие
единицы
деление
3. Алфавитный подход к измерению информации
Количество символов в алфавите (его размер) называют мощностью алфавита (N).
2i = N
i
I=Ki
Если считать, что все
Количество
Количество
символы в тексте
информации
информации в
появляются с
в одном
символьном сообщении
одинаковой частотой
(К – число символов)
символе
Если N=256=28, то «информационный вес» одного символа i = 8 бит = 1 байт
Алфавит – набор знаков, используемых при кодировании информации с помощью
некоторого языка.
Задача. Определить объем информации в сообщении
ПРИВЕТВАСЯ
для кодирования которого используется русский алфавит (только заглавные буквы).
Решение:
 считаем все символы (здесь 10 символов)
 мощность алфавита – 32 символа (32=25)
 1 символ несет 5 бит информации
Ответ: 10·5 бит = 50 бит
4. Закрепление пройденного материала.
1. Монета изготовлена так, что при бросании всегда выпадает "орел". Сколько информации
несет сообщение о результате двух бросаний монеты?
N = 1 = 20; I = 0 бит
2. Подбрасывается монета. Выпадение "орла" и "решки" равновероятно. Сколько
информации несет сообщение о результате броска?
N = 2 = 21; I = 1 бит
3. В доме имеется 6 подъездов. Сколько информации несёт сообщение, что Вася живёт в 3
подъезде?
N = 6 = 22,58; I = 2,58 бит
4. Алфавит племени Мульти состоит из 8 букв. Какое количество информации несет одна
буква этого алфавита?
8 = 23, i=3
5. Сообщение, записанное буквами из 64-х символьного алфавита, содержит 20 символов.
Какой объем информации оно несет?
N=2i, I=i*K
64 = 26, i=6 K=20 I = 6*20 = 120 бит
6. Объем сообщения, содержащего 2048 символов, составил 1/512 часть Мбайта. Каков
размер алфавита, с помощью которого записано сообщение?
N=2i, I=i*K
I=1/512 Мбайта=1024/512 Кбайт=2*1024 байта = 2048*8 бит; K=3072; i=I/K; i=2048*8/3072
= 5,3; N = 25,3 = 40
7. Сколько символов содержит сообщение, записанное с помощью 16-ти символьного
алфавита, если объем его составил 1/16 часть Мбайта?
N=2i, I=i*K
N=16; i=4; I=1/16 Мбайт = 1024/16 Кбайт = 64 Кбайт = 64*1024*8 бит; K = I/i =
64*1024*8/4 = 131072 символа
8. Сколько килобайтов составляет сообщение, содержащее 12288 битов?
12288/8 = 1536 байт = 1536/1024 = 1,5 Кбайт
9. Выяснить, сколько бит информации несет каждое двузначное число (отвлекаясь от его
конкретного числового значения).
Двузначные числа: 10 – 99; 89 штук: 89=2i; i=6,3..
Вопросы:
1.
2.
3.
4.
5.
6.
7.
8.
9.
Дать определения информации (бытовой, технический, научный подходы).
Назвать и пояснить свойства информации.
Назвать и пояснить действия с информацией.
Назвать и пояснить виды информации (по способу восприятия, представления, по
общественному значению).
Почему для кодирования информации в компьютере используются только два символа –
0 и 1?
В чем заключаются достоинства двоичного кодирования информации?
Как кодируются тексты?
Как кодируются изображения?
На чем основано кодирование числовой информации для компьютера?
Домашнее задание:
1. В корзине находятся 16 разноцветных шаров. Какое количество информации несёт
сообщение, что достали зелёный шар?
2. Сообщение, записанное буквами из 64-х символьного алфавита, содержит 20 символов.
Какой объем информации оно несет?