Как измерить информацию

Как
измерить
информацию
Содержательный
подход (субъективный)
Сообщение информативно (содержит
ненулевую информацию), если оно
пополняет знания человека.
Если сообщение для человека
неинформативно, то количество информации
в нем с точки зрения этого человека равно
нулю. Количество информации в
информативном сообщении больше нуля.
Алфавитный
подход (объективный)
Под алфавитом понимают упорядоченный
конечный набор знаков, расположенных в
строго определенной последовательности
Полное число символов в алфавите
принято называть мощностью алфавита (N)
Например: Мощность алфавита из русских
букв и дополнительных символов равна 54:
33 буквы + 10 цифр + 11 знаков препинания,
скобки, пробел
Алфавитный
подход (объективный)
• Если сообщение содержит символы,
то оно информативно.
• Количество информации зависит от
количества символов и от алфавита,
из которого взяты эти символы
• Алфавит, используемый на
компьютере имеет всего 2 символа:
0и1
• Информационный вес каждого символа
или количество информации ( i ) и
мощность алфавита ( N ) связаны
формулой:
i
2=N
Удобнее всего измерять
информацию, когда размер
алфавита N равен целой степени
двойки, например, 2*2*2*2=16
• Ограничений на максимальный
размер алфавита теоретически не
существует, но есть алфавит,
который можно назвать
достаточным. Это алфавит
мощностью 256 символов.
Минимальная единица измерения
информации 1 бит (binari digit) (0 или 1)
Поскольку 256=2*2*2*2*2*2*2*2, т.е.
N=256, i = 8, то один символ этого
алфавита «весит» 8 бит. Это настолько
характерная величина, что ей присвоили
свое название байт. Т. о. 1 символ несет 1
байт информации, значит, посчитав
количество символов в тексте, мы
получим информационный объем текста,
выраженный в байтах.
Единица
измерения
• 1 байт информационный вес
символа из алфавита
8
мощностью 2 = 256
символов 1 байт = 8 бит
Единицы измерения
информации
1 байт = 8 бит
1 Кбайт (килобайт) = 1024 байта = 210 байт
1 Мбайт (мегабайт) = 1024 Кбайта = 220 байт
1 Гбайт (гигабайт) = 1024 Мбайта = 230 байт
Каждая следующая единица больше
предыдущей в 210 раз.
Новые единицы
• 1 терабайт (Тб) = 1024 Гбайт
9
• 1 эксабайт (Эб) = 10 Гбайта
Примеры:
• Страница книги 2,5 Кбайт
• Учебник 0,5 Мбайт
• Черно-белый телевизионный кадр
300 Кбайт
• Цветной кадр из 3 цветов – 1 Мбайт
Задача 1.
• Как посчитать объем информации в
тексте, если известно, что один символ
несет 1 байт информации?
• Сосчитаем количество символов в тексте
и умножим на 1 байт. Полученное
значение и будет информационным
объемом текста, выраженным в байтах.
Много или мало?
• Одна страница школьного учебника
содержит 50 строк, а в каждой строке –
60 знаков (включая пробелы между
словами), значит, количество
информации (без учета ее смысла)
приблизительно равно 2,5 Кбайт
• В учебнике 400 страниц, значит, его
общий информационный объем
примерно 1 Мбайт
Задача 2.
• Текст составлен с использованием
алфавита мощностью 64 символа и
содержит 100 символов. Каков
информационный объем текста?
i
i
• N = 64 2 = N 2 = 64 I = 6,
i
значит информационный
вес
одного символа равен 6 битам.
100 символов содержат 600 бит
информации
Задача 3.
• Информационный объем текста,
подготовленного с помощью
компьютерного редактора, равен 3,5 Кб.
Сколько символов содержит этот текст?
• 1 байт – информационный вес символа
компьютерного редактора, переводим 1
Кб = 1024 байта
3,5 Кб = 3,5 * 1024 байта =3 584 байта
или всего символов 3 584.
Задача 4. Переведите:
•
•
•
•
•
•
16 бит = …байт
4 байта = …бит
2,5 байта = …бит
20 Кбайт = …байт
100 Кбайт = …байт
2 Мбайта = …Кбайт
Проверка:
• Сколько символов можно закодировать с
помощью одного байта?
• Сколько байт информации содержится в
сообщении объемом четверть килобайта?
• Что больше: 15 360 байт или 16 килобайт?
• Какой объем информации содержится в
сообщении В английском алфавите 26 букв?
• Верно ли, что 6 мегабайт равны 6144 гигабайта?
• Перечисли все единицы измерения информации
в порядке возрастания