Вероятность и количество информации (Шеннон)

Тема: Вероятностный подход к измерению количества информации
Цели урока: познакомить учащихся с формулой подсчета вероятности события, формулой
Шеннона для подсчета количества информации в случае различных вероятностей событий,
закрепить теорию решением задач
Ход урока
Введем формулу подсчета вероятности интересующего нас события.
Пусть N — общее число возможных исходов какого-то процесса, из них интересующее нас событие
может произойти К раз. Тогда вероятность p этого события равна:
р=К/N
Вероятность выражается в долях единицы. В частном случае вероятность достоверного события = 1.
Пример 1.
В барабане имеется 50 шаров. Из них 40 белых и 10 черных. Какова вероятность того, что выпадет
белый шар? черный шар?
Решение.
Обозначим вероятность выпадения белого шара Рб, вероятность выпадения черного шара — Pч
Тогда Рб = 40 / 50 =0.8 Рч = 10/50 = 0.2
Пример 2.
В пруду живут 8000 карасей, 2000 щук и 40 000 пескарей. Найти вероятность попадания каждой
рыбки.
Решение.
Всего в пруду
8000+ 2000+ 40 000 = 50 000 рыб.
Рк= 8000 / 50000=0,16
Рщ= 2000 / 50000 = 0,004
Рп = 4000 / 50000 = 0,8
Формулу для подсчета количества информации в случае различных вероятностей событий предложил
К.Шеннон в 1948 г.
Iколичество информации
𝐼 = ∑𝑁
𝑖=1 𝑙𝑜𝑔2
1
𝑃𝑖
1
1
1
2
1
= 𝑙𝑜𝑔2 (𝑃 ∗ 𝑝 ∗ … ∗ р )
N — кол. возможных событий
Pi — вероятность 1-го события
𝑁
Количественная зависимость между вероятностью события P и количеством информации в сообщении
о нем i выражается формулой:
𝑖 = 𝑙𝑜𝑔2
1
𝑃
Вернемся к примеру 1 и определим количество информации в сообщении о выпадении белого и
черного шара.
Iб = log2 1 / 0,8 = log2 1,25 = 0,321928
Iч = log2 1 / 0,2 = log2 5 = 2, 321928
Задача: В коробке 64 карандаша разного цвета. Достали карандаш белого цвета. Информационный
объем этого события = 4 битам. Сколько карандашей белого цвета в коробке?
1. Рб=х/64 – вероятность события для одного из белых карандашей
64
2. 𝑖 = 4 = 𝑙𝑜𝑔2 1⁄ 𝑥 = 𝑙𝑜𝑔2 ( )
𝑥
( )
64
3. 24 = 64/х; x=4
Ответ: B коробке 4 карандаша белого цвета