Национальный исследовательский технологический университет «МИСиС» Институт информационных технологий и автоматизированных систем управления (ИТКН) Кафедра АСУ Курс «Основы теории информации» Практическая работа №6 Выполнила: Абрамова Анастасия студентка группы БИВТ-19-4 Проверил: Громов С.В. Москва 2021 г. 1. Из 80 случаев, когда автомобиль проезжал определенный железнодорожный переезд, он был закрыт в 14 случаях. Чему равна энтропия множества вероятностей в битах? Ответ: 0.825 log 2 (0.825) − 0.175 log 2 (0.175) ≈ 0.67 2. Из перетасованной колоды вытаскивается карта. Различаются три случая: E1—вытащен король треф; E2— вытащена любая карта пик; E3 — вытащена любая другая карта. Какова энтропия разнообразия различаемых случаев? Ответ: В полной колоде 52 карты, поэтому вероятность события Е1 = 1/52 ≈ 0.019, Е2 = 1/4 = 0.25, Е3 = 19/26 ≈ 0.731 Поэтому энтропия множества будет равна −0.019 log 2 (0.019) − 0.25 log 2 (0.25) − 0.731 log 2 (0.731) ≈ 0.94 3. Чему равна энтропия разнообразия одного бросания игральной кости? Ответ: 0.167 log 2 (0.167)х6 ≈ 2.58 4. Чему равна энтропия разнообразия множества возможных исходов (с сохранением порядка) двух последовательных бросаний игральной кости? Ответ: 0.167 log 2 (0.167)х6 + (−0.167 log 2 (0.167)х6) ≈ 5.17 5. Чему равна энтропия n последовательных бросаний? Ответ: 2.58n. 6. Покажите, что последовательность букв Г и Р, образуемая бросанием монеты, имеет среднюю энтропию в 1 бит на каждое бросание. (Указание: постройте матрицу переходных вероятностей.) Ответ: 0.5 log 4 (0.5) х 4 = 1 Г Р Г ½ ½ Р ½ ½ 7. Что случится, если монета погнута? Ответ: Энтропия всегда будет < 1 бита.
