Практическое задание №2 Вариант 1

Практическое задание №2
Вариант 1
По каналу связи передаются с равной вероятностью N:=6 кодовых
комбинаций. В 40% всех случаев передачи происходит трансформация
сигналов, причем любая комбинация может перейти в другую с равной
вероятностью. Определить количество информации в расчете на одну
переданную комбинацию.
Решение:
Предварительно определим единицы измерения количества информации:
а) при натуральном логарифме (нит) −nit := ln (е );
б) при двоичном логарифме (бит) – bit := nit *ln ( 2)
На входе канала имеется шесть (I := 1..6) комбинаций – х1, х2, х3, х4, х5, х6. На
выходе канала при правильной передаче им однозначно соответствуют шесть
(j := 1..6) комбинаций - y1↔x1, y2↔x2, y3↔x3, y4↔x4, y5↔x5, y6↔x6.
Передаваемая комбинация хi может под влиянием помех
трансформироваться (перейти) в любую из комбинаций уj с вероятностью р 0
:= 0.4 и принята правильно с вероятностью р п := 1-p 0. Вероятность ошибки,
например, комбинации х1 Pош(x1)=
P(y2/x1)+P(y3/x1)+P(y4/x1)+P(y5/x1)+P(y6/x1)=p0=0.4,
где
P(yj/xi), i не равно j – условная вероятность приема комбинации yj при
условии передачи комбинации xi. Так как комбинация может перейти в
любую другую с равной вероятностью, то P(yj/xi)=p0 /
(N-1)=0.08 , i-j и
P(yi/xi)=pп=0.6 при j=i .
Следовательно, данный канал передачи информации характеризуется
канальной матрицей условных вероятностей P(yj/xi)=Py хj,i
ORIGIN =
1
0.6 0.08 0.08 0.08 0.08 0.08
0.08 0.6 0.08 0.08 0.08 0.08
Py x :=
0.08 0.08 0.6
0.08 0.08 0.08
0.08 0.08 0.08 0.6
0.08 0.08
0.08 0.08 0.08 0.08 0.6
0.08
0.08 0.08 0.08 0.08 0.08 0.6
Количество информации в среднем на одну переданную комбинацию
I(X,Y)=H(Y)-H(Y/X), гдеH(Y) –энтропия принимаемой комбинации; H(Y/X)
–условная энтропия, т.е. энтропия принимаемой комбинации при условии,
что известна передаваемая комбинация.
Так как комбинации передаются и принимаются с равной вероятностью, то
вероятность передачи
i-й и приема j-й комбинации
1
1
Pxi := ; Px1 = 0.167; Pyj := ; Py1 = 0.167
𝑁
𝑁
Согласно (1.1), энтропия принимаемой комбинации
𝐻𝑌 ∶= − ∑𝑗=1 6 𝑃𝑌 𝑗 ∗ ln(𝑃𝑌𝑗) ; 𝐻𝑦 = 2.585 ∗ 𝑏𝑖𝑡
Согласно (1.7) с учетом P(xi,yj)=P(xi)P(yj/xi) условная энтропия принимаемой
комбинации при известной передаваемой. Таким образом, количество
информации на одну переданную комбинацию
IXY := HY-HYх; Iху = 0.685* bit.