практическая работа №6

ПРАКТИЧЕСКАЯ РАБОТА №6
ИНФОРМАЦИОННО-ЭНТРОПИЙНЫЙ АНАЛИЗ
СИГНАЛОВ
Цель работы: изучить понятие информации, энтропии сигналов и
научиться вычислять их количественные значения в системе MATLAB.
Понятие информации
Согласно
общепринятой
терминологии
будем
пользоваться
следующим определением информации.
Слово «информация» имеет различный смысл. Общественнополитическая информация представляет собой совокупность сообщений
об актуальных новостях социальной системы. В кибернетике понятие
информации связано с хранением, обработкой и передачей сигналов. В
теории
вероятностей
информация
вводится
как
аддитивная
количественная мера сравнения вероятностей случайных событий
относительно друг друга. В основе всей теории информации лежит
открытие, что информация
допускает количественную оценку. В
простейшей комбинаторной форме эта идея была выдвинута Р.Хартли в
1928 году, но завершенный вид ей придал К. Шеннон в 1948 году.
Шенноновская теория информации исходит из элементарного
альтернативного выбора между двумя знаками (битами) О и L, где L
может отождествляться с 1, "да", "истина" и т.п., а О с 0, "нет", "ложь".
Такой выбор соответствует приему сообщения, состоящего из одного
двоичного знака, и, тем самым, мы снимаем имеющуюся
неопределенность в выборе.
Количество информации, содержащее в таком сообщении,
принимается за единицу и также называется битом. Так что бит – это и
двоичный знак, и единица измерения количества информации,
определяемая как количество информации в выборе с двумя
взаимоисключающими равновероятными исходами.
Пусть
X  {x1 , , xi , , xN }, Y  { y1 , , y j , , y N }
(1)
– наборы переменных, характеризующих состояния соответствующих
систем, обозначенных теми же буквами Х, Y. Если P( xi / yi ) – вероятность
того, что при состоянии xi системы X система Y переходит в состояние y j
(условная вероятность), то информация, получаемая Y равна
I xi / yi    log Pxi / yi  .
(2)
Число I xi xi   I xi  называется количеством информации I xi  ,
заключающейся в событии xi системы X. Величина I всегда положительна,
т.к. 0  P  1 . В зависимости от выбора основания логарифма количество
информации может измеряться в битах, дитах и натах, соответственно, в
случаях двоичных, десятичных и натуральных логарифмов.
Если состояния хi и yi систем Х и Y независимы, то I xi yi  = 0:
состояние уi системы Y не несёт в себе никакой информации относительно
Х и наоборот. В этом случае выполняется равенство
I  xi y i   I  y i xi  .
Информация от одновременной реализации независимых состояний хi и yi
систем Х и Y определяется как:
I  xi y i   I  xi   I  y i  .
(3)
Выражение (3) можно ввести как условия, выражающее свойство
аддитивности информации. Из (2) следует важный, единственно
универсальный смысл информации: информативными являются события с
малой априорной (теоретической, доопытной) вероятностью. Другими
словами, много информации несут в себе неожиданные события. Этот
вывод не относится к уникальным (редким), неповторяющимся событиям.
Энтропия вычисляется по формуле:
S
 P ln P ;
i
i
Pi  Pi ( Ei ).
(4)
i
Энтропия, определенная по формуле (4), называется информационной
энтропией. Информация о величине X при задании Y определятся
равенством
I(X) = S(X) – S (X/Y).
(5)
Виды импульсов
Представим импульсный сигнал определенной формы – структуру в
виде
xˆ t  
xt T 
,
xm T 
0  xˆ t   1,
0
t
T
 1,
(6)
где xm t  – максимальная амплитуда сигнала xt  T – длительность импульса
по времени t. Для колебательных процессов с симметрией по t функция
x̂t  описывает изменение относительного значения модуля xt  внутри
полупериода, т.е. T имеет смысл полупериода.
Реализацию произвольной длительности xt  можно представить через
набор структурных функций x j t  в виде
xt    xˆ j t  Tk  1
 k 
j
(7)
,
k
где  k  – целые случайные числа. Вид структуры одного типа
определяется как
1 N
 k 
xt  Tk  1

N  N
k 1
xˆ t   lim
.
(8)
Формулы (7), (8) наглядно иллюстрируют необходимость знания свойств
импульсов (временных структур) для теории и практики актуальных
проблем как выделение сигнала из шума, структурное осреднение и т.д.
Выбор значений Tk представляет отдельную задачу. Мы рассмотрим
общие статистические закономерности импульсов, считая известным Т в
(6).
Ниже представлены виды и типы различных импульсов xˆ i t  при T =1.
Таблица 1. Виды импульсов
Вид импульса
1 sign(sin(t))
i
2
3
4
5
6
xˆ i t 
sin n   t  ,
n = {0,005; 0,01;
0,025; 0,05; 0,1; 0,2; 0,5}
sin  t 
arcsin  sin  t 
arcctgtg t 
1
 
 t2 
2
,   const
2 



exp  
7
ch2 t 
8
2 exp  at / 2  sin t (4  b  b exp  at 
, a,b=const
9 численные реализации

1
2
Тип импульса
прямоугольны
й
синусоидальны
й,
преобразованн
ый
синусоидальны
й
треугольный
пилообразный
колоколообраз
ный
солитоноподоб
ный
решения
уравнения Вандер-Поля
решения
уравнения ГИН
На рис. 1 показаны формы импульсов из табл. 1.
1
2
x/xm
3
4,5
6
7
t/T
Рис. 1. Форма сигналов с их нумерацией в соответствии с табл.1
Можно заметить, что кривые, расположенные выше биссектрисы, в
начальные моменты времени имеют простую форму, а расположенные
ниже биссектрисы – могут иметь простую или сложную форму. Для
количественного описания степени сложности импульсов воспользуемся
определениями коэффициента формы k2(x, t) и информационной энтропии
S в виде
 x t   

2
k 2  x, t 
1/ 2
x t   t
t
2
 ,
1/ 2
S     Pi   ln Pi   ,
(9)
(10)
i
где <|x|> – среднее значение модуля реализации, Pi(δ) – вероятность
реализации x(t) в ячейке δ с номером i,.
Ниже приводится пример программы вычисления коэффициента
формы сигнала и информационной энтропии.
% Листинг файл-программы для чтения файл-функции
% (таблица.1), вычисления коэффициента формы и
% информационной энтропии сигналов. Результаты
% программы записываются в виде текстового файла.
clear;
format long;
h = 0.001;
N = 10000;
% ----- для треугольного сигнала ----Tt = [0:1/N:1];
Tx = asin(sin(pi*Tt));
mxTx = max(Tx);
mnTx = min(Tx);
% график треугольного сигнала
figure(1)
plot(Tt,Tx,'-r');
% ----- энтропия для треуг. сигн. ---xt = [mnTx:h:mxTx];
[nt,xtout] = hist(Tx,xt);
figure(2)
hist(Tx,xt);
ntmx = sum(nt);
pt = nonzeros(nt/ntmx);
Str = - sum(pt .* log(pt));
% коэффициент формы для треуг. сигн.
K2tr = sqrt(mean(Tx.^2))*sqrt(mean(Tt.^2))/mean(abs(Tx.*Tt));
Задание
1. Написать файл-функции для сигналов приведенной в таблице 1.
Литература
1. Николис Г., Пригожин И. Познание сложного. – М.: Мир, 1990. –
344 с.
2. Хакен Г. Информация и самоорганизация. – М.: Мир, 1991. 240 с.