Теория СИСТЕМНОГО АНАЛИЗА

Прикладная теория
информации
Теория и практика расчета
информационных характеристик на базе
математического пакета Mathcad
Прикладная теория
информации
Назначение прикладной теории
информации:
•упорядочение и понижение сложности
информации о сложном объекте, процессе,
системе;
•построение математических моделей для
исследования информационных процессов и
кодирования в каналах связи ;
• вычисление энтропии и количества
информации, анализ способов кодирования. 2
Прикладная теория
информации
Основные термины прикладной
теории информации






Проблемная ситуация.
Энтропия.
Количество информации.
Канал связи.
Пропускная способность.
Кодирование сигналов.
3
Проблемная ситуация
Желаемое
(«идеальное»)
состояние
системы
Реальное
состояние
системы
Проблема
…рассогласование между реальным и
желаемым состоянием системы
4
Прикладная теория
информации
1
Диаграмма НТП человечества
2
3
6
75
120
200
400
600
Электричество
Искусственная энергия
Книгопечатание, образование
Преемственность знаний,
писменность
Энергия воды и ветра
Энергия животных
Огонь
650
800
Авиация, атом, ЭВМ, космос,
лазер
Пещеры
400
200
100 50
5
Прикладная теория
информации
Проблемопорождающие факторы развития
техносферы
1. Рост энерговооруженность труда.
2. Рост объемов и объектов хозяйствования.
3. Рост сложности изделий.
4. Сокращение жизненного цикла изделий, технологий.
5. Увеличение масштабов человеческой деятельности.
6. Рост информативности объектов, технологий.
6
Прикладная теория
информации
Проблема - неудовлетворенное состояние
субъекта, системы, разрыв между желаемым и
реальным состоянием.
Типы проблем:

Стандартные (standard problems);

Хорошо структуризованные (hard problems);

Слабо структуризованные (soft problems);

Неструктуризованные (ill-defined problems).
7
Прикладная теория
информации



Модель –объект заменитель (абстрактный или
конкретный), который в определенных условиях
может заменять объект – оригинал.
Модель – важнейший инструмент научного
познания, инструмент целенаправленной
деятельности.
Модель – целевой отображение
целенаправленной деятельности.

Модель - субъективный образ объекта.

Модель – упрощенный образ объекта
8
Прикладная теория
информации

Модель более доступна для исследования, экспериментов и
анализа.
Не надо строить модели, которые сложнее объекта.


Модели, предназначенные для объяснения состояния или
поведения системы называются дискретивными
(описательными).
Модели, предназначенные для определения желаемого
состояния объекта именуются нормативными
(конструктивными).
Первые отвечают на вопрос: «Как оно есть?».
Вторые – «Как оно должно быть?».
9
Прикладная теория
информации
ОЦЕНКА ЭНТРОПИЙНЫХ
ХАРАКТЕРИСТИК:
энтропия дискретной случайной величины
где  вероятность появления i-го значения xi
случайной величины X;  мера
неопределенности i-го значения; знак минус
понимается как наличие "беспорядка" для
величины X.
10
Прикладная теория
информации
ОЦЕНКА ЭНТРОПИЙНЫХ ХАРАКТЕРИСТИК:
Условная энтропия величины X
относительно значения yj величины Y
Условная энтропия Y относительно X
11
Прикладная теория
информации
Энтропия непрерывной случайной
величины
где p(x)  плотность вероятности
случайной величины X;  шаг ее
квантования, определяющий точность
перехода от непрерывной величины к
дискретной.
12
Прикладная теория
информации
Энтропия непрерывной случайной
величины
Дифференциальная энтропия системы двух
случайных величин
Условная дифференциальная энтропия X
относительно Y
где p(x/y)  условная плотность вероятности.
13
Прикладная теория
информации
Энтропия непрерывной случайной
величины
Условная дифференциальная энтропия
величины X относительно значения y
величины Y:
14
Прикладная теория
информации
Свойства и показатели структур

Энтропия структуры – мера
неупорядоченности.
Показатели – статистические и
стохастические критерии.
Энтропия детерминированной (строго
предопределенной) структуры равна нулю.
Такая структура максимально исполнительна
и живуча, но минимально изобретательна и
наоборот.
15
Прикладная теория
информации
ОЦЕНКА КОЛИЧЕСТВА ИНФОРМАЦИИ
Полное количество информации I(YX)
о величине X, содержащееся в величине Y,
I(YX)=H(X)-H(X/Y);
I(YX)=I(XY)=I(YX)0,
где I(YX)  полная взаимная
информация, содержащаяся в X и Y
16
Прикладная теория
информации
ОЦЕНКА КОЛИЧЕСТВА ИНФОРМАЦИИ
Частная информация I(yj  xi) о значении xi
величины X, содержащаяся в значении yj величины
Y,
где I(yj xi)  частная взаимная информация двух
значений (может быть как положительной, так и
отрицательной величиной),
17
Прикладная теория
информации
ОЦЕНКА КОЛИЧЕСТВА ИНФОРМАЦИИ
Виды информации для непрерывных случайных
величин:
 частная взаимная информация двух значений x и
Y

частная информация о величине X, содержащаяся
в значении y величины Y
18
Прикладная теория
информации
ОЦЕНКА КОЛИЧЕСТВА ИНФОРМАЦИИ
Виды информации для непрерывных случайных
величин:
полная взаимная информация, содержащаяся в
X и Y:
19
Прикладная теория
информации
ОЦЕНКА ИНФОРМАЦИОННЫХ ХАРАКТЕРИСТИК СИСТЕМ
Производительность источника  это
количество информации в сообщении за одну
секунду
где средняя длительность одного сообщения и
средняя скорость создания сообщения источником
связаны отношением
20
Прикладная теория
информации
ОЦЕНКА ИНФОРМАЦИОННЫХ ХАРАКТЕРИСТИК СИСТЕМ
Скорость передачи информации по
каналу  это количество информации на
выходе за одну секунду
куда входят средняя скорость передачи
сообщения по каналу и средняя
длительность сообщения в канале связи
21
Прикладная теория
информации
ОЦЕНКА ИНФОРМАЦИОННЫХ ХАРАКТЕРИСТИК СИСТЕМ
Пропускная способность дискретного канала без
помех
[ бит/с].
Пропускная способность двоичного симметричного
канала связи c канальной матрицей
22
Прикладная теория
информации
ОЦЕНКА ИНФОРМАЦИОННЫХ ХАРАКТЕРИСТИК СИСТЕМ
Согласно теореме Шеннона о кодировании
для дискретного канала с помехами: если
источник имеет энтропию H(X), а канал
связи  пропускную способность C, то
сообщение источника всегда можно
закодировать так, что скорость их
передачи будет близка к величине
23
Прикладная теория
информации
ЭФФЕКТИВНОЕ КОДИРОВАНИЕ
Идея эффективного двоичного кодирования
основывается на теореме Шеннона о кодировании
для дискретных каналов без помех. Согласно этой
теореме, путем кодирования скорость передачи
можно сделать максимальной
24
Прикладная теория
информации
ЭФФЕКТИВНОЕ КОДИРОВАНИЕ
Источник будет согласован с двоичным каналом, когда
и
Код, обеспечивающий равенство имеет наибольшую
эффективность и соответственно наименьшую избыточность
25
Прикладная теория
информации
ЭФФЕКТИВНОЕ КОДИРОВАНИЕ
Алгоритм Хаффмена. Составляется таблица. В
таблице сообщения выписываются в основной
столбец в порядке убывания их вероятностей. Два
последних сообщения объединяются в одно
вспомогательное. Ему приписывается суммарная
вероятность. Вероятности снова располагаются в
порядке их убывания в дополнительном столбце,
где две последние объединяются. Процесс
продолжается до получения вспомогательного
столбца с вероятностью, равной единице.
26
Прикладная теория
информации
ЭФФЕКТИВНОЕ КОДИРОВАНИЕ
Алгоритм Хаффмена. Согласно этой таблице,
строится кодовое дерево в виде графа. При
движении из вершины дерева с P =1 ребрам графа
присваиваются соответствующие вероятности и
кодовые символы, например  “1” при выходе из
узла влево и “0”при выходе из узла вправо.
Движение по кодовому дереву из вершины к
сообщению, определяемому соответствующей
вероятностью, дает кодовую комбинацию для
сообщения.
27