На правах рукописи НЕКРАСОВ ВАДИМ ВЛАДИМИРОВИЧ РАЗРАБОТКА И ИССЛЕДОВАНИЕ МЕТОДОВ И АЛГОРИТМОВ

На правах рукописи
НЕКРАСОВ ВАДИМ ВЛАДИМИРОВИЧ
РАЗРАБОТКА И ИССЛЕДОВАНИЕ МЕТОДОВ И АЛГОРИТМОВ
СЖАТИЯ И ВОССТАНОВЛЕНИЯ ВИДЕОДАННЫХ
В ЦИФРОВЫХ ТЕЛЕВИЗИОННЫХ СИСТЕМАХ
Специальность: 05.12.04 – Радиотехника, в том числе системы и
устройства телевидения
АВТОРЕФЕРАТ
диссертации на соискание ученой степени
кандидата технических наук
Новосибирск – 2009
Работа выполнена в Государственном образовательном учреждении
высшего профессионального образования
«Новосибирский государственный технический университет»
Научный руководитель:
доктор технических наук, профессор
Новицкий Станислав Поликарпович
Официальные оппоненты: доктор технических наук, профессор
Мамчев Геннадий Владимирович
кандидат технических наук, доцент
Стукач Олег Владимирович
Ведущая организация:
ГОУ ВПО «Сибирский федеральный университет»,
г. Красноярск
Защита состоится « 24 » ноября 2009 г. в 14:00 часов на заседании
диссертационного совета Д 212.173.08 при Новосибирском государственном
техническом университете по адресу: 630092, Новосибирск, пр. Карла Маркса,
20.
С диссертацией можно ознакомиться в библиотеке Новосибирского
государственного технического университета.
Автореферат разослан «___»_октября__2009 г.
Ученый секретарь
диссертационного совета
Полубинский В.Л.
2
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность работы. В настоящее время переход отечественной
телевизионной техники на цифровой формат вещания является насущной
задачей. В мировой практике телевизионного (ТВ) вещания уже
функционируют три основные цифровые системы DVB-T - (Digital Video
Broadcasting, Великобритания), ATSC (США) и ISDB-T (Япония), которые
разрабатывались для одновременной передачи данных разных служб.
Проведенные
всесторонние
испытания
разработанных
цифровых
телевизионных систем (ЦТВС) более чем 300 организаций более чем в 40
странах мира, в том числе и в России, выявили, что наиболее эффективной из
них по таким параметрам как помехоустойчивость, электромагнитная
совместимость, развитость и преемственность цифровых технологий является
европейская система DVB. Поэтому правительством России принята концепция
«О внедрении в Российской Федерации европейской системы цифрового
телевизионного вещания DVB».
В России в силу социальных и экономических причин для 88,5 %
населения страны источником получения телепрограмм является эфирное
вещание. В этой связи весьма актуальными являются задачи сокращения
избыточности ТВ сообщений с целью снижения занимаемой полосы рабочих
частот ТВ канала. Задаче сокращения избыточности ТВ сообщений посвящены
многочисленные труды отечественных и зарубежных ученых. К ним в первую
очередь следует отнести работы У. Прэтта, М. Птачека, А. Оппенгейма, Д.С.
Ватолина, В.И. Воробьева, М.И. Кривошеева, В.Е. Джаконии, В.Н. Безрукова,
Л.А. Севальнева, И.Н. Пустынского, Г.В. Мамчева, Л.С. Виленчика, А.Б.
Сергиенко и др.
Для сжатия данных в принятой для цифрового вещания в России
телевизионной системы DVB-T используется стандарт сжатия данных MPEG-2,
неотъемлемой
частью
которого
является
дискретное
косинусное
преобразование (ДКП). Однако ДКП не использует всех потенциальных
возможностей сжатия данных. В частности, имеет место подавление
высокочастотных составляющих видеосигнала, что приводит к возникновению
блочных артефактов и к искажению информации о контурах и мелких деталях
изображения. Это особенно заметно при передаче изображений высокой
четкости. При межкадровом кодировании имеет место наличие избыточности
при кодировании вектора движения.
В настоящей работе предлагаются решения, уменьшающие указанные
выше недостатки.
Таким образом, тема диссертационной работы, посвященная разработке и
исследованию методов и алгоритмов сжатия и восстановления видеоданных в
цифровых телевизионных системах, является актуальной.
Целью диссертационной работы являлось обеспечение при обработке
изображений большего коэффициента сжатия при равном качестве
восстановления или лучшего качества восстановления при равном
3
коэффициенте сжатия в сравнении с известными способами. Для достижения
поставленной цели решены следующие основные задачи:
1. Анализ структур построения цифровых иерархических ТВС и выбор
системы, которая дает большие возможности по сжатию видеопотока низкого
приоритета.
2. Выбор критерия аналитической оценки качества изображений,
обеспечивающего при небольших вычислительных затратах оценку, хорошо
коррелирующую с субъективной.
3. Выбор из известных систем цветовых координат (СЦК) системы,
обеспечивающей наибольший коэффициент сжатия данных ТВ изображения
при минимальных потерях качества его воспроизведения.
4. Разработка методов и алгоритмов сжатия и восстановления
изображений, обеспечивающих, в сравнении с известными, большие
быстродействие и сжатие данных изображений.
5. Экспериментальная проверка разработанных методов и алгоритмов.
Методы исследований. При выполнении исследований в данной работе
применялся комплексный подход, основанный на использовании методов
математического
анализа,
математической
статистики,
численного
моделирования, обработки и анализа данных телевизионных изображений.
Достоверность научных положений, выводов и рекомендаций
подтверждается корректной постановкой задач, строгостью применяемого
математического аппарата, результатами численного моделирования,
положительными результатами апробации и внедрения разработанных методов
и алгоритмов.
Основные результаты, представляемые к защите:
1. Адаптивный способ интерполяции разреженных в шахматном порядке
изображений, учитывающий их структуру и обеспечивающий в сравнении с
известными способами наилучшее качество восстановления изображения
(повышение ПОСШ до 6 дБ) и значительное снижение числа вычислительных
операций.
2. Способ и алгоритм поиска схожих эталонных блоков изображения в
предшествующем кадре при передаче текущего кадра, обеспечивающие (в
сравнении с известными) возможность поблочного и попиксельного поиска
схожих блоков и более эффективное кодирование вектора движения.
3. Устройство, реализующее способ по п. 2 на основе сигнального
процессора и современных средств вычислительной техники, обеспечивающее
возможность как поблочного, так и попиксельного поиска схожих блоков в
большей зоне, и повышающее, в сравнении с известными, коэффициент сжатия
данных изображений.
4. Алгоритмы сжатия и восстановления видеоданных низкого приоритета
цифровой иерархической ТВС, обеспечивающие, в сравнении с известными,
больший коэффициент сжатия данных изображений при равном качестве
восстановления.
Научная новизна данной работы состоит в том, что впервые были
получены следующие результаты:
4
1. Предложена адаптивная интерполяция разреженных в шахматном
порядке изображений, учитывающая их структуру. В сравнении с известными
способами на тестовых изображениях она показала лучшее качество
восстановления изображения (повышение ПОСШ до 6 дБ) и снижение числа
вычислительных операций.
2. Предложены способ и алгоритм поиска схожих блоков изображения,
обеспечивающие (в сравнении с известными) возможность как поблочного, так
и попиксельного поиска схожих блоков и более эффективное кодирование
вектора движения.
3. Разработаны алгоритмы сжатия и восстановления видеоданных низкого
приоритета цифровой ТВС, обеспечившие при обработке тестовых
изображений больший коэффициент сжатия при равном качестве
восстановления или лучшее восстановление при равном коэффициенте сжатия
в сравнении с известными способами.
Практическая ценность работы. Полученные в работе результаты могут
быть использованы не только в цифровых ТВС стандартной и высокой
четкости, но и при разработке цифровых стерео- и многоракурсных систем
телевидения; при передаче видеоданных по сети Интернет (системы
видеоконференций, пользовательские программы типа Skype и т.д.); при записи
фото- и видеоданных на носители различных форматов (CD, DVD, BlueRay и
т.д.); при разработке специальных прикладных видеосистем, например, в
медицине (рентгенография), геологии, и других областях.
Результаты работы обеспечивают при обработке изображений больший
коэффициент сжатия при равном качестве восстановления или лучше качество
восстановления при равном коэффициенте сжатия в сравнении с известными
способами.
Личный вклад. Основные результаты, составляющие ядро диссертации,
получены автором лично в ходе выполнения научно-исследовательских работ,
проводимых на кафедре радиоприемных и радиопередающих устройств (РП и
РПУ) НГТУ и в Институте информационной техники и электроники
университета г. Росток (Германия). Автором лично выполнен анализ структур
построения цифровых иерархических ТВС и обоснован выбор системы, которая
дает большие возможности по сжатию видеопотока низкого приоритета;
обоснован выбор критерия оценки качества изображений; сформулированы
требования и произведен выбор из известных СЦК той, которая обеспечит
наибольший коэффициент сжатия данных ТВ изображений; предложены метод
и алгоритмы сжатия и восстановления изображений и повышения
помехоустойчивости передачи данных в сложной помеховой обстановке,
проведена экспериментальная проверка численным методом разработанных
методов и алгоритмов. Совместные работы по указанной выше теме
исследований выполнены на равных правах с соавторами
Апробация работы. Основные положения диссертационной работы и её
результаты докладывались и обсуждались на Корейско-российском
международном симпозиуме по науке и технологии КОРУС в 2005 г. (г.
Новосибирск); Международной конференции «Актуальные проблемы
5
электронного приборостроения (АПЭП)» в 2008 г. (г. Новосибирск);
Международной конференции «Современные информационные технологии» в
2000 г. (г. Новосибирск); Международной Сибирской школе-семинаре по
электронным устройствам и материалам (EDM) в 2000 – 2003 и 2005 гг. (г.
Новосибирск).
Публикации. По теме диссертационной работы опубликовано 16 печатных
работ, в том числе одна работа в журнале, входящем в перечень ВАК, 2
патента, 8 статей в трудах международных конференций и 5 в научных
сборниках.
Реализация и внедрение результатов исследований. Результаты
исследований в виде алгоритмов и методов сокращения избыточности
цифрового ТВ сигнала используются в ООО «НПП Триада-ТВ» (г.
Новосибирск) и в учебном процессе кафедры радиоприемных и
радиопередающих устройств Новосибирского государственного технического
университета. По результатам выполненных исследований подготовлены и
изданы учебно-методическое пособие и лабораторный практикум.
Структура диссертации. Представленная работа состоит из введения,
пяти глав, заключения, списка использованной литературы из 143
наименований и 8 приложений. Основной текст содержит 150 страниц, включая
36 таблиц и 41 рисунок.
КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ
Во введении обоснована актуальность работы, сформулированы её цель и
основные задачи, коротко изложено основное содержание работы и отмечены
её научная новизна и практическая значимость.
В первой главе дается обзор современного состояния техники ТВ
вещания в России, тенденции её развития и возникающие в связи с этим
научно-технические проблемы, а также особенности построения цифровых
иерархических телевизионных систем.
Особенностью системы DVB является возможность иерархической
передачи и приема данных, т.е. передачи по одному каналу нескольких
различных программ, или одной ТВ программы в двух версиях.
Высококлассным приемником может быть принята версия ТВ программы с
высокой четкостью, а дешевым приемником - со стандартной четкостью.
Помехозащищенная версия с ограниченной четкостью будет приниматься в
тяжелых условиях приема, например в движении, или на комнатную антенну.
При меняющихся условиях приема система DVB допускает гибкий «обмен»
между скоростью передачи данных и помехозащищенностью.
Одним из недостатков известных иерархических ТВС на сегодняшний
день выступает несовершенство используемых способов разделения сигналов
стандартной и повышенной четкости изображения и кодирование обоих
сигналов по одному алгоритму, что не учитывает их различных свойств, а
значит, не использует всех потенциальных возможностей для сокращения
6
избыточности видеосигнала, то есть повышения коэффициента сжатия при
кодировании и сокращения используемой полосы частот при передаче по
каналу связи.
Рассмотрены используемые на практике способы разделения видеоданных
на основной и дополнительный сигналы (высокого и низкого приоритетов). Из
ТВ сигнала высокой четкости формируют два сигнала: стандартной четкости
(высокого приоритета) и дополнительный сигнал (низкого приоритета). На
передающей стороне из основного сигнала с помощью предсказателя
формируются отсчеты стандарта высокой четкости. Разность истинных и
предсказанных значений сигнала высокой четкости подвергается компрессии и
передается на приемную сторону в дополнительном транспортном потоке. На
приемной стороне в приемниках высокой четкости выполняются следующие
операции: а) выделение в базовом канале полного телевизионного сигнала
высокого приоритета, б) формирование из полного ТВ сигнала высокого
приоритета предсказанного сигнала высокой четкости, в) восстановление из
принятого по дополнительному каналу сигнала низкого приоритета
корректирующего разностного сигнала, г) суммирование предсказанного
сигнала высокой четкости с корректирующим сигналом, в результате которого
формируется сигнал изображения высокой четкости.
Для повышения качества ТВ изображения в работе предложено для
разделения исходного сигнала высокой четкости на сигнал стандартной
четкости (основной) и дополнительный к нему, необходимый для
восстановления сигнала до высокой четкости, вейвлет-преобразования (ВП).
Этот способ поясняется с помощью структурной схемы передающей части
иерархической ТВС, приведенной на рис. 1. Трехкомпонентный сигнал
цветного ТВ изображения, созданный ТВ камерой высокой четкости (ТВК ВЧ),
содержит яркостной и два цветоразностных сигнала. Эти сигналы в блоке
одноуровневого вейвлет-преобразования БВП разделяется на два потока.
Первый из них – сигнал основного канала (ОК) – несет в себе информацию о
низкочастотной области спектра передаваемого изображения; ему
соответствует группа вейвлет коэффициентов (ВК) сL, несущих информацию о
сигналах EY, Er-Y и Eb-Y. Высокочастотные (ВЧ) группы ВК сVY, cHY несут в
себе информацию соответственно о вертикальной (cV) и горизонтальной (сH)
четкости (детальности) сигнала яркости ( EY ) изображения. В рассматриваемом
примере информация о ВЧ компонентах сигналов ErY и EbY не передается изза ограничения цветовой чувствительности зрения. Отметим, что группы ВК
сVY, cHY могут обрабатываться по двум альтернативным вариантам. В первом
из них они запоминаются и, минуя блок обратного вейвлет-преобразования
БОВП (см. штриховую линию на рис.1), поступают в кодер дополнительного
канала КДК, где происходит сжатие сигнала. Во втором варианте – из ВЧ групп
ВК сVY, cHY вначале в блоке обратного вейвлет-преобразования формируется
корректирующее изображение (КИ), отсчеты которого затем поступают в кодер
КДК.
7
,
ТВК
ВЧ
КОК
БВП
ФТПОК
ПУКОК
Группы ВК
сVY,cHY
Ф
М
С
БП
КДК
БОВП
ПУКДК
Сигнал
OFDM
Канальный
модулятор
ФТПДК
КИV,H
Рис. 1. Структурная схема передающей части иерархической ТВС с
использованием вейвлет-преобразования
Сжатые в кодерах данные поступают в соответствующие им блоки
помехоустойчивого кодирования (ПУК), после чего в формирователях
транспортных пакетов (ФТП) разделяются на транспортные пакеты и в
определенной последовательности преобразуются в модуляционные символы,
из которых в канальном модуляторе формируется OFDM сигнал.
Показано, что применение второй концепции построения систем ТВ
высокой четкости (ТВЧ) с использованием вейвлет-преобразования более
выгодно, в сравнении с первой по следующим причинам:
а) энергия, приходящаяся на долю корректирующего сигнала, меньше; это
позволяет более эффективно сжать корректирующий сигнал;
б) проще осуществляется разделение сигналов для базового и
дополнительного каналов, а также их обработка и последующий синтез
сигналов изображения. Кроме того, вейвлет-преобразование обеспечивает
наилучшее качество восстановления изображения, используя для этого
существенную информацию корректирующего сигнала.
Вследствие этого концепция с использованием вейвлет-преобразования
выбирается в качестве базовой для последующего построения цифровой
иерархической ТВС (ЦИТВС) и её детального изучения.
Во второй главе: а) выполнен сравнительный анализ параметровфункционалов для оценки качества изображений при различных значениях Ксж
и выбран оптимальный из них; б) выбрана система цветовых координат,
обеспечивающая максимальное сжатие данных изображения при заданном
качестве их воспроизведения; в) методом моделирования сопоставлены
различные способы сжатия данных изображений по достижимым
8
коэффициенту сжатия и качеству восстановленного изображения для способа
шахматной децимации.
Выполнен сравнительный анализ шести наиболее часто используемых
параметров-функционалов для оценки качества изображения: нормированных
по мощности и амплитуде сигнала среднеквадратических ошибок; пикового и
приведенного отношения сигнал-шум; нормированной суммы абсолютных
разностей; коэффициентов корреляции изображений с субъективной оценкой
качества. Наиболее соответствуют субъективной оценке нормированная к
мощности или квадрату максимальной амплитуды сигнала A сумма квадратов
отклонения сигналов сравниваемых изображений (восстановленного и
оригинала)
J K
  [ F(x,y) - F (x,y)] 2
СКОA  J 1K  x1 y 1
,
A2
(1)
производное от СКОА пиковое отношение сигнал-шум
ПОСШ = – 10 lg (СКОА),
(2)
или же средневзвешенная сумма модулей абсолютных разностей отсчетов
сравниваемых изображений
J K
  F(x,y) - F (x,y)
САРН  x1 y1 J K
.
(3)
Выбор коэффициента сжатия и значение скорости цифрового потока
зависят от допустимой степени искажений восстановленного изображения.
Поэтому в рамках задачи сокращения избыточности ТВИ важной ее частью
является поиск решений, обеспечивающих максимальное сжатие данных
изображения при заданном качестве их воспроизведения. Обоснована
необходимость в выборе при построении цветовой ТВ системы со сжатием
данных такой системы цветовых координат (СЦК), которая обеспечит
наибольшие потенциальные возможности для последующего сжатия данных.
Указаны требования, которым должна удовлетворять такая СЦК: минимальная
корреляция между цветовыми компонентами изображения (этому
соответствует минимальное повторение данных в ее компонентах); возможно
более узкий спектр отдельных компонентов СЦК; сосредоточенности энергии
изображения в одной из компонент; максимальное количество нулевых
коэффициентов дискретного ортогонального, в частности, косинусного
преобразования (ДКП). Согласно экспериментальным данным, проведенным на
ряде тестовых изображений, с точки зрения получения максимального
коэффициента сжатия наиболее эффективными (в порядке убывания
эффективности) являются СЦК YCCrec601-1, NTSC, PAL, Kodak PhotoCD.
Методом моделирования сопоставляются различные способы сжатия
данных изображений по достижимым коэффициенту сжатия и качеству
восстановленного изображения, в частности, для способов шахматной
9
децимации, дискретных косинусного и вейвлет-преобразований, поиска схожих
блоков внутри и между кадрами. Показано, что для восстановления
децимированных изображений могут быть использованы различные методы
фильтрации, однако наилучшее качество восстановленного изображения
достигается при использовании предложенной в работе адаптивной
интерполяции, учитывающей структуру изображения. Экспериментально
подтверждено, что известный метод восстановления отсчетов изображения с
использованием линейного интерполяционного фильтра дает худшее (до 6 дБ)
пиковое отношение сигнал-шум, чем предложенная адаптивная интерполяция
(рис. 2).
а)
б)
Рис. 2. Результаты сравнительного анализа качества восстановления
изображения после шахматной децимации: а) с использованием линейной
фильтрации, б) с использованием предложенной адаптивной
интерполяции
Наряду с повышенным качеством предложенная адаптивная интерполяция
обеспечивает снижение примерно на порядок числа вычислительных операций.
В третьей главе для непосредственного кодирования со сжатием
изображений предложены метод и устройство (защищены патентами) с
межкадровым замещением схожих блоков из предшествующего кадра.
Сущность предлагаемого способа состоит в следующем. Изображение
разбивают на блоки. В оперативной памяти формируют блоки данных – данные
текущего блока изображения текущего кадра, и второй блок – зону поиска.
Зона поиска включает опорный блок изображения, равный текущему блоку по
размерам и имеющий одинаковый с ним адрес в кадре, и множество эталонных
блоков изображения, расположенных по отношению к опорному блоку в любом
из возможных направлений смещения и равных ему по размерам. Затем при
одинаковом текущем адресе в кадрах для текущего и опорного блоков
определяют ошибку сравнения  ср , равную или среднеквадратическому
отклонению разностей сигналов (1) или среднему значению суммы модулей
разностей (3). Ошибку сравнения ср сопоставляют с заданным пороговым
значением пр . Если выполняется условие сравнения ср  пр , то на приемную
сторону передается команда отобразить в текущем кадре вместо текущего
блока данные опорного блока с тем же адресом. Если же условие сравнения не
выполняется, то производят поиск адекватного опорного блока во всей зоне
10
поиска и при его нахождении на приемную сторону передается его
относительный адрес и команда «отобразить» вместо текущего блока данные
опорного блока с указанным относительным адресом в предшествующем кадре.
Если в зоне поиска адекватный блок не найден, то вначале определяют в
предшествующем кадре новый опорный блок, по отношению к которому
ошибка сравнения минимальна. Сдвигаясь во всех возможных направлениях на
один или несколько пикселов, ищут фрагмент изображения, равный по размеру
текущему блоку, для которого выполняется условие сравнения. При
определении такого фрагмента на приемную сторону передают его косвенный
адрес. В этом случае на приемной стороне текущий блок замещают фрагментом
из предшествующего кадра с указанным косвенным адресом. Если же в зоне
поиска предыдущего кадра отсутствует эталонный фрагмент изображения, то
формируют разностный сигнал для пикселов текущего блока и нового опорного
блока (или фрагмента), ошибка сравнения с которым минимальная. Затем
производят сжатие спектра разностного сигнала. На приемную сторону
передают данные сжатого спектра разностного сигнала и адрес нового
опорного блока (или фрагмента), по отношению к которому был определен
разностный сигнал.
Рассмотренный выше способ сжатия данных с межкадровым замещением
реализуется с помощью устройства, функциональная схема которого приведена
на рис. 3. Устройство содержит формирователи данных текущего блока
текущего кадра и данных области поиска предшествующего кадра.
Видеоинформация в формирователи данных поступает по шине данных.
Данные изображения текущего блока текущего кадра и области поиска
предыдущего кадра по шине поступают в соответствующие блоки по сигналам,
вырабатываемым генераторами выборки данных 1 и 2. Все функции поиска
опорного блока в предшествующем кадре реализуются программным способом
с помощью специализированного цифрового сигнального процессора.
Компрессор разностей сигналов, а также регистры относительного и
косвенного адресов эталонных блоков мультиплексируются на выходную шину
устройства для передачи сжатых данных и адресов опорных блоков или
фрагментов изображения на выход кодирующего устройства. Устройство
синхронизации по шине управления синхронизирует работу всех
функциональных блоков.
Для способа межкадрового поиска блоков проведена аналитическая,
статистическая и экспериментальная оценка размеров зоны поиска адекватных
блоков изображения. Показано, что в цифровом варианте стандартной ТВ
системы возможно смещение схожих блоков до 160 пикселов. При увеличении
разрешения изображения размер зоны поиска, выраженный в числе пикселов,
возрастает пропорционально увеличению числа пикселов в изображении.
Показано, что при поиске схожих блоков, в особенности для
корректирующего изображения, целесообразно применение ключевых
структур. При n–кратном снижении числа отсчетов в блоке примерно во
столько же раз уменьшается количество вычислений и увеличивается скорость
поиска схожих блоков при незначительном ухудшении качества
11
восстановленного изображения (уменьшение ПОСШ в сравнении с исходным –
не более 0,6 дБ). Установлено, что вместо координат вектора движения (ВД)
целесообразно производить операцию предсказания ВД по предшествующим
значениям и на приемную сторону передавать лишь код адреса смещения
эталонного блока относительно предсказанного. Это обеспечивает снижение
потока передаваемых данных о векторе движения от 7 до 50 %.
Формирователь
данных текущего
блока
Генератор
выборки
данных 1
Формирователь
данных области
поиска
предшествующего
кадра
Компрессор
разностей
Формирователь
ошибок
сравнения
данных 2
Формирователь
разностей
Пороговое
устройство
Цифровой сигнальный
процессор
Генератор
выборки
данных 2
Регистр
относительного
адреса
данных 2
Устройство
синхронизации
Регистр
косвенного
адреса
Рис. 3. Функциональная схема устройства, реализующего способ определения
подвижных и неподвижных блоков изображения
В четвертой главе исследованы возможности сокращения данных
дополнительного
канала
с
использованием
дискретного
вейвлетпреобразования (ДВП) как в пространстве вейвлет-коэффициентов, так и в
пространстве корректирующего изображения.
Полученные после ДВП высокочастотные группы вейвлет-коэффициентов
cH, cV и cD имеют резко неравномерное распределение (рис. 4, а - в).
Практически все ВК сосредоточены в области малых (близких к нулю)
значений. Вейвлет-коэффициенты cD несут информацию о диагональной
четкости и содержат в основном шумовой сигнал и могут не передаваться.
12
Показано, что для повышения коэффициента сжатия данных значения ВК cH и
cV могут быть ограничены нижним порогом EП, максимальным уровнем EO и
переквантованы с большим шагом; увеличение шага квантования слабо
сказывается на качестве восстановленного изображения. Это позволяет
заменить 8-битовые отсчеты на 4-х битовые. Также мало влияет на качество
восстановленного изображения разреживание отсчетов в шахматном порядке.
14
x 105
x 105
6
10
4
6
2
2
-200
15
-100
0
x 105
100
0
-200
200
а)
-100
7
0
100
200
б)
5
5
xx 10
10
7
66
55
10
44
33
5
22
0
-2 60
-200
-40 -20
0
-100
0
20 40 60
100
200
в)
11
0
0-150
-100
- 150 -100
200
-50
-50
00
г)
50
50
100
100
Рис. 4. Усредненная частота появления: а - значений ВК для групп сH, б cV , в – cD, г – для значений элементов КИ
Таким образом, в пространстве ВК можно сократить поток передаваемых
данных дополнительного канала в четыре раза.
Сокращение объема передаваемых данных можно производить и в
пространстве КИ. Здесь распределение значений сигнала (см. рис. 4, г) также
резко неравномерное. Как и в случае с передачей ВК cH и cV достаточно
передавать информацию лишь о наиболее значимых отклонениях сигнала, т.е.
здесь применимы методы пороговой фильтрации, ограничения по диапазону и
более грубого квантования. Использование этих операций в области КИ дает
лучший результат восстановления, чем в области ВК (увеличение ПОСШ около
13
4 дБ). Поэтому кодирование данных в области КИ является более
перспективным.
Показано, что использование традиционных методов сжатия видеоданных
с применением ДКП для дополнительного канала неэффективно, так как в этом
случае при обнулении малозначимых коэффициентов трансформанты из
дальнейшей обработки исключаются ВЧ составляющие, которые в
предлагаемых концепциях построения иерархической ТВ системы как раз
являются основой для восстановлении сигнала ВЧ.
В работе для кодирования данных дополнительного транспортного потока
иерархической
системы
выбрана
классическая
схема
разделения
видеопоследовательности КИ на пакеты и применено внутрикадровое
кодирование для первого кадра пакета и межкадровое кодирование для
остальных кадров. В качестве внутрикадрового кодирования были разработаны
два способа: с использованием внутрикадрового замещения идентичных блоков
(способ А) и с использованием метода сравнения усредненной суммы модулей
отсчетов блока с наперед заданным порогом (способ Б). В способе А
производится поиск подобных друг другу блоков внутри кадра. В способе Б –
определение наиболее значимых блоков, сумма модулей отсчетов в которых
превышает заданный порог, и передача данных лишь этих блоков для
дальнейшего кодирования. Способ Б имеет, в сравнении со способом А,
значительно большее быстродействие и обеспечивает более высокое качество
восстановления изображения, но уступает ему по коэффициенту сжатия данных
примерно в 2 раза. Однако совместное применение способа Б и шахматной
децимации (с последующим восстановлением отсчетов методом адаптивной
интерполяции) позволяет добиться эквивалентности способов А и Б по
коэффициенту сжатия при лучших для способа Б качестве восстановленного
изображения и быстродействии.
На заключительном этапе эффективного кодирования в методе MPEG-2
системы DVB используется энтропийное (хаффмановское) кодирование.
Принимая во внимание плотность распределения поступающих в энтропийный
кодер символов, проведен анализ эффективности кодирования двух способов:
хаффмановского и арифметического. Определено, что хаффмановское
кодирование является менее сложным по реализации и менее
продолжительным по времени обработки данных; при этом оно, в сравнении с
арифметическим кодированием, обеспечивает в среднем и более высокий
коэффициент сжатия выходных данных, который примерно равен 2,4.
В пятой главе дается описание программных моделей кодера и декодера
КИ, в основу которых заложены рекомендуемые в работе алгоритмы и
параметры кодирования, приведенные в гл. 1 – 4. Структурная схема кодека
дополнительного канала цифровой иерархической ТВС приведена на рис. 5.
Низкочастотные коэффициенты cL сигнала яркости и его цветоразностные
сигналы в блоке МПиК мультиплексируются и подвергаются сжатию,
помехоустойчивому кодированию и перемежению. Сигнал с выхода МПиК
поступает в канальный модулятор КМ, где преобразуется в сигнал OFDM,
который подается в передатчик базового (основного) канала системы.
14
Дальнейшей обработке в обратном дискретном вейвлет-преобразователе
(ОДВП) подвергаются группы высокочастотных ВК сH и cV. В ОДВП из групп
ВК сH и cV производится восстановление корректирующего изображения,
которое содержит информацию о ВЧ компонентах видеосигнала. Отсчеты КИ
заносятся в блок оперативной памяти ОЗУ1.
YТВЧ/
YСтЧ
cH, cV
ПСиДВП
Изобр.
ТВЧ/СтЧ
cLDr
cLDb
ОДВП
Сигнал
дополнительного
канала
КИ
cLY
МПиК
ОЗУ1
Yки
Eнч
КМ
ОЗУ1
Yки
БОДКИ
БВКИ
Сигнал OFDM
основного
канала
ОЗУ2
Сигнал OFDM
основного
канала к
модулятору
передатчика
ДДКиД
ОЗУ2
КИ
ЭКиКМ
ДВП
КДМОК
cH, cV
Сигнал OFDM
дополнительного канала
а)
ДОК
ОДВП
cLY,r,b
Сигнал
YТВЧ/ YСтЧ
б)
Рис. 5. Структура кодера (а) и декодера (б) сигнала яркости цифровой
иерархической ТВС:
YТВЧ/ YСтЧ - сигнал яркости ТВЧ или стандартной четкости, ПСиДВП – преобразователь
стандарта и дискретный вейвлет-преобразователь, МПиК - мультиплексор и кодер, КМ –
канальный модулятор, ОДВП – обратный дискретный вейвлет-преобразователь, БОДКИ блок оценки движения и кодирования изображения, ЭКиКМ – энтропийный кодер и
канальный модулятор дополнительного канала; КДМОК – канальный демодулятор
основного канала, ДОК - декодер основного канала, ДДКиД – демодулятор дополнительного
канала и декодер, БВКИ – блок восстановления корректирующего изображения.
Из ОЗУ1 данные кадра КИ считываются в блок оценки движения и
кодирования изображения (БОДКИ), где выполняются следующие операции:
выделяется контейнер данных, содержащий последовательность из 10 кадров;
производится
кодирование
первого
I-кадра
(intracoded)
методом
внутрикадрового, и девяти P – кадров (predicted) контейнера - методом
межкадрового кодирования. Если схожий блок не найден, выполняются
15
операции по сжатию данных текущего блока: шахматная децимация отсчетов и
переквантование отсчетов с 8 битов до 4-х.
С выхода БОДКИ данные последовательно поступают в блок памяти
ОЗУ2 и энтропийный кодер (ЭК), использующий хаффмановское кодирование.
После ЭК сжатый цифровой поток поступает в канальный модулятор данных
дополнительного канала, использующий метод
амплитудно-фазовой
манипуляции с многими несущими OFDM (Orthogonal Frequency Division
Multiplexing). Полученный OFDM сигнал поступают на вход модулятора
передатчика канала.
На приемной стороне производятся обратные преобразования по
восстановлению переданных сигналов (рис. 5, б).
Установлено, что изменение порога сравнения блоков в наибольшей
степени влияет на коэффициент сжатия и качество восстановленного
изображения. Исследованы зависимости изменения коэффициента сжатия,
качества восстановления и времени кодирования от порога сравнения блоков,
размеров зоны поиска блоков при межкадровом кодировании. На рис. 6
отображена зависимость улучшения качества изображения (ПОСШ, дБ) от
коэффициента сжатия сигнала дополнительного канала.
Кроме рассмотренных выше мер по повышению помехоустойчивости ТВ
системы с OFDM для получения хороших показателей требуется строгое
обеспечение ортогональности несущих. В реальных условиях приема
происходит нарушение ортогональности несущих, например, из-за
нестабильности частот дискретизации сигнала в приемно-передающем тракте
системы. Показано, что при нестабильности частоты современных генераторов
порядка 10-8-10-5 нестабильность частоты дискретизации приводит к повороту
сигнального созвездия принимаемого сигнала YM на угол m,
прямо
пропорциональный произведению номера несущей m и относительной
расстройки частоты дискретизации f . Направление поворота созвездия
определяется знаком f .
Ym  X m - jX mΘm = X m (1- jΘm ) 
 X m  e jm  X m (cos(Θm )- jsin(Θm ))
где m 
2 m f
N2
N 1
n
n 0
,
2 m f
N ( N  1)   m f .
2N 2
Для повышения точности восстанавливаемых модуляционных символов,
переданных на N несущих, а следовательно, снижения числа ошибок на выходе
канального демультиплексора, используется информация, содержащейся в
тестовых пилот-сигналах, передаваемых в системе DVB-T вместе с
информационным цифровым потоком, что обеспечивает снижение вероятности
ошибок получаемых данных на выходе канального демодулятора.
16
Улучшение
качества,
ПОСШ
(дБ)
Коэффициент сжатия
Рис. 6. Зависимость повышения качества изображения (ПОСШ, дБ) от
коэффициента
сжатия
сигнала
дополнительного
канала
для
видеопоследовательностей: vintage car (1 - кадры 1-10; 2 - кадры 100-109; 3 кадры 150-159; 4 - кадры 250-259); budweiser (5 - кадры 1-10; 6 - кадры 100-109;
7 - кадры 200-209); toys and calendar (8 - кадры 1-10; 9 - кадры 100-109; 10 кадры 150-159; 11 - кадры 200-209).
В заключении перечисляются основные результаты работы и отражается
полезность достигнутых в работе результатов для практического
использования.
В приложениях приведены: перечень используемых в экспериментах
фото- и видеоизображений, результаты экспериментальных исследований,
алгоритмы программных моделей кодера и декодера дополнительного канала
ЦИТВС (в среде Matlab) и акты, подтверждающие внедрение отдельных
результатов работы.
ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ
1. Рассмотрены особенности построения иерархических ТВС с
предсказанием и вейвлет-преобразованием. Проведено сравнение качества
восстановленных изображений этими методами при использовании сигнала
базового канала, из которого следует, что при построении цифровых
иерархических ТВ систем наиболее перспективным является использование
вейвлет-преобразования.
17
2. На основе учета энергетического вклада цветовых компонент, их
корреляции и концентрации энергии в компонентах изображения установлено,
что наибольшими потенциальными возможностями для последующего сжатия
видеоданных обладает СЦК YCCrec601-1.
3. Предложена адаптивная фильтрация децимированных в шахматном
порядке изображений, учитывающая их структуру и обеспечивающая, в
сравнении с известными, лучшее качество восстановления изображения
(повышение ПОСШ до 6 дБ) и снижение в несколько раз числа
вычислительных операций.
4. Предложены новые способ и алгоритм поиска схожих блоков
изображения, используемые для сжатия видеоданных, основанные на
внутрикадровом и межкадровом кодировании.
5. Показано, что предсказание вектора движения и передачи на приемную
сторону ошибки предсказания в виде косвенного адреса опорного блока
обеспечивает выигрыш в сокращении числа передаваемых данных от 7 до 50 %.
6. Показано, что использование «ключевых структур» с сокращением в n
раз числа учитываемых пикселов при поиске схожих блоков приводит
практически к n-кратному сокращению времени поиска; использование
«ключевых структур» при сокращении данных корректирующего изображения
практически не влияет на качество восстановленного изображения.
7. Предложены два метода сжатия данных первого кадра контейнера
группы видеокадров КИ; первый из них основан на использовании
внутрикадрового замещения схожих блоков, а второй – на использовании
сравнения энергии блоков с заданным порогом. Использование второго метода
в сочетании с адаптивной интерполяцией обеспечивает более высокое
быстродействие и качество восстановленного изображения (ПОСШ возрастает
на 2-3 дБ).
8. Показано, что сжатие данных несхожих блоков КИ с использованием
шахматного разреживания, переквантования и ограничения по уровню
значений пикселов текущего блока КИ обеспечивает лучшее качество
восстановления, чем применение дискретного косинусного преобразования
(улучшение ПОСШ не менее 5 дБ).
9. Проведено сравнение эффективности сжатия данных ВЧ групп вейвлеткоэффициентов и элементов КИ с применением хаффмановского и
арифметического кодирования. Хаффмановское кодирование дает лучший
результат; оно обеспечивает сжатие данных в среднем в 2,4 раза.
10. Создана и экспериментально исследована модель кодека,
осуществляющего в зависимости от вида тестового изображения сжатие
данных ТВ сигнала дополнительного канала от 24 до 136 раз и обеспечивает
повышение субъективной оценки качества изображения вследствие
возрастания ПОСШ на 1,5…3,5 дБ.
11. Показано, что влияние нестабильности частоты дискретизации в
приемо-передающем тракте приводит к повороту фазы сигнального созвездия
на угол, прямо пропорциональный произведению номера несущей и
относительной расстройке частоты дискретизации. Для повышения точности
18
восстанавливаемых модуляционных символов используется информация,
содержащейся в тестовых пилот-сигналах системы DVB-T, использование
которой сокращает вероятность ошибок получаемых данных на выходе
канального демодулятора.
ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИИ ПРЕДСТАВЛЕНЫ
В РАБОТАХ:
1. Концепция построения совместимых телевизионных систем повышенной
четкости / В. Н. Попантонопуло, С.П. Новицкий, В.В. Некрасов и др. //
Современные информационные технологии. Материалы IV Международной
конференции. Новосибирск 2000. C. 86 – 90.
2. Nekrasov V. Search of image processing method which provides maximum
compression rate with excellent quality of a restored image // Siberian Russian
Student Workshop and Tutorials on Electron Devices and Materials. - Novosibirsk,
2000. – P. 121 – 124. [Поиск способа обработки изображения, который
обеспечивает наибольший коэффициент сжатия при отличном качестве
восстановленного изображения]
3. Nekrasov V., Novitskiy S. The analysis of color coordinates systems
characteristics // Siberian Russian Student Workshop and Tutorials on Electron
Devices and Materials. - Novosibirsk, 2001. – P. 123 – 125. [Анализ характеристик
цветовых систем координат]
4. Nekrasov V., Novitskiy S. Adaptive interpolation as an effective method of
restoration of the skipped elements of the image at chess subsampling // Siberian
Russian Workshop and Tutorials on Electron Devices and Materials. - Novosibirsk,
2002. - P. 16-17. [Адаптивная интерполяция как эффективный метод
восстановления пропущенных элементов изображения при шахматном
разреживании]
5. Некрасов, В. В. Поиск наилучшего критерия численной оценки качества
изображения // Сборник научных трудов НГТУ, 2002. № 4. - С. 31-36.
6. Nekrasov V., Novitskiy S., Popantonopulo V. Application of the image
decimation in compatible advanced definition television systems // Siberian Russian
Workshop and Tutorials on Electron Devices and Materials. - Novosibirsk, 2003. – P.
158 – 162. [Применение децимации изображения в совместимых телевизионных
системах улучшенной четкости]
7. Nekrasov V.V. Coder of Compatible Advanced Definition Television System //
the 6th International Siberian Workshop and Tutorials on Electron Devices and
Materials, Novosibirsk, 2005, – P. 219 – 221. [Кодер совместимой телевизионной
системы улучшенной четкости]
8.
Пат. РФ 2217881, БИ № 33. Пр-т от 15.11.2001. Способ определения
подвижных и неподвижных блоков изображения и их кодирования
(декодирования) при записи-передаче (воспроизведении) изображения / С.П.
Новицкий, В.Н. Попантонопуло, А.Л. Печников, В.В. Некрасов, 2003.
9. Пат. РФ 2219680, БИ № 35. Устройство для определения подвижных и
неподвижных блоков изображения и их кодирования (декодирования) при
19
записи-передаче (воспроизведении) изображения / С.П. Новицкий, В.Н.
Попантонопуло, А.Л. Печников, В.В. Некрасов, 2003.
10. Некрасов В. В. Выбор оптимальной системы цветовых координат для
применения в системах сжатия изображений // Сборник научных трудов НГТУ,
2005. – № 1. C. 49 – 55.
11. Некрасов В. В., Попантонопуло В. Н. Сравнительный анализ двух
вариантов построения совместимой ТВ системы повышенной четкости //
Сборник научных трудов НГТУ. – Новосибирск, НГТУ, 2005. № 1. – С. 55 – 61.
12. Некрасов В. В. Особенности построения кодера совместимой
телевизионной системы повышенной четкости // Сборник научных трудов
НГТУ. – Новосибирск, НГТУ, 2005. № 2. – С. 35 – 40.
13. Nekrasov V. V. About One Approach to Video Signal Compression in the
Additional Channel of Compatible Advanced Definition Television System //
Proceedings of the 9th Korea-Russia international symposium on Science and
Technology. – Novosibirsk, NSTU, 2005, – P. 791 – 793. [Об одном подходе с
сжатию видеосигнала в дополнительном канале совместимой телевизионной
системы улучшенной четкости]
14. Nekrasov V., Mueller E. Algorithm for compression of Additional Channel
Video Signal in a Compartible Advanced Definition Television System // Materialen
zum wissenschaftlichen Seminar der Stipendiaten des “Michail Lomonosov” –
Programms 2005/2006 – DAAD Aussenstelle Moskau, 2006. – P. 147 – 151.
[Алгоритм сжатия видеосигнала дополнительного канала в совместимой
телевизионной системе улучшенной четкости]
15. Новицкий С.П., Некрасов В.В., Попантонопуло В.Н. Алгоритм обработки
данных канала связи с переменными параметрами // Материалы VIII
Международной конф. Актуальные проблемы электронного приборостроения
АПЭП-2008, - Новосибирск 2008, Т.4. – С. 59 – 62.
16. Некрасов В. В., Новицкий С.П. Улучшенный способ компенсации
движения в видеопоследовательностях // Научный вестник НГТУ, 2007. - № 1 –
C. 49 – 55.
20
Отпечатано в типографии
Новосибирского государственного технического университета
630092, г. Новосибирск, пр. К. Маркса, 20
тел./факс (383) 346-08-57
Формат 60 X 84/16, объем 1.0 п.л., тираж 100 экз.
заказ № 1440 подписано в печать 14.10.09 г.
21