Увеличение информативности телевизионных и тепловизионных изображений Ким Н.В., Коссов П.В., Михеев С.М.
advertisement
Увеличение информативности телевизионных и тепловизионных изображений Ким Н.В., Коссов П.В., Михеев С.М. Московский Авиационный Институт Тепловизионные системы наблюдения (ТПВ СН): Многоканальный переносной оптикоэлектронный комплекс наблюдения ЗАО «ТПК «Линкос» (Россия) Многоканальная оптико-электронная станция дальнего наблюдения и разведки ЗАО «ТПК «Линкос» (Россия) Оценка информативности наблюдения Полезная информация Энтропия I = H(X)-H(XY) = Hb – Hf , H = - Σ P(xm) log2 P(xm), [бит] Hb – начальная энтропия, Hf – конечная энтропия, P(xm) - вероятность m-го исхода из M возможных Увеличение информативности Повышение качества ТПВ изображений Увеличение разрешения Компенсация краевых эффектов Совмещение ТВ и ТПВ изображений Пространственное совмещение Информационное слияние Увеличение разрешения ТПВ Дальность распознавания и обнаружения оператором – важнейшие характеристики системы наблюдения (СН) Распознавание Автомобиль 2,3 м х 2,3 м Дальность распознавания и обнаружения – напрямую зависит от качества изображений ТПВ СН Обнаружение Распознавание Человек 1,8 м х 0,5 м Обнаружение 0 Зависимости вероятности распознавания цели (танк) от дальности для приемников 320х240 и 640х480 1,2 2 км 4 км 6 км Суперразрешение – метод получение кадра(кадров) высокого разрешения по серии кадров низкого разрешения p 0,8 0,6 0,4 0,2 0 2 4 6 8 640x480 10 12 14 320x240 16 10 км 12 км Наиболее эффективными методами увеличения разрешения являются методы суперразрешения 1 0 8 км 18 20 км Повышение качества тепловизионных изображений Метод быстрого суперразрешения Последовательность кадров низкого разрешения Последовательность интерполированных кадров Интерполяция Определение межкадрового движения и совмещение изображений Совмещенное изображение высокого разрешения Восстановленное изображение высокого разрешения Устранение размытости Для определения межкадровго движения используется комбинированный метод: -Грубая оценка производится блочным методом K dx ,dy 1 i max j max Bi , j ( f 1) Bi dx , j dy ( f ) S i 1 j 1 ( Kdx,dy ) dx, dy arg (dxmin ,dy )D - Уточнение и субпиксельная оценка методом Лукаса- Канаде 1 2 I ( q ) I ( q ) I ( q ) i x i y i i I x (qi ) It (qi ) Vx i x i 2 I ( q ) I ( q ) i V y i I x (q ) I y (q ) y i t i i I y (qi ) i i Повышение качества тепловизионных изображенийизображений на основе анализа сцен Повышение качества тепловизионных Результаты увеличения разрешения Зависимость среднеквадратической ошибки восстановления кадра от номера кадра видеопоследовательности Метод ближайшего соседа 70 60 Билинейная интерполяция ошибка 50 40 Бикубическая интерполяция 30 Метод Ланшоза 20 10 Быстрое суперразрешение 0 10 20 30 40 50 60 70 80 90 100 кадры Степень увеличения Метод ближайшего соседа Билинейная интерполяция Бикубическая интерполяция Метод Ланшоза Метод быстрого суперразрешения 2х 40,1 25,7 19,8 19,2 16,64 3х 47,9 28,3 23,0 22,7 18,56 4х 54,9 35,1 28,2 27,6 20,8 Повышение качества тепловизионных изображенийизображений на основе анализа сцен Повышение качества тепловизионных Результаты увеличения разрешения Исходное 80х60 Бикубическая интерполяция 4х Метод ближайшего соседа 4х 320х240 320х240 320х240 Краевые эффекты на ТПВ изображений высокого разрешения Возникновение краевых эффектов на ТПВ изображениях высокого разрешения J Восстановленный кадр высокого разрешения «Размазанные» на несколько пикселей края здания Предлагается искать границы, принадлежащие искусственным сооружениям, и применять для них фильтр следующего вида: 264 250 270 Распределение яркости поперек края здания Идеальная граница Реальная граница yi 1 xi , i n,...1" ñï ðàâà " î ò ãðàí èöû 2 y x yi i 1 i , i n,... 1" ñëåâà " î ò ãðàí èöû 2 yi Повышение качества тепловизионных изображенийизображений на основе анализа сцен Повышение качества тепловизионных Обнаружение краев искусственных сооружений Угол зрения СН Искусственное сооружение Система наблюдения Область поиска прямых линий Цифровая карта местности Анализ сцен Перевод координат сооружений в СК камеры Выделение областей интереса, содержащих искусственные сооружения Поиск контурных линий -выделение краев -выделение вертикальных прямых -выделение параллельных Принятие решения о контурной линии на основе критерия идеального наблюдателя Зиггерта-Котелникова (без цифровых карт местности) Поиск контурных линий -выделение краев -выделение вертикальных прямых -выделение параллельных Принятие решения о контурной линии на основе критерия Фишера Принятие решения о наличии искусственного объекта Повышение качества тепловизионных изображенийизображений на основе анализа сцен Повышение качества тепловизионных Критерий оценки качества èñõ 5, 72 pix î áð 0,31 pix Критерием оценки качества предлагается использовать среднеквадратическое отклонение координаты максимума производной яркости вдоль границы èñõ 4,35 pix î áð 0, 42 pix H èñõ H î áð I log 2 èñõ 6,13 pix î áð 0, 46 pix H èñõ H î áð èñõ î áð Повышение качества тепловизионных изображенийизображений на основе анализа сцен Повышение качества тепловизионных Результаты метода компенсации краевых эффектов Исходное ТПВ изображение низкого разрешения Обработанное ТПВ изображение высокого разрешения Исходное ТПВ изображение низкого разрешения Обработанное ТПВ изображение высокого разрешения Повышение качества тепловизионных изображений на основе анализа сцен Комплексный алгоритм повышения качества ТПВ Исходная видеопоследовательность Буфер для N предыдущих кадров Текущий кадр Бикубическая интерполяция Цифровая карта местности Грубая оценка межкадрового движения блочным алгоритмом Уточнение межкадрового движения и субпиксельная оценка алгоритмом ЛукасаКанаде Приведение предыдущих изображений к текущему Объединение изображений Устранение размытости САУ Кадр высокого разрешения Объектив Выделение искусственных сооружений на наблюдаемой сцене Выделение границ методом Робертса Формирование области для фильтрации Фильтрация областей Поиск характерных линий на изображении Продукционная система Результирующий кадр Актуальность совмещения ТПВ и ТВ каналов Преимущества ТПВ: - контрастность теплого объекта интереса (живая сила, техника) Недостаток ТПВ: - отсутствие деталей сцены при равномерном тепловом уровне Преимущество ТВ: - деталировка сцены, цветовое различие Недостаток ТВ: - малая информативность при маскировке объекта в видимом спектре Пространственное совмещение Геометрия смещения и модель трансформации Максимальный сдвиг dxk Lx 2 D tg ( A / 2) X res Lx dxmax ( Dmin , Amin ) 130 пикс. Атпв dx dxk Атв Параметры трансформации T (dx, dy ) - сдвиг (несовпадение визирных осей) S - коэффициент масштаба (ошибка фокусировки) Оценка ошибки пространственного совмещения dSerr (%) dxerr (%) x dSоцен dSсинт S dxоцен dxсинт x ; dyerr (%) 0, 45 max dyоцен dyсинт y - радиус корреляции ТВ изображения ; - 1024 x 940 1024 Пространственное совмещение Критерий сравнения изображений Максимум Корреляции i max j max 1 KT Ai, j T (Bi, j ) i max j max i 1 j 1 KT ) dx, dy, S arg max( T Максимум Взаимной Информации I ( A, B) H ( A) H ( B) H ( A, B) (dx, dy, s) arg max I (T ( A), B) T Собственная энтропия H ( A) PA (a)log PA (a); H ( B) PB (b)log PB (b) a Совместная энтропия H ( A, B) PAB (a, b)log PAB (a, b) a ,b b Пространственное совмещение Точность и производительность пространственного совмещения Оценка ошибки метода (математическое ожидание и дисперсия) Метод Корреляция Ошибка dx (%) Ошибка dy (%) Ошибка S (%) MO=3 D=0,05 МО=2 D=0,02 МО=30 D=0,9 Распределение времени в алгоритме, сек 0,06 Грубое решение 0,05 0,04 0,03 Сегментация 0,02 Взаимная информаци я МО=0,1 D=0,001 МО=0,2 D=0,001 МО=3 D=0,01 0,01 Сжатие 0 1 Влияние размера блока на точность Влияние размера блока на время алгоритма 5 ВИ Корр 256 288 Время, с Ошибка, % 4 3 2 1 0 0 32 64 Точное решение 96 128 160 192 Размер блока, пикс 224 320 1,1 1 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 Без сжатия 0 32 64 При сжатии 96 128 160 192 Размер блока, пикс 224 256 288 320 Информационное слияние Сегментация ТПВ канала. Срез яркости: BOtsu Bср Bmin D Bcp arg max( Hist ), Bcp ( BOtsu , Bmin D ) BOtsu Bср Bmin D BOtsu Bср Bmin D Совмещение изображений Результат совмещения Пирамида Лапласианов Сегментация ТПВ Пирамида Лапласианов Сегментация ТПВ Алгоритм совмещения изображений Схема алгоритма ТВ -кадр ТПВ - кадр Увеличение формата/ разрешения Гистограмма Блоки ТВ Блоки ТПВ Определение порога среза Сжатие Сжатие Гистограмма Гистограмма сжатого блока сжатого блока Алгоритм взаимной информации. Грубое решение Гистограмма блока Срез яркости ниже порога Преобразование ТПВ-кадра Гистограмма блока Алгоритм взаимной информации Сегментация ТПВ-кадра Трансформация ТВ кадра Наложение с приоритетом ТВ Пространственное совмещение Совмещенное изображение Выводы 1. На основе анализа существующих методов увеличения разрешения показано, что наибольшей эффективностью обладают методы суперразрешения; 2. Разработан метод компенсации краевых эффектов на тепловизионном изображении высокого разрешения, основанный на анализе сцен; 3. Для пространственного совмещения ТВ и ТПВ изображений рекомендуется использовать критерий максимума взаимной информации 4. Сегментация ТПВ изображения позволяет повысить информативность визуализированного для оператора изображения Повышение качества тепловизионных изображений на основе анализа сцен
