УДК 004.93 П.О. АРХИПОВ P.O. ARKHIPOV

УДК 004.93
П.О. АРХИПОВ
P.O. ARKHIPOV
ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ ДИАГНОСТИРОВАНИЯ НЕШТАТНОГО
ИЗМЕНЕНИЯ СТРУКТУРЫ ПОВЕРХНОСТЕЙ В ЦВЕТНЫХ
ВИДЕОИЗОБРАЖЕНИЯХ
INFORMATION TECHNOLOGY FOR DIAGNOSING ABNORMAL CHANGES IN THE
STRUCTURE OF SURFACES IN THE COLOR VIDEO IMAGES
В статье автор описывает информационную технологию диагностирования нештатного изменения
структуры поверхностей в цветных видеоизображениях. Данная технология состоит из нескольких операций,
позволяющих выявлять нештатные изменения структуры поверхностей в видеопотоке, анализируя робастные
характеристики и характеристики связанные с нестабильностью цвета.
Ключевые слова: информационная технология; видеопоток; цвет; изображение; пиксель; зона
толерантности; контуры объекта; особые точки.
In n the article the author describes the information technology of diagnosing abnormal changes in the
structure of surfaces in the color video images. This technology consists of several operations that allow to detect
abnormal changes in the structure of surfaces in the video stream, analyzing the robust features and characteristics
associated with instability colors.
Keywords: information technology; video; color; image; pixel; zone of tolerance; the contours of the object;
singular points.
Введение
В рамках данной работы рассматривается одна из задач обработки и анализа цветных
изображений – задача автоматического детектирования множества особенностей цветных
изображений. Под особенностями изображений обычно понимают «хорошо различимые
точки на изображениях» [1]. Для особенностей используют также термины: локальные
особенности, локальные особые точки, характеристические точки, ключевые точки.
Множество особенностей используется при выполнении анализа изображений на
первом этапе распознавания изображений, когда из них по каким-либо критериям выделяется
набор признаков изображения.
Количественный и качественный состав множества особенностей цветного
изображения существенно зависит от выбранного метода детектирования и выбранных
значений его параметров. При выборе методов решения на практике большое внимание
уделяется характеристикам областей применения.
Например, в видеоаналитике учитывается, что при видеосъемке одной и той же зоны
наблюдения даже со стационарных видеокамер последовательные видеокадры могут
отличаться друг от друга из-за погрешностей фиксации изображений.
В связи с этим необходимыми предварительными процедурами видеоаналитики
являются процедуры сопоставления, выравнивания видеокадров, выделения их
информационной части, отыскание образов пикселей предыдущего видеокадра на
последующем изображении и т.д. При выполнении этих процедур применяются методы
автоматического детектирования особенностей, инвариантные к небольшим сдвигам,
поворотам, освещению. Выбор значений параметров методов решения применяется для
дополнительной настройки процедур к конкретным условиям их реализации с целью более
точного определения множества особенностей анализируемых изображений
Нами предлагается технология позволяющая разделять процесс в видеоаналитике на
два подпроцесса: анализ неизменных характеристик – работа с локальными особенностями,
и анализ характеристик связанных с нестабильностью цвета (изменение освещенности одних
и тех же предметов в течение суток).
Разработанная нами информационная технология позволяет отслеживать нештатные
изменения поверхностей внутри видеопотока, для чего весь видеопоток разбивается на
последовательность ключевых кадров, что обуславливает увеличение скорости работы с
анализируемыми данными.
Информационная технология диагностирования нештатного изменения
структуры поверхностей в цветных видеоизображениях
Целью работы является создание информационной технологии диагностирования
нештатного изменения структуры поверхностей в цветных изображениях, извлекаемых из
произвольных видеопотоков для обнаружения изменившихся локальных особенностей и
цветовых различий.
Объект исследования – цветные изображения, извлекаемые из видеопотоков.
Для достижения поставленной цели необходимо решить следующие задачи:
- провести разбиение видеопотока на множество ключевых кадров в виде временной
последовательности кадров определенного формата;
- диагностирование нештатного изменения структуры поверхностей ключевых кадров.
Для реализации предложенной информационной технологии необходимо выполнить
несколько операций:
1 Выбираем первый ключевой кадр из анализируемого видеопотока.
1.1 Необходимо определить информационные (ключевые) кадры из всего видео. Будем
выбирать ключевым – каждый 125 кадр, т.е. проводить выборку 1 раз каждые 5 секунд. Такие
кадры записывают в архив на жестком диске в цифровом виде, и не удаляются в течение
всего «жизненного цикла видео». Устанавливаем «жизненный цикл видео» например,
продолжительностью 720 часов.
1.2 Для решения поставленной задачи нам не нужно оперировать со всем набором из
16,7 млн. цветов. Поэтому необходимо провести аппроксимацию всех цветов изображения, с
целью получения палитры меньшего размера. Такой палитрой может стать – предварительная
палитра из 4096 цветов [2].
Формирование предварительной палитры изображения рассчитывается по известной
формуле:
M  {( ri , gi , bi )}  {( j 17, k 17, n 17)} ,
(1)
j, k, n = 0,…,15,
i = j + k∙16 + n∙256 = 0,1,…,4095.
1.3 Аппроксимация исходного изображения цветами из предварительной палитры.
Аппроксимация изображения проводится путем выбора подмножества пикселей из
предварительной палитры на основании близости их цветовых координат к значениям
пикселей исходного изображения. Сравнение таких пикселей происходит путем вычитания
из цветовых координат пикселя изображения координаты цвета предварительной палитры, с
использованием Евклидовой метрики. Полученное таким образом межпиксельное расстояние
сравнивается с коэффициентом цветоразличия (K), если оно минимально – то это
свидетельствует о близости пикселей.
IIa, Ia(r',g',b') = apr(I(r,g,b)M),
(I,M)≤K,
(2)
где Ia – аппроксимированное изображение с палитрой 4096 цветов,
 – межпиксельное расстояние.
Таким образом, каждый пиксель аппроксимированного изображения получается
заменой исходного пикселя кадра на ближайший по цвету пиксель из палитры 4096 цветов.
1.4 Полутоновое преобразование.
Для отыскания на полученном изображении локальных особенностей его необходимо
привести в полутоновое представление, выделить контуры объектов и установить локальную
систему координат (ЛСК).
1.4.1 Проведем преобразование полученного аппроксимированного изображения в
полутоновое представление.
Для перевода аппроксимированного изображения в полутоновое изображение
используется формула вида:
Y' = 0.299∙r' + 0.587∙g' + 0.114∙b',
(3)
где Y' – серый пиксель,
r',g',b' – пиксели аппроксимированного изображения.
IaIY',
(4)
где IY' – полутоновое изображение.
1.4.2 Выделение контуров объектов внутри ключевых кадров.
Для выделения контуров объектов – применяем метод, основанный на поиске
локальных экстремумов градиента (оператор Собеля). Градиенты Δp=(Gx,Gy) полутоновых
изображений, вычисленные с помощью оператора Собеля, являются результатом линейной
обработки фрагментов полутоновых изображений масками 3x3. Затем вычисленные значения
градиентов квантуются [3].
1.4.3 Построение локальной системы координат.
Проведем построение ЛСК через выбранные крайние точки контура.
Нахождение пространственного положения контуров объектов:
- нахождение крайней точки контура слева;
- нахождение самой нижней точки контура;
- нахождение самой правой точки контура;
- построение по найденным точкам прямоугольника, описывающего внешний контур и
определение расстояния в пикселях от этих точек до сторон прямоугольника;
- идентифицируем нижнюю грань найденного прямоугольника, как – ось X, левую
грань – ось Y, создавая локальные системы координат – X0Y;
- вычисление расстояния в пикселях от каждой из найденных точек до осей X и Y [4].
1.4.4 Определяем особые точки полутоновых изображений.
Особой точкой будем называть такую точку изображенного объекта, которая с
большой долей вероятности будет найдена на другом изображении этого же объекта.
Детектором будем называть метод извлечения особых точек из изображения. Детектор
должен обеспечивать инвариантность нахождения одних и тех же особых точек относительно
преобразований изображений. Для выявления особых точек можно воспользоваться FAST –
детектором [5]. FAST – детектор строит деревья решений для классификации пикселей.
1.4.5 Выделяем дескрипторы изображений.
Для описания особой точки использовать дескриптор SIFT [6].
Этот дескриптор представляет собой локальную гистограмму направлений градиентов
изображения. Он строится следующим образом. Окрестность особой точки делится на
четыре квадратных сектора. В каждом пикселе внутри каждого сектора вычисляется градиент
изображения, его направление и модуль. Затем модули градиентов умножаются на вес,
экспоненциально убывающий с удалением от точки интереса. По каждому сектору
собирается гистограмма направлений градиентов, причем каждое вхождение взвешивается
модулем градиента. Дескриптор SIFT представляет собой вектор, полученный из значений
всех элементов гистограмм направлений, и состоит из 128 компонент.
1.4.6 Сохранение найденных характеристик особых точек в массиве вида:
TaR[tv , xl , ym ]  Rt [tv ]  Z [ xl , ym ] ,
l = 0,...,W, m = 0,…,H, v = 1,…,T,
(5)
где Rt – номер особой точки,
Z – геометрические координаты особой точки.
Сопоставление особых точек позволяет выявить различия между двумя
сравниваемыми кадрами, что в дальнейшем может быть использовано для нахождения
траектории движения объектов.
1.5 Чтобы провести диагностирование нештатного изменения структуры
поверхностей, нам необходимо выполнить еще и анализ цветовых структур. Например,
освещенность одних и тех же объектов в течение дня может меняться, а значит, изменяется и
цвет объекта.
Для вычисления характеристик связанных с нестабильностью цвета, нам необходимо
запоминать цветовые значения центральных точек цветоразличных зон толерантности, а
также сохранять значения рабочей палитры для каждого кадра.
1.5.1 Создание рабочей палитры путем соотнесения цветов исходного изображения и
изображения с предварительной палитрой в 4096 цветов.
Формирование рабочей палитры путем сопоставления цветовых данных элементов
предварительной палитры и пикселей изображения рассчитывается по формуле:
P(rw,gw,bw)  Ia(ri,gi,bi) I(rj,gj,bj)x,y |
(sqrt {(ri - rj)2+(gi - gj)2+(bi - bj)2})≤K,
(6)
где P – рабочая палитра;
Ia – предварительная палитра;
I – совокупность цветов изображения;
K – пороговое значение, представляющее собой коэффициент цветоразличия.
При расчете расстояния между цветовыми характеристиками учитывается пороговое
значение, которое не может быть превышено.
Если в результате были просмотрены все цвета предварительной палитры и не был
найден наиболее близкий цвет, то данный цвет предварительной палитры не включается в
рабочую палитру. Для получения меньшего количества цветов рабочей палитры необходимо
увеличить шаг предварительной палитры.
Таким образом, из всей совокупности цветов рабочей палитры будут выбраны только
те, которые присутствуют на рассматриваемом изображении.
1.5.2 Проводим аппроксимацию изображения с палитрой 4096 цветов цветовыми
значениями рабочей палитры, например с 256 цветами.
Аппроксимация исходного изображения цветами рабочей палитры.
IIw, Iw(rw,gw,bw)= I(rj,gj,bj)  P(rw,gw,bw).
(7)
1.5.3 Объединение пикселей изображения внутри выделенных фрагментов по
признаку цветоподобия на основании рабочей палитры, полученной на предыдущем этапе, то
есть разбиение конечного множества пикселей Iw на S непустых связанных совокупностей:
k
Iw   Si
,
(8)
i1
Si  Iw(rw,gw,bw),
где Si – совокупность пикселей сегментированной области изображения;
Iw – аппроксимированное изображение с рабочей палитрой.
1.5.4 На аппроксимированном изображении с рабочей палитрой для каждой
сегментированной зоны необходимо создать внешний и внутренний прямоугольники в
соответствии с рисунком 1, определить координаты их границ и координаты центральной
точки, характеризующих сегментированные зоны O изображения.
O = {P0,P1,P2,P3,P4}, Pi = (x, y), i = [0…4],
(9)
где P0 – центральная точка; P1, P2 – крайние точки внешнего прямоугольника; P3, P4 –
крайние точки внутреннего прямоугольника.
Для того чтобы полностью исключить цветоразличные области внутри зоны, мы
выбираем размеры сторон вписанного прямоугольника как расстояние до самой ближайшей
точки цветового пятна деленное на 2. Таким образом, точки P3 и P4 значительно приближены
к центру, который находится на пересечении главных диагоналей взаимно противоположных
углов вписанного прямоугольника [7].
Рисунок 1 – Сегментация области одного цвета
1.5.5 Сохранение цветовых значений особых точек в массиве вида:
TaZ [ zn , ri , gi , bi , x0 , y0 , x1 , y1 , x2 , y2 , x3 , y3 , x4 , y4 ] 
Rz[ zn ]  С[rj , g j , b j ]  P0[ x0 , y0 ]  P1[ x1 , y1 ]  P2[ x2 , y2 ]  P3[ x3 , y3 ]  P 4[ x4 , y4 ] , (10)
i, j = 0,…,255, n = 1,…,Z,
где Rz – номер зоны толерантности (однородной сегментированной области);
С – цветовые координаты центральной точки;
P0 – геометрические координаты центральной точки;
P1, P2 – крайние точки внешнего прямоугольника;
P3, P4 – крайние точки внутреннего прямоугольника.
Заполняем созданный массив, последовательно обходя все сегментированные зоны на
изображении. Сопоставление центральных точек сегментированных зон толерантности
позволяет выявить цветовые различия между двумя кадрами, и проанализировать характер
этих изменений.
2 Для второго ключевого кадра – необходимо выполнить операции 1.2 - 1.5 (с
подэтапами).
3 Для двух последовательных ключевых кадров (например, для первого и второго):
3.1 Производим синхронизацию первого и второго кадров. Проводим для них
согласование в ЛСК:
- находим крайние точки контуров объектов (робастные точки);
- совмещаем найденные крайние точки двух кадров;
- строим по ним оси абсцисс и ординат;
- смотрим, совпадают ли точки 0 и 0* (начала ЛСК первого и второго кадра);
- если совпадение произошло – то кадры синхронизированы; иначе выполняем
процедуру смещения 0* по Х и по Y.
3.2 Проводим попиксельное вычитание из второго кадра первого. В результате мы
делаем вывод – произошло ли нештатное изменение структуры поверхностей или нет. Если
произошло, то исследуем характер произошедших изменений:
- фиксируем изменившиеся координаты точек;
- устанавливаем изменение положения объекта;
- сохраняем координаты изменившегося объекта.
3.3 Сравнение рабочих палитр:
а) при совпадении – сравнение координат одноименных опорных точек и фиксация
отсутствия изменений;
б) при несовпадении:
- соотнесение цветов одинаковых номеров с соответствующими координатами
центральных точек;
- сравнение координат одноименных центральных точек и фиксация отсутствия
изменений при совпадении (или анализ изменений координат при несовпадении).
4 Проводим операции 1-3 для следующих кадров, периодически сравнивая
предыдущий и последующий кадр до конца видеозаписи. Таким образом, мы можем
установить факт нештатного изменения структуры поверхностей в цветных
видеоизображениях и вычислить время его возникновения.
Заключение
Предложенная информационная технология диагностирования нештатного изменения
структуры поверхностей в цветных видеоизображениях позволяет проводить эффективный
анализ цветных видеоизображений и выявление нештатных изменений поверхностей внутри
изображений.
В разработанной информационной технологии выделяются два основных
подпроцесса:
1) анализ неизменных характеристик – работа с найденными особыми точками
видеоизображения;
2) анализ цветовых структур, связанных с нестабильностью цвета – изменение цвета
одних и тех же предметов в течение суток.
Реализация описанной технологии позволит отследить нештатные изменения
структуры поверхностей в видеопотоке системы видеонаблюдения (например, на территории
охраняемого объекта), оперативно направлять извещение о проникновении на тревожное
устройство и оператору системы видеонаблюдения.
СПИСОК ЛИТЕРАТУРЫ
1. Конушин А. C. Введение в компьютерное зрение. Лекция 5. [Электронный ресурс]
// Лекториум, 20.02.12. – URL: https://www.lektorium.tv/lecture/13541?id=13541
2. Архипов, П.О. Информационная технология формирования характеристических
признаков предварительной идентификации цветных изображений [Текст] / П.О. Архипов,
А.И. Сорокин // Информационные системы и технологии. – Орел: Госуниверситет - УНПК, –
2012. – №6/74. Ноябрь – декабрь 2012. – С. 36 – 44.
3. Duda R., Hart P. Pattern Classification and Scene Analysis. – John Wiley and Sons,
1973. – P. 271-272.
4. Архипов, П.О. Алгоритмическая модель формирования метаданных цветных
изображений [Электронный ресурс] // Информационные технологии в науке, образовании и
производстве (ИТНОП): материалы VI Международной научно-технической конференции,
22-23 мая 2014 г. – Орел: ФГБОУ ВПО «Госуниверситет – УНПК», 2014. – URL:
http://irsit.ru/files/article/392.pdf. – 4 c.
5. E. Rosten, T. Drummond. Fusing Points and Lines for High Performance Tracking,
2005.
6. Lowe, D. G., “Distinctive Image Features from Scale-Invariant Keypoints”, International
Journal of Computer Vision, 60, 2, pp. 91-110, 2004.
7. Архипов О.П., Маньяков Ю.А., Сиротинин Д.О. Метод генерации виртуальной
сетки опорных точек на цветных изображениях [Электронный ресурс] // Информационные
технологии в науке, образовании и производстве (ИТНОП): материалы V Международной
научно-технической конференции, 17-18 мая 2012 г. – Орел: ФГБОУ ВПО «Госуниверситет –
УНПК», 2012. – URL: http://irsit.ru/article/149.pdf. – 6 с.
Архипов Павел Олегович
Старший научный сотрудник, к.т.н.
ОФ ФИЦ ИУ РАН, г. Орёл
Тел.: +7(4862)33-01-28
E-mail: arpaul@mail.ru