стереоскопическая информационно

На правах рукописи
ЗАБОТИН Иван Николаевич
СТЕРЕОСКОПИЧЕСКАЯ ИНФОРМАЦИОННОИЗМЕРИТЕЛЬНАЯ СИСТЕМА ОПРЕДЕЛЕНИЯ
ПАРАМЕТРОВ ДВИЖУЩИХСЯ ОБЪЕКТОВ
Специальность: 05. 11. 16 –
Информационно-измерительные и
управляющие системы (в промышленности)
АВТОРЕФЕРАТ
диссертации на соискание ученой степени
кандидата технических наук
Самара – 2008
Работа выполнена на кафедре "Электронные системы и информационная
безопасность" Государственного образовательного учреждения высшего
профессионального образования "Самарский государственный технический
университет".
Научный руководитель:
Кандидат технических наук, доцент
БУКАНОВ Фёдор Фёдорович
Официальные оппоненты:
Доктор технических наук
МЕЛЕНТЬЕВ Владимир Сергеевич
Кандидат технических наук, доцент
ГУМЕННИКОВ Валерий Борисович
Ведущая организация:
Государственное образовательное учреждение
высшего профессионального образования
«Поволжская государственная академия
телекоммуникаций и информатики (ПГАТИ)»,
г. Самара.
Защита диссертации состоится 27 февраля 2008 года в 9 часов на заседании
диссертационного совета Д 212.217.03 ГОУ ВПО Самарский государственный
технический университет по адресу: г. Самара, ул. Галактионовская, 141,
корпус 6, аудитория 28.
С диссертацией можно ознакомиться в библиотеке Самарского
государственного технического университета по адресу: г. Самара, ул.
Первомайская, 18.
Отзывы на автореферат просим присылать по адресу: 443100, г. Самара, ул.
Молодогвардейская, 244, главный корпус, на имя учёного секретаря
диссертационного совета Д 212.217.03
Автореферат разослан «_____» января 2008 г.
Ученый секретарь
диссертационного совета
Д 212.217.03
Губанов Н. Г.
2
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность работы. В настоящее время в комплексах обеспечения
безопасности промышленных объектов в составе систем охранного
телевидения (СОТ) широкое практическое применение находят системы
определения параметров движущихся объектов (ОПДО), например, для
контроля перемещения объектов в помещении или его только определённой
зоне. При этом в зависимости от задачи, решаемой системой ОПДО, возникает
необходимость обнаруживать одни виды движения, и игнорировать другие.
Например, движущийся автомобиль является помехой для обнаружения
человека-нарушителя и этот же автомобиль – цель для систем ОПДО,
устанавливаемых на транспортных контрольно-пропускных пунктах. Поэтому
при обнаружении движущегося объекта большое значение имеет определение
системой с высокой точностью как можно большего числа его параметров –
размера, скорости, удалённости и т.д., для их последующего сравнения с
заданными.
На сегодняшний день существуют различные методы определения
параметров движущихся объектов, такие как ультразвуковые, микроволновые,
пироэлектрические и прочие. Бурное развитие микроэлектроники и
фотоприёмных матриц приборов с зарядовой связью дало возможность
применения телевизионных камер (ТК) в качестве измерительной техники,
используемой не только для качественного, но и количественного анализа.
Поэтому в работе был выбран телевизионный метод ОПДО, который
заключается в обработке этого сигнала, специальными алгоритмами для
выявления в нём признака движения объекта и получения его параметров.
Однако для широкого внедрения подобных систем ОПДО в промышленности
необходимо существенно повысить эффективность применяемых алгоритмов.
Современный этап развития телевизионных систем ОПДО и СОТ
характеризуется преимущественным применением двумерного подхода к
визуализации и обработки изображений. Однако селекция по линейным
размерам не отражает соотношение истинных размеров регистрируемых целей.
Недостатками этого подхода являются одинаковое реагирование на объекты,
пересекающие зону обнаружения на переднем и заднем плане, и невозможность
определения действительных параметров объекта. Более того, некоторые
задачи, связанные с анализом изображений не могут быть решены или
решаются с существенной потерей времени и качества без использования
пространственных характеристик объекта.
Таким образом, построение эффективных систем ОПДО требует
оперировать трехмерной информацией и обрабатывать её в реальном масштабе
времени с целью определения пространственных параметров движущихся
объектов. Одним из способов получения информации о глубине картины
наблюдения является применение стереоскопических методов измерения. Это
позволяет добиться качественно новых результатов по определению
3
параметров движущихся объектов, что определяется возможностью извлекать
точную информацию о положении и поведении объекта в пространстве –
действительные размеры, расстояние до объекта, направление и скорость его
перемещения, в том числе при изменениях вектора перемещения. Кроме того,
информация о глубине, позволяет определять зону обнаружения в виде
объёмных фигур. Также открываются новые возможности по опознаванию
объектов и их классификации. Из трёхмерной модели объекта можно получить
больше признаков, что позволяет более точно проводить классификацию
объекта.
В связи с выше сказанным разработка стереоскопической информационноизмерительной системы (ИИС) для определения параметров движущихся
объектов с высокой точностью и в реальном масштабе времени представляется
весьма актуальной.
Целью диссертационной работы является разработка методов и
алгоритмов для определения параметров движущихся объектов и создание на
их основе стереоскопической информационно-измерительной системы,
обеспечивающей определение пространственных параметров движущихся
объектов с заданной точностью в реальном масштабе времени.
Основные задачи. Для достижения поставленной цели в диссертационной
работе решаются следующие задачи исследования:
1. Анализ существующих методов и систем определения параметров
движущихся объектов в пространстве.
2. Формулирование основных требований к разрабатываемой ИИС и
обоснование выбора телевизионного метода ОПДО.
3. Анализ методов выделения и локализации движущихся объектов на
основе обработки последовательности изображений.
4. Анализ методов совмещения изображений выделенных объектов на
стереопаре.
5. Разработка математической модели определения параметров движущихся
объектов.
6. Разработка методов и алгоритмов для определения параметров
движущихся объектов.
7. Оценка основных параметров стереоскопической ИИС ООПДО.
8. Исследование методических и инструментальных погрешностей, а также
рассмотрение их влияния на результирующую погрешность определения
параметров движущихся объектов.
9. Создание методики тестирования стереоскопических систем определения
параметров движущихся объектов.
10.Экспериментальное исследование разработанной стереоскопической
ИИС ОПДО на основе предложенной методики тестирования систем
ОПДО.
Методы исследования базируются на комплексном применении основ
теории измерений, аппарата математического анализа и теории погрешностей,
4
методов системного анализа, методов обработки информации, методов
линейной алгебры, аналитической геометрии, математического моделирования.
Научная новизна и значимость заключается в следующих полученных
результатах:
1. Разработан метод и алгоритм выделения и локализации движущихся
объектов на последовательности изображений, который позволяет
адаптироваться к повторяющимся изменениям заднего плана и освещения
за счёт моделирования каждой точки изображения с помощью смеси
нормально распределённых случайных величин.
2. Разработан метод и алгоритм адаптивной фильтрации изображений,
отличительной особенностью которого является динамическая оценка
полной дисперсии шума на изображении.
3. Разработана
математическая
модель
определения
параметров
движущихся объектов в условиях сложной структуры фона, которая
представляет собой совокупность моделей основных процессов ОПДО в
созданной стереоскопической ИИС и позволяет оценить вероятность
обнаружения, а также точность измерения параметров движущихся
объектов.
4. Предложена
методика
экспериментального
исследования
стереоскопических ИИС определения параметров движущихся объектов,
которая позволяет эффективно оценивать основные параметры систем, и
не требует наличия дополнительных аппаратных и программных средств.
Практическая ценность
1. Разработанная математическая модель определения параметров
движущихся объектов позволяет создавать инженерные методики для
расчёта основных характеристик стереоскопической информационноизмерительной системы.
2. Разработанная стереоскопическая ИИС ОПДО позволяет организовать
независимый рубеж контроля в системах безопасности промышленных
объектов, что подтверждают полученные результаты экспериментальных
исследований.
3. Внедрение
разработанной
стереоскопической
информационноизмерительной системы ОПДО повышает вероятность правильного
обнаружения движущихся объектов за счёт измерения с высокой
точностью их трёх основных параметров – размера, скорости
перемещения и расстояния до объекта. Что позволяет улучшить, тем
самым, характеристики системы безопасности промышленного объекта.
4. Результаты исследования диссертационной работы могут послужить
основой для развития новых систем по определению параметров
движущихся объектов.
Внедрение результатов работы. Результаты диссертационной работы
внедрены в ООО «НИЦ «ФОРС», в частности в программное обеспечение
аппаратно-программного комплекса (АПК) «Nucleus» и АПК «Бастион»,
5
которое установлено в ряде организаций и предприятий Самарской области,
Москвы и других регионах России.
Апробация работы. Основные результаты работы докладывались и
обсуждались на международных и всероссийских научно-технических
конференциях, в том числе на XIII Международной научно-практической
конференции студентов, аспирантов и молодых ученых «Современные техника
и технологии» (Томск, 2007), XLV Международной научно-практической
конференции
«Научно-технический
прогресс»
(Новосибирск,
2007),
Всероссийской научно-технической конференции «Актуальные проблемы
информационной безопасности при противодействии криминалу и терроризму.
Теория и практика использования аппаратно-программных средств» (Самара,
2007), Всероссийской межвузовской научно-практической конференции
«Компьютерные технологии в науке, практике и образовании» (Самара, 2007).
Публикации. По теме диссертации опубликовано 8 работ, в том числе 1
статья в журнале из перечня, рекомендуемого ВАК РФ.
Структура и объем работы. Диссертация состоит из введения, 4 разделов,
заключения и 2 приложений. Она изложена на 168 страницах, содержит 38
рисунков и библиографический список из 89 наименований.
На защиту выносятся следующие основные научные положения:
1. Результаты анализа методов и систем определения параметров
движущихся объектов.
2. Математическая модель определения параметров движущихся объектов.
3. Пространственно-временной метод и алгоритм адаптивной фильтрации
изображений.
4. Метод и алгоритм выделения и локализации движущихся объектов на
последовательности изображений.
5. Результаты экспериментального исследования стереоскопической
информационно-измерительной системы определения параметров
движущихся объектов.
КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ
Во введении показана актуальность темы, сформулирована цель и
основные задачи работы, показана научная новизна и значимость и
практическая полезность полученных результатов, сформулированы основные
научные положения, выносимые на защиту.
В первом разделе проведен анализ методов и систем определения
параметров движущихся объектов, сформулированы требования к
разрабатываемой ИИС. Приведено обоснование выбора телевизионного метода
ОПДО с использованием принципов стереоскопии. Исследованы методы
выделения и локализации движущихся объектов на последовательности
изображений, а также методы согласования участков изображений стереопары.
6
В результате анализа систем ОПДО и их классификации по большому
числу характеристик (рисунок 1) были сформулированы основные требования к
разрабатываемой
информационно-измерительной
системе
определения
параметров движущихся объектов.
Классификация
систем ОПДО
По методу
обнаружения
По месту
установки
По виду зон
обнаружения
По типу
установки
Маскируемые
Ультразвуковые
Наружные
Точечные
Пироэлектрические
Внутренние
Линейные
Комбинированные
Поверхностные
Заградительные
Объёмные
Незаградительные
Микроволновые
Телевизионные
По способу
формирования
извещения
По времени
развёртывания
Комбинированные
По способу
передачи
извещения
Стационарные
Зависимые
Мобильные
Автономные
Аналоговые
Радиоканальные
Цифровые
Лучевые
По количеству
зон обнаружения
По виду
используемого
сигнала
Проводные
Видимые
По способу
регистрации
Однозонные
Активные
Многозонные
Пассивные
Комбинированные
Рисунок 1 - Классификация систем ОПДО
Информационно-измерительная система ОПДО должна удовлетворять
следующим требованиям:
1. Использовать пассивный принцип обнаружения движения объектов и
определения их параметров;
2. Позволять
задавать неограниченное
число непересекающихся,
независимых и объёмных зон контроля;
3. Определять действительные размеры движущегося объекта в диапазоне
значений от 0,3 до 3 м. по горизонтали, вертикали и глубине; определять
расстояние от ТК датчика до объекта в диапазоне значений от 1,5 до 10
м.; определять среднюю скорость перемещения объекта между
измерениями в диапазоне значений от 0,2 до 10 м/с.;
4. Осуществлять вычисление параметров движущихся объектов в условиях
стационарного расположения элементов системы и их полной
исправности;
5. Функционировать в условиях равномерного освещения сцены
наблюдения и видимых частей движущихся объектов;
7
6. Определение параметров объектов с помощью ИИС должно проводиться
в условиях отсутствия влияния каких-либо внешних воздействий как на
элементы ИИС, так и на сцену наблюдения, включая движущиеся
объекты;
7. Обеспечить погрешность по каждому из измеряемых параметров до 15%
включительно от значения величины параметра;
8. Обеспечить обнаружение движущихся объектов в указанном диапазоне
значений их параметров с вероятностью не менее 0.95%;
9. Определять параметры не более 10-ти движущихся объектов
одновременно находящихся в поле зрения датчика ИИС;
10.Производить измерения указанных параметров каждого из движущихся
объектов не менее 2-х раз в секунду;
11.Поддерживаться в функциональном состоянии с помощью ремонтных и
регламентных работ.
Проведённый сравнительный анализ и классификация методов ОПДО
(рисунок 2) показал, что телевизионный метод с использованием принципов
стереоскопии является наилучшим для построения информационноизмерительной системы определения параметров движущихся объектов. Он
полностью отвечает предложенным требованиям к разрабатываемой системе и
обладает неоспоримым преимуществом в сравнении с другими методами –
позволяет получать наибольшее число параметров движущегося объекта во
время обработки видеосигнала – размера, скорости и направления
перемещения, принадлежности к какому либо классу и т.д.
Особо необходимо отметить, что применение телевизионного метода в
стереоскопических СОТ для задачи определения параметров движущихся
объектов, позволяет отказаться от использования дополнительных датчиков и
линий связи.
Методы ОПДО
Телевизионный
Микроволновый
По кол-ву используемых
при обработке ТК
По методу анализа
информации
Моно
Анализ частоты
отражённого
сигнала
Стерео
Комбинированный
Анализ амплитуды
отражённого
сигнала
Ультразвуковой
Пироэлектрический
По методу анализа
информации
По методу анализа
информации
Анализ частоты
отражённого
сигнала
Анализ амплитуды
отражённого
сигнала
Активные
Рисунок 2 - Классификация методов ОПДО
8
Пассивные
Результаты исследований методов выделения и локализации объектов на
последовательности изображений показали, что временные методы
обеспечивают достаточно качественное решение задачи выделения объектов в
сложных условиях при неподвижном датчике изображения, в том числе при
«зашумлении» изображений. С точки зрения требований к ИИС и
вычислительных затрат, эффективность таких методов значительно выше, чем
у методов, использующих только априорную информацию о пространственных
характеристиках фона и объекта. Основываясь на этом, делается вывод, что
временные методы являются оптимальными для задачи выделения и
локализации движущихся объектов, решаемой в данной диссертационной
работе.
Проведённый анализ методов совмещения изображений выделенных
объектов на стереопаре показал, что оптимальных результатов можно ожидать
от использования корреляционного метода отождествления в совокупности с
методом, опирающегося на предварительный раздельный анализ изображений
стереопары. Это позволит с высокой точностью провести совмещение
изображений и сократить объём вычислений, за счёт определения
предполагаемых зон поиска.
Во втором разделе разработана математическая модель определения
параметров движущихся объектов, которая представляет собой совокупность
моделей отдельных процессов ОПДО.
Разработана математическая модель адаптивной фильтрации изображения,
связывающая параметры адаптивного фильтра с изображением, получаемым на
выходе.
В основу модели положено, что искажения изображения обусловлены
исключительно наличием аддитивного шума, с условно нормальным
распределением и нулевым математическим ожиданием:
s(x,y)  u( x, y)   ( x, y) ,
где x  1, K ; y  1, L ; K и L – размеры изображения по горизонтали и
вертикали; u ( x, y ) - исходное изображение;  ( x, y) - аддитивный шум; s(x,y) получаемое искажённое шумами изображение.
Задача фильтрации состоит в построении некоторого приближения

u ( x, y ) исходного изображения по заданному искажённому изображению s(x,y)
и некоторой информации относительно аддитивного шума  ( x, y) .
Предложенный фильтр действует в окрестности S xy . Его отклик в
некоторой точке (x,y) , которая является центром этой окрестности, задаётся
следующим выражением:
u (x,y)  s( x, y)  2 /  L2 s( x, y)  mL ,
9
где  2 - дисперсия шума, превращающего исходное изображение u ( x, y )
в искаженное изображение s(x,y) ;  L2 - локальная дисперсия по значениям в
окрестности S xy , mL - локальное среднее в окрестности S xy .
Разработана математическая модель выделения и локализации
движущихся объектов, которая воспроизводит математически процесс
обработки изображений и отображает связь входных параметров с получаемым
на выходе множеством областей, содержащих движущиеся объекты.
Задача выделения объектов на изображении заключается в нахождении
оценки ~
r (x,y) на основе восстановленного изображения u (x,y) . Для этого для
всего изображения создается поточечная модель наблюдаемой сцены с
использованием смеси нормальных распределений:
k
d(x,y)  W p ( x, y ) N ( x, y,  p ,  p2 ) ,
(1)
p 1
где W p ( x, y) - вес точки с координатами (x, y); N ( x, y,  p ,  p2 ) - функция
одномерной нормально распределённой случайной величины. Каждому
слагаемому в сумме соответствует процесс в точке сцены, который
характеризуется параметрами нормального распределения и коэффициентом
использования процесса W p .
Оценка среднего значения случайной величины  t , и дисперсии  t2 :
 t ( x, y)  (1  1 )  t 1 ( x, y)  1u ( x, y),
 t2 ( x, y)  (1   2 ) t21 ( x, y)   2 (u ( x, y)   t ( x, y)) 2 ,
(2)
где  t 1 ,  t21 - оценка случайной величины и дисперсии процесса;  1  0,1
и  2  0,1 - параметры, регулирующие скорость изменения значений.
С поступлением каждого нового кадра u (x,y) модель обновляется, и
каждая точка классифицируется как фоновая или, как точка объекта:
1, W (x,y)  
~
,
r (x,y)   тек
0
,
иначе

где  - порог из интервала (0, 1), Wтек(x,y) - вес текущего процесса точки.
Для уменьшения ошибок осуществляется медианная фильтрация:
~
r (x,y)  med ~
r (x,y) .
Для последующей локализации выделенных объектов, полученное
r ( x,y ) определяется, как множество R точек (x,y) . Последнее
изображение ~
разбивается на непересекающиеся подмножества Gk :
( x, y)  Gk ( x* , y * )  Gk : x  x*  1, y  y *  1, u( x, y)  u( x* , y * ) ,
и на пересекающиеся множества Gk* прямоугольной формы:
Gk  Gk* , ( x * , y * )  Gk* ( x1 , y1 )  Gk , ( x2 , y 2 )  Gk : x *  x1 , y *  y 2 .
10
Дополнительно вводятся множество точек R 1 , где ( x, y )  R : u ( x, y )  1 и
подмножества GtM , t = 1..r (где r – число подмножеств), как Gk*  GtM , k =1..s
(где s – число подмножеств Gk* в подмножестве GtM ), при этом:
( x, y )  GtM ( x1 , y1 )  Gk* , ( x 2 , y 2 )  Gk* , : x  x1 , y  y 2 ,
.
Gk* , Gk* , k1  k 2 ( x, y )  GtM : ( x, y )  Gk* , ( x, y )  Gk* , k [1, s]
1
1
2
2
1
2
Множество точек ( x, y)  R разбивается на максимально возможное число
прямоугольных подмножеств GtM так, чтобы они не пересекались, из которых
выбираются те, что, имеют наибольшие площади либо самих областей, либо
фигур, образованных точками ( x, y)  R1 :
S i  R1 GtM  Y M : nG  max,
где Si –прямоугольная область, образованная множеством точек GtM ; nG –
1
число точек ( x, y)  GtM : u ( x,y)  1; Y M  GtM t 1 - фактор–множество.
Множество найденных прямоугольные областей Si является результатом
операции выделения и локализации движущихся объектов на изображении:
r
S  {S i } max (Y M )  maxGtM t 1 .
r


nG
nG

Разработана математическая модель определения диспарантности
соответствующих точек изображений объектов на стереопаре. Для
отождествления изображений выделенных динамических объектов на каждом
из кадров с помощью совмещения вычисляется оценка их соответствия. При
этом в качестве характерных признаков изображения используется его
площадь, а критерием качества выступает коэффициент корреляции:
Fequ ( S1,i , S 2, j )  arg max R(k , l ) ,
m,n
где S 1,i , S 2 , j - i и j изображения объектов, заключённых в прямоугольные
области, на левом и правом кадре стереопары; R(k , l ) - функция корреляции;
k  1, m ; l  1, n ; m × n – зона поиска.
Пространственные сдвиги (диспарантность) точек изображений S1,i и S 2 , j
динамических объектов соответственно по оси Х и по оси Y вычисляются как:
 X  X 2 , если Fequ ( S 1,i , S 2 , j )  rпор
m x ( S 1,i , S 2 , j )   1
(3)

1
,
иначе
,

 Y  Y2 , если Fequ ( S 1,i , S 2 , j )  rпор
m y ( S 1,i , S 2 , j )   1
  1, иначе.
- порог, величина которого определяется
где rпор
задаваемой
доверительной вероятностью принятия решения о сходстве изображений.
Разработана математическая модель определения пространственных
координат точек объектов, которая отображает связь диспарантности точек
11
изображений объектов с их пространственными координатами. В
диссертационной работе выбран случай, когда оптические оси каналов
стереосистемы расположены параллельно. В этом случае обеспечивается
минимальное искажение геометрии снимаемых объектов. В результате
проведённых расчётов были получены следующие аналитические соотношения
для определения координат точки в пространстве:
X  Bm / p , Y  nB / p , Z  BF / p ,
где B – базисное расстояние; F – фокусное расстояние; m горизонтальный сдвиг; n - вертикальный сдвиг; p - горизонтальный параллакс,
который вычисляется из выражения (3).
Разработана математическая модель определения параметров объектов,
связывающая пространственные координаты множества точек объектов с их
основными параметрами.
Размер динамического объекта Si по горизонтали w, вертикали h и глубине
k определяется соответственно как:
X , h  max
Y   min
Y ,
w  maxX   min
X S
Y S
X S
Y S
(4)
k  maxZ   min Z .
Z S
i
i
i
Z S i
i
i
За расстояние s до объекта принимается
пространственной координаты Z объекта:
s  min{ Z } .
наименьшее
Z S i
Средняя скорость перемещения объекта вычисляется как:
  l перемещения / t перемещения ,
значение
(5)
(6)
где l перем ещения  ( X 2  X 1 ) 2  (Y2  Y1 ) 2  ( Z 2  Z 1 ) 2 - значение смещения
центральной точки параллелепипеда, охватывающего движущийся объект, за
время t перемещения .
В третьем разделе приводится структурная схема стереоскопической ИИС
ОПДО; выделяются основные этапы определения параметров движущихся
объектов их последовательность и взаимосвязь друг с другом; разрабатываются
новые методы и алгоритмы для ОПДО, проводится их экспериментальная
оценка; исследуются основные параметры ИИС.
Структурная схема стереоскопической ИИС ОПДО приведена на рисунке
3. Она состоит из стереоскопического датчика изображения СДИ, содержащего
две идентичные друг другу телевизионных камеры ТК 1, ТК 2 и генератор
синхроимпульсов ГСИ, линий связи ЛС для передачи данных к блоку
обработки информации (БОИ). Последний включает в себя блок АЦП с двумя
некоммутируемыми входами, преобразующего получаемые изображения
в
цифровую форму и электронно-вычислительной машины ЭВМ, в которой
осуществляется обработка поступающей информации. В блоке АЦП
содержатся такие элементы как аналого-цифровые преобразователи АЦП,
блоки выделения синхроимпульса БВСИ, контроллеры КНТ, и оперативные
12
запоминающие устройства ОЗУ. Обмен данными между блоком АЦП и ЭВМ
осуществляется по шине PCI. Объект исследования, размером w×h×k,
расположен перед датчиком изображений на расстоянии L и движется со
скоростью V. Оптические оси телевизионных камер параллельны и разнесены
друг от друга в горизонтальной плоскости на расстояние B.
ИИС ОПДО
Блок обработки информации
Блок АЦП
Объект исследования,
размером w  h  k
ОЗУ 2
СДИ
ТК 2
В
АЦП 2
КНТ 2
ЛС
БВСИ 2
ТК 1
ОЗУ 1
PCI
Световое изображение
наблюдаемой картины
ЭВМ
ГСИ
Объект движется со
скоростью, V
АЦП 1
КНТ 1
Расстояние до объекта, L
БВСИ 1
Результат измерений:
- размер объекта w  h  k ,
- расстояние до объекта L ,
- скорость движения объекта V .
Рисунок 3 - Структурная схема стереоскопической ИИС ОПДО
Разработан метод и алгоритм (рисунок 4) адаптивной фильтрации.
Отличительной особенностью предложенного метода является динамическая
оценка дисперсии шума на изображении. Для этого производится вычитание
предыдущего изображения из текущего, после чего на результирующем
изображении последовательным сканированием находится квадратное окно с
наименьшей дисперсией сигнала:
2
WS WS
   ( s( x, y)  M s ) / WS 2 ,
2
s
i 1 j 1
где s(x,y) - значение яркости точки изображения с координатами (x,y) ; M s
- математическое ожидание сигнала в окне; WS - размер стороны окна.
Оценка предложенного метода проводилась путём наложения на тестовое
незашумлённое изображение искусственного шума, после чего осуществлялась
адаптивная фильтрация полученного изображения с последующим его
сравнением с помощью метрики PSNR.
Проведённые эксперименты показали, что метод обеспечивает высокое
качество фильтрации в большом диапазоне зашумлённости исходного
изображения.
13
Разработан метод и алгоритм (рисунок 5) выделения и локализации
движущихся объектов, который предполагает моделирование каждой точки
изображения с помощью смеси нормально распределённых случайных величин,
в соответствии с моделью (1). Предложенный метод в условиях динамического
заднего плана позволяет адаптироваться к его повторяющимся движениям за
счёт сопоставления каждой точки сразу несколько процессов. К медленным
изменениям освещения метод способен адаптироваться благодаря
существующей системе оценки параметров – значения случайной величины  ,
и дисперсии  2 в модели (2). К быстрым изменениям освещения адаптация
происходит так же, как и адаптация к изменениям заднего плана.
Для
экспериментальной
Начало
проверки предложенного метода
Ввод параметров
была исследована зависимость
фильтрации
вероятности
правильного
Ввод предыдущего s(x,y)
s(x,y)
и текущего
кадра
выделения
и
вероятности
ложного выделения от порога
Вычитание изображений
предыдущего и текущего кадра
классификации  при среднем
s (x,y)  s (x,y)  s(x,y)
значении отношения сигнал/шум
Вычисление дисперсии шума  .
на результирующем
35 dB. Исследование проводилось
изображении s (x,y) .
с
видеорядом
Для всех точек изображения
продолжительностью
порядка
s(x,y) текущего кадра
200
кадров.
Результаты
Вычисление локального
эксперимента
показали,
что
среднего m в окне
предложенный метод позволяет
Вычисление локальной дисперсии
получить достаточно высокую
сигнала  в окне
вероятность
правильного
НЕТ
выделения
при
небольшой
 
вероятности ложного выделения.
Вычисление нового значения
ДА
точки для восстановленного
Разработан
алгоритм
изображения u( x, y )  m
определения пространственных
Вычисление нового значения точки
параметров
движущихся
для восстановленного изображения



u ( x, y )  s( x , y )   /  s( x , y )  m
объектов, который позволяет по
девяти точкам отсчёта вычислять
расстояние до объекта, его
Вывод восстановленного
действительные
размеры,
изображения u (x,y) .
скорость
и
направление
движения.
Конец
Размеры
движущегося
объекта
определяются
как
Рисунок 4 - Схема алгоритма фильтрации
размеры параллелепипеда, в
который он заключён, из выражения (4). Средняя скорость перемещения и
расстояние до объекта определяется соответственно из выражений (6) и (5).
Траектория движения объекта определяется последовательностью изменения
2

L
2
L
2
2
L

L
2

2
L
L
14
координат точки, находящейся в центре прямоугольника, охватывающего
движущийся объект.
Начало
2
Ввод параметров
выделения и локализации
Формирование бинарного
изображения s(x,y)
Ввод очередного
кадра s(x,y) .
Медианная фильтрация
изображения s(x,y)
Для всех строк
изображения s(x,y)
НЕТ
Модель сцены
инициализирована
Инициализация модели
сцены
ДА
Для граничного
подмножества
y max  y  1
1
Для всех точек изображения
s(x,y) текущего кадра
Установка следующего
элемента в фактор-множестве
в качестве граничного
ДА
НЕТ
Поиск процесса, удовлетворяющего
условию
 ( x , y )  c( x , y ) /  ( x , y )  e
Для всех столбцов
изображения s(x,y)
ДА
Процесс найден
Пометка процесса как
текущего
НЕТ
ДА
Поиск процесса с
наименьшим весом
Изменение параметров
процесса, исключая вес
Пометка процесса как
текущего
Количество процессов
достигло максимума
НЕТ
Создание нового
процесса
Пометка процесса как
текущего
ДА
Точка примыкает
к какому-либо из подмножеств
фактор-множества
НЕТ
Обновление значения
математического
ожидания текущего
процесса
НЕТ
Добавляем новое
подмножество в конец
фактор-множества
Обновление значения
дисперсии текущего
процесса
ДА
Включение точки в
текущее подмножество,
изменение координат и
увеличение счётчика
Последовательный поиск
пересекающихся множеств и
их объединение
Обновление весов
процессов
Вес текущего
процесса меньше
порога
ДА
s ( x , y )  1
ДА
Объединение множеств
произошло
НЕТ
НЕТ
Выбираем максимальные по
количеству элементов подмножества
Классификация точки,
как принадлежащей фону
Вывод подмножеств в
виде соответствующих
матриц изображений
Классификация точки,
как принадлежащей
движущемуся объекту
1
Конец
2
Рисунок 5 - Схема алгоритма выделения и локализации движущихся объектов
Исследованы основные параметры функционирования стереоскопической
ИИС. Получены соответствующие аналитические зависимости, которые
позволяют оценить их значения.
Время, затраченное на обработку одного стереоизображения, Tобр
определяется как:
Tобр  Tввод  Tпред  Tпарам ,
где Tввод - время, затрачиваемое на ввод стереоизображения в ЭВМ; Tпред время предварительной обработки стереоизображения; Tпарам - время
определения пространственных параметров объекта.
Максимальная и минимальная дальность обнаруживаемого объекта
стереоскопическим датчиком ИИС определяются выражениями:
W
WW
B
Lmin  f 0 
, Lmax  f 0 k ,
W m 2tg
WmW p
15
где B - базисное расстояние между телевизионными камерами, W m размер рабочей поверхности ФПМ ПЗС; W k - число элементов в кадре
изображения; W p - число элементов ФПМ ПЗС, приходящихся на изображение
наблюдаемого объекта; W0 - линейный размер наблюдаемого объекта по
горизонтали;  - угол поля зрения на объект.
Минимальное значение скорости движущегося объекта ограничено
выбором управляющего параметра при обновлении веса W p ( x, y) точки модели
фона. Максимальное значение определяется как:
 max  Wkp / t ,
где Wkp  WПЗС  L / f  B - ширина картинной плоскости совместной
области видимости ТК; t - временной интервал между двумя
последовательными кадрами изображений; W ПЗС - размер оптической проекции
объекта на поверхности ПЗС матрицы ТК.
В
четвертом
разделе
диссертации
приводятся
особенности
конструктивного исполнения стереоскопического датчика изображений;
выполняется анализ метрологических характеристик разработанной ИИС;
приводится оригинальная методика экспериментального исследования
стереоскопической системы ОПДО; проводится тестирование разработанной
системы в соответствии с предложенной методикой.
В результате анализа метрологических характеристик установлено, что
методическая погрешность определения параметров объектов обусловлена
случайной погрешностью определения координат точек (m, n) на плоских
изображениях, которая является следствием несовершенства методики
2
f

k


dpi
  m2 и
представления цифровых изображений в ЭВМ: m М2  
2

 cos  
2
 f  k dpi 
2
  n2 , где f - фокусное расстояние;  - угол проекции данной
n М  
2

 cos  
точки на плоскость ПЗС; k dpi - коэффициент преобразования метрического
значения в количество элементов матрицы ПЗС;  m и  n - приращение угла
проекции точки объекта по горизонтали и вертикали на плоскость ПЗС, при
котором не меняются её координаты на изображении в ЭВМ.
В свою очередь это является причиной возникновения случайной
погрешности
определения
линейного
параллакса
и
p M2  4mМ2
пространственных
 np М
Y  
2
 Bf
2
М
2
координат
точек:
X
2
2
2
М
 p 
 4  n М  2
 Z  
 Z , Z М2   М  Z 2 .
 Bf 

 f 
16
 mp М
 
2
 Bf
2
 4  m М
 Z  

 f
2
 2
 Z ,

Сделан вывод, что на точность вычисления координат влияют ошибки
соответствующих параметров пропорционально расстоянию Z до объекта.
Получены аналитические соотношения для относительной методической
погрешности определения размеров объекта по вертикали h , горизонтали w и
глубине k :
 М ( w)  X М2 max  X М2 min / w,  М (h)  YМ2 max  YМ2 min / h,
 М (k )  Z М2 max  Z 2М min / k .
Была проведена оценка относительной методической погрешности
определения средней скорости движущегося объекта:
X М2 1  X М2 2  YМ2 1  YМ2 2  Z М2 1  Z М2 2
 М
.
 М ( ) 


( x 2  x1 ) 2  ( y 2  y1 ) 2  ( z 2  z1 ) 2
Относительная методическая погрешность измерения расстояния до
движущегося объекта определяется точностью вычисления координаты Z :
s М Z М

.
s
s
Главными составляющими инструментальной погрешности определения
параметров объектов являются инструментальная погрешность АЦП, а также
неточность определения базисного расстояния, неточность измерения и
несовпадение параметров ТК датчика изображений.
В ходе анализа источников инструментальной погрешности АЦП получено
выражение для определения относительной погрешности:
 И ( АЦП )  АЦП И (n) / x вх (n)  K / K  x 0 / x вх (n)  x Н / x вх (n) ,
~
где K - номинальный, а K - фактический коэффициент передачи
сигнального тракта; x 0 , x Н - приведённые ко входу значения смещения нуля
и погрешности нелинейности; x в х (n) - значение входного сигнала.
Неточностью
определения
фокусного
расстояния
каждой
из
телевизионных камер f И и f И стереоскопического датчика, его несовпадение
f И  f И , отсутствие совмещения главной точки изображения ТК с
координатами ( x 0 , y 0 ) приводит к возникновению погрешностей:
m  f  f И  m   f  f И  m 2  x 0  m  2  x 0
 И ( m) 
,
2  f 3  tg
 М (s) 
nf (f И  f )  f 2 ( y 0  y 0 )  n(mx0  m x 0 )
 И ( n) 
,
2  f 3  tg / cos 
m( f  f И  m  x 0 )  m ( f  f И  m   x 0 )
 И ( p) 
.
f 2 (m  m )
Поскольку обе составляющие погрешности оказывают общее влияние на
точность вычисления координат, то суммарная погрешность:
17
~
~
 И (m)   И2 (m)   И2 ( АЦП ) ,  И (n)   И2 (n)   И2 ( АЦП ) ,
~
 И ( p)   И2 ( p)   И2 ( АЦП ) .
Учитывая выше сказанное, систематическая погрешность вычисления
пространственных координат точек:
~
~
m   И ( m)
m( p   И ( p)) 2 mB И
X И 
Z
Z 
Z,
f
Bf 2
Bf
~
~
n   И ( n)
n( p   И ( p)) 2 nB И
YИ 
Z
Z 
Z,
f
Bf 2
Bf
~
f И
p   И ( p)
B И
Z И 
Z
Z
Z.
f
Bf
B
Тогда выражения для абсолютной инструментальной погрешности
определения размеров движущегося объекта можно записать как:
~
wИ  ( p   И ( p)  Z  f  BИ )  (mmin  mmax )  Z / Bf 2 ,
~
hИ  ( p   И ( p)  Z  f  BИ )  (nmin  nmax )  Z / Bf 2 ,
~
k И  f И / f  p   И ( p) / Bf  BИ / B   Z max  Z min .
Относительная инструментальная погрешность вычисления размеров
движущегося объекта:
 И ( w)  X И max  X И min / w,  И (h)  YИ max  YИ min / h,
 И (k )  Z И max  Z И min / k .
Относительная инструментальная погрешность определения средней
скорости движения объекта:
(X И 2  X И 1 ) 2  (YИ 2  YИ 1 ) 2  (Z И 2  Z И 1 ) 2
 И
.
 И ( ) 


( x 2  x1 ) 2  ( y 2  y1 ) 2  ( z 2  z1 ) 2
Относительная инструментальная погрешность определения расстояния:
s И Z И
.

s
s
В работе рассмотрена результирующая погрешность определения
параметров объектов, предложены рекомендации по её уменьшению:
 Р ( w)  ( И ( w)) 2  ( М ( w)) 2 ,  Р (h)  ( И (h)) 2  ( М (h)) 2 ,
 И (s) 
 Р (k )  ( И (k )) 2  ( М (k )) 2 ,  Р ( )  ( И ( )) 2  ( М ( )) 2 ,
 Р ( s)  ( И ( s)) 2  ( М ( s)) 2 ,
Для соответствия диапазону измерений параметров движущихся объектов
и точности, указанных в требованиях к информационно-измерительной
системе, фокусное расстояние для телевизионных камер стереоскопического
датчика изображений составило f  10 мм , базисное расстояние B  0,3 м .
18
На основе проведённого анализа метрологических характеристик ИИС,
была дана аналитическая оценка максимальной погрешности определения
основных параметров движущихся объектов (Таблица 1). Расчёт был проведён
для объекта, движущегося со скоростью 0,2 м/с, размером 0,3×0,3×0,3м, на
максимально допустимом расстоянии от датчика изображений – 10 м.
Полученная максимальная результирующая погрешность по каждому из
измеряемых параметров не превосходит 15% от значения величины
измеряемого параметра, что полностью отвечает требованиям к ИИС ОПДО.
Таблица 1. Метрологические характеристики ИИС ОПДО
Параметр \ Погрешность
Координата X
Координата Y
Координата Z
Размер по горизонтали w
Размер по вертикали h
Размер по глубине k
Скорость 
Расстояние до объекта s
М
0,019 м
0,015 м
0,007 м
0,026 м
0,021 м
0,009 м
0,03 м/с
0,007 м
И
0,051 м
0,043 м
0,075 м
0,002 м
0,001 м
0,006 м
0,007 м/с
0,075 м
М
0,79%
0,80%
0,06%
8,67%
7,0%
3,0%
15,0%
0,06%
И
2,12%
2,39%
0,73%
0,66%
0,33%
2,0%
3,50%
0,73%
δР
2,2%
2,5%
0,7%
8,7%
7%
3,6%
15%
0,7%
Проведено экспериментальное исследование стереоскопической ИИС
ОПДО в соответствии с разработанной методикой. В ходе проведения
эксперимента была оценена пространственная (рисунок 6) и контрастная
чувствительность ИИС для разных значений PSNR.
Рисунок 6 - Пространственная чувствительность ИИС
Сделан вывод, что ИИС соответствует требованиям по обеспечению
требуемого уровня вероятности обнаружения движущихся объектов при
соотношении сигнал шум на изображении не менее 35 dB.
19
Была проведена экспериментальная проверка точности определения
стереоскопической ИИС ОПДО размеров объекта, скорости движения и
расстояния до него (рисунок 7).
Рисунок 7 - Определение размеров, скорости и расстояния до объекта
20
Сделан вывод, что полученные экспериментальные данные измерения
размеров объекта, скорости перемещения и расстояния до него с допустимой
погрешностью соответствуют фактическим значениям, что подтверждает
достоверность математической модели ОПДО и проведённых расчётов по
оценки метрологических характеристик разработанной ИИС.
В результате проведения экспериментов получены временные затраты
ИИС на определение пространственных параметров движущихся объектов в
зависимости от их количества, одновременно находящихся в поле зрения
датчика изображений. Максимальное время, затрачиваемое на измерение
параметров объектов, составило 35 мс, что соответствует требованиям ИИС по
быстродействию.
ЗАКЛЮЧЕНИЕ
Диссертационная работа посвящена решению актуальной задачи создания
стереоскопической ИИС, позволяющей определять пространственные
параметры движущихся объектов с заданной точностью в реальном масштабе
времени. Проанализированы существующие системы и методы определения
параметров динамических объектов, сформулированы основные требования к
ИИС ОПДО и обосновано применение телевизионного метода с
использованием принципов стереоскопии для решения поставленной задачи.
Разработана математическая модель, алгоритмы и методы ОПДО. Предложена
оригинальная методика тестирования стереоскопических ИСС ОПДО, с
использованием которой было проведено экспериментальное исследование
разработанной системы.
В работе получены следующие основные результаты:
1. В результате анализа систем ОПДО были определены их основные
преимущественные характеристики, на основе этого сформулированы
технические и эксплуатационные требования к разрабатываемой ИИС
определения параметров движущихся объектов.
2. В результате сравнительного анализа методов определения параметров
движущихся объектов было показано, что телевизионный метод с
использованием принципов стереоскопии является оптимальным, с точки
зрения соответствия сформулированным требованиям к системе и
наличия ряда важных преимуществ перед другими методами, для
построения ИИС ОПДО.
3. Разработана
математическая
модель
определения
параметров
движущихся объектов, которая позволяет провести теоретическое
исследование влияния различных параметров, как системы, так и
движущегося объекта на вероятность обнаружения и точность
определения его параметров.
4. Разработаны новые методы и алгоритмы для задачи определения
пространственных параметров движущихся объектов, а также получены
21
соотношения для оценки основных параметров стереоскопической ИИС
ОПДО.
5. Выполнена оценка метрологических характеристик разработанной
стереоскопической информационно-измерительной системы ОПДО, в
частности
рассмотрены
методическая,
инструментальная
и
результирующая погрешность определения параметров движущихся
объектов. Разработаны рекомендации по уменьшению результирующей
погрешности.
6. Предложена оригинальная методика проведения экспериментального
исследования, которая позволяет эффективно оценивать основные
параметры
стереоскопических
ИИС
определения
параметров
движущихся объектов без использования каких-либо дополнительных
аппаратных или программных средств. На её основе проведено
экспериментальное исследование разработанной стереоскопической
информационно-измерительной системы.
Основное содержание диссертации опубликовано в работах:
1. Заботин, И. Н. Расчёт координат наблюдаемой точки в пространстве
[Текст] / И. Н. Заботин, Ф. Ф. Буканов // Вестник Самар. гос. техн. ун-та.
Сер. Технические науки. – Самара, 2007. – №1 (19). – С. 72-76.
2. Заботин, И. Н. Метод и алгоритм выделения движущихся объектов на
последовательности цифровых изображений [Текст] / И. Н. Заботин //
Труды шестой Всероссийской межвузовской научно-практической
конференции «Компьютерные технологии в науке, практике и
образовании». – Самара, 2007. – С. 32-36.
3. Заботин, И. Н. Пространственно-временной метод и алгоритм
адаптивной фильтрации цифровых изображений [Текст] / И. Н. Заботин//
Труды шестой Всероссийской межвузовской научно-практической
конференции «Компьютерные технологии в науке, практике и
образовании». – Самара, 2007. – С. 36-39.
4. Заботин, И. Н. Детекторы движения в стереоскопических системах
охранного теленаблюдения [Текст] / И. Н. Заботин // Труды
Всероссийской научно-технической конференция «Актуальные проблемы
информационной безопасности при противодействии криминалу и
терроризму. Теория и практика использования аппаратно-программных
средств». – Самара, 2007. – С. 133-135.
5. Заботин, И. Н. 3D видеодетектор движения в охранных системах
видеонаблюдения [Текст] / И. Н. Заботин, Ф. Ф. Буканов // Материалы
XLV Международной научно-практической конференции «Научнотехнический прогресс»: Информационные технологии. – Новосибирск,
2007. – С. 84-86.
22
6. Заботин, И. Н. Интегрированные системы безопасности: структура,
определения, преимущества [Текст] / И. Н. Заботин, Ф. Ф. Буканов, И. А.
Раков // Труды Всероссийской научно-технической конференции
«Актуальные
проблемы
информационной
безопасности
при
противодействии криминалу и терроризму. Теория и практика
использования аппаратно-программных средств». – Самара, 2007. – С.
54-67.
7. Заботин, И. Н. Автоматизированный поиск сопряжённых точек в
системах компьютерного стереозрения [Текст] / И. Н. Заботин, Ф. Ф.
Буканов // Труды XIII Международной научно-практической
конференции студентов, аспирантов и молодых ученых «Современные
техника и технологии». – Томск: Изд-во ТПУ, 2007. – Т.2. – С. 337-339.
8. «Nucleus»
программа
управления
интегрированной
системой
безопасности [Текст] : Свидетельство РосАПО об официальной
регистрации программы для ЭВМ / Заботин И. Н., Костров А. В.,
Подсекин И. А., Бережной П. А., Кишалов В. Н., Осипов А.В., Корноухов
В.В., Юрьев Д.Ю. – №2006612395; от 10.05.2006.
23
Автореферат отпечатан с разрешения диссертационного совета Д212.217.03
ГОУ ВПО Самарский государственный технический университет
(протокол « № 27 » от « 24 » декабря 2007 г.)
Заказ № 1033. Тираж 100 экз.
Отпечатано на ризографе.
Самарский государственный технический университет
Отдел типографии и оперативной печати
443100, г.Самара, ул. Молодогвардейская, 244
24