Министерство образования и науки Российской Федерации На
advertisement
Министерство образования и науки Российской Федерации На правах рукописи АСТАФЬЕВ АЛЕКСАНДР ВЛАДИМИРОВИЧ МЕТОДЫ И АЛГОРИТМЫ ЛОКАЛИЗАЦИИ ИЗОБРАЖЕНИЙ МАРКИРОВКИ ПРОМЫШЛЕННЫХ ИЗДЕЛИЙ НА ОСНОВЕ РЕКУРРЕНТНОГО ПОИСКА УСРЕДНЕННОГО МАКСИМУМА Специальность: 05.13.01 – Системный анализ, управление и обработка информации (в науке и промышленности) ДИССЕРТАЦИЯ на соискание ученой степени кандидата технических наук Научный руководитель: доктор технических наук А.А. Орлов Муром 2015 2 Оглавление Введение....................................................................................................................................................... 4 Глава 1. Анализ систем технического зрения промышленных предприятий. Постановка задачи исследований ............................................................................................................................................... 9 1.1 Определение локализации. Требования, предъявляемые к процессу локализации .............. 9 1.2 Обзор методов нанесения промышленной маркировки ..............................................................10 1.3 Анализ существующих систем локализации ................................................................................14 1.3 Обзор и анализ существующих методов локализации объектов на цифровых изображениях27 Вывод по главе 1 ...................................................................................................................................36 Постановка задачи исследования ........................................................................................................36 Глава 2. Разработка метода и алгоритмов локализации объектов на цифровых изображениях .......38 2.1 Математическая модель изображения маркировки промышленного изделия ..........................38 2.2 Рекуррентный поиск усредненного максимума на цифровом изображении ............................40 2.4 Алгоритм локализации на основе яркостных признаков ............................................................43 2.3 Алгоритм локализации на основе анализа всплесков яркости ...................................................47 2.5 Алгоритм локализации на основе цветовых признаков ..............................................................52 2.6 Алгоритм локализации на основе текстурных признаков...........................................................55 2.7 Алгоритм локализации с использованием дополнительной метки ............................................59 2.8 Алгоритм локализации на основе двухмерного усреднения ......................................................62 2.9 Методика настройки системы локализации на определенный вид маркировки.......................64 2.10 Алгоритм управления системой автоматической идентификации маркировки .....................72 Выводы по главе 2.................................................................................................................................75 Глава 3. Экспериментальные исследования разработанных алгоритмов ............................................77 3.1 Описание лабораторной установки и опытных изображений ........................................................77 3.2 Исследование алгоритма локализации на основе анализа всплесков яркости ....................79 3.3 Исследование алгоритма локализации на основе яркостных признаков ...................................85 3.4 Исследование алгоритма локализации на основе цветовых признаков .....................................89 3.5 Исследования алгоритма локализации на основе текстурных признаков. ................................93 Выводы по главе 3.................................................................................................................................97 Глава 4. Применение разработанных алгоритмов в системах идентификации промышленных изделий .......................................................................................................................................................99 4.1 Структура автоматической системы локализации .......................................................................99 4.2 Методика настройки разработанной системы ............................................................................100 3 4.3 Внедрение разработанных алгоритмов .......................................................................................113 Выводы по главе 4...............................................................................................................................117 Заключение ..........................................................................................................................................118 Список использованной литературы .................................................................................................120 Список иллюстрированного материала ............................................................................................136 Приложение А .....................................................................................................................................140 4 Введение Актуальность работы. В настоящее время, в связи с необходимостью развития промышленности, требуется введение новых наукоемких технологий по контролю движения продукции. Реализация такого контроля возможна с помощью внедрения систем автоматической идентификации и распознавания. От степени совершенства работы системы контроля движения продукции зависит эффективность производства в целом. Поэтому решение задач управления на промышленных предприятиях, состоящих в разработке новых и совершенствовании существующих методов и средств обработки информации, с целью повышения эффективности систем контроля движения продукции имеет важное значение. Для контроля движения продукции используются маркировки промышленных изделий. На новейших промышленных предприятиях контроль движения продукции осуществляется специализированными средствами – системами автоматической идентификации маркировки (САИМ). Основная сложность при использовании САИМ заключается в задаче локализации промышленной продукции, которую усложняют наличие неравномерной освещенности и резкости искусственным и солнечным светом, (засвечивание изображения неверная настройка фокуса), присутствие шумов и размытий, а также образов производственных сооружений и агрегатов. Автоматизация этой сферы деятельности является мало проработанной и, зачастую, выполняется вручную Большой вклад в развитие методов обработки и локализации изображений внесли Сойфер В.А., Прэтт У.К., Ярославский Л.П., Садыков С.С., Визильтер Ю.В., Васин Ю.Г., Утробин В.А., Приоров А.Л., Фурман Я.А., Дворкович В.П., Дворкович А.В., Ересько Ю.Н., Моттль В.В., Гонсалес Р., Sloan A., Crownover R., Vrscay E., Peng F., Davis G., Freeman G., Lin H., 5 Kaplan M., Keller M., Varma M., Barnsley M., Ghazel M., Zmeškal O., Sarkar N., Suzuki Y. и другие. В настоящее время для локализации объектов на цифровых изображениях используются такие методы как скользящее окно, «сумка визуальных слов», SIFT, SURF, Viola Jones и многие другие. Однако существующие методы и алгоритмы не адаптированы для локализации промышленной продукции, т.к. зачастую предназначены для идентификации изображений в сфере сервиса и безопасности. Применение существующих методов локализации промышленных изделий не обеспечивают заданную оперативность и достоверность результата локализации маркировок. Таким образом, разработка новых методов и алгоритмов локализации маркировок промышленных изделий является актуальной научно- технической задачей. Цель работы: разработка методов и алгоритмов локализации штрихкодовых и символьных маркировок на основе рекуррентного поиска усредненного максимума для повышения достоверности и оперативности идентификации промышленной продукции. Для достижения поставленной цели необходимо решить следующие задачи: 1. Обзор и анализ систем и методов локализации объектов на изображениях. 2. Разработка методов и алгоритмов локализации маркировок промышленных изделий. 3. Экспериментальные исследования разработанных алгоритмов. Объект исследований. Системы и средства идентификации маркировок промышленных изделий на производственных сценах. Предмет исследований. локализации изображений производственных сценах. Методы и маркировок алгоритмы обнаружения промышленных изделий и на 6 Достоверность и обоснованность обусловлена тем, что: – в ходе экспериментальных исследований использовалось сертифицированное оборудование фирм Basler, Beward, Siemens, Computar, Lilin, Samsung и Lenovo; полученные результаты могут быть воспроизведены в различных условиях металлопрокатного производства, комплекса СТАН что показано 5000, на ОАО примере «Выксунский металлургический завод», г. Выкса; – теоретическое исследование основано на проверяемых данных с применением теории эксперимента, теории вероятностей, теории множеств, теории моделирования, теории программирования и согласуется с опубликованными в журналах ВАК и РИНЦ экспериментальными данными по теме диссертации; – использованы сравнения авторских данных, и данных, полученных ранее по рассматриваемой тематике на складе металлопрокатного комплекса СТАН 5000, ОАО «Выксунский металлургический завод», г. Выкса; – установлено качественное и количественное совпадение авторских результатов с моделирования результатами, процесса полученными при в ходе непосредственных имитационного измерениях с использованием сертифицированных приборов; – использованы современные методики сбора и обработки исходной информации, а также новейшие способы и средства хранения информации с применением средств вычислительной техники. Научная новизна работы: 1. Разработаны методы и алгоритмы локализации, отличающиеся: - использованием рекуррентного поиска усредненного максимума; - применением дополнительной метки; обеспечивающие локализации повышение маркировок производственных площадей. оперативности промышленных и изделий достоверности на сценах 7 2. Предложен алгоритм управления системой автоматической идентификации маркировки, основанный на использовании данных о координатах изображения маркировки как результата разработанных алгоритмов локализации, позволяющий в отличие от существующих оперативно идентифицировать промышленные изделия. 3. Разработана методика настройки системы локализации, построенная на основе анализа системы изображения маркировок, их признаков, условий производства и алгоритмов локализации, позволяющая выбрать и настроить алгоритмы на определенный вид маркировки. На защиту выносятся следующие результаты: 1. Алгоритмы обнаружения и локализации маркировок промышленных изделий, обеспечивающие повышение скорости работы и достоверности локализации изображений в системах контроля движения продукции. 2. Алгоритм управления системой автоматической идентификации маркировки, основанный на изображения маркировки как использовании результата данных о разработанных координатах алгоритмов локализации. 3. Методика настройки системы локализации, построенная на основе анализа системы изображения маркировок, их признаков, условий производства и алгоритмов локализации. 4. Результаты исследований разработанных алгоритмов. 5. Результаты внедрения разработанных алгоритмов на промышленных предприятиях. Теоретическая значимость исследования обоснована тем, что: применительно к задаче диссертации результативно использованы комплексы базовых методов теорий цифровой обработки изображений, распознавания образов, математической статистики; изложены новые алгоритмы локализации маркировок промышленных изделий на цифровых изображениях; 8 установлено отсутствие эффективных подходов, алгоритмов и систем в цифровой обработки изображений, позволяющих решить задачу локализации маркировок промышленных изделий; изучены применительно к задачам диссертации методы цифровой обработки изображений и распознавания образов. Практическая значимость: – разработаны и внедрены алгоритмы локализации изображений промышленных изделий, обеспечивающие оперативный контроль движения металлопрокатных «Выксунский заготовок на металлургический промышленном завод», предприятии что ОАО подтверждается соответствующим актом; – определена область практического использования разработанных алгоритмов при создании промышленных систем автоматической локализации промышленных изделий; – созданы практические рекомендации по составу технических средств системы автоматической идентификации промышленных изделий; – представлены методические рекомендации по настройке системы автоматической локализации промышленных изделий. 9 Глава 1. Анализ систем технического зрения промышленных предприятий. Постановка задачи исследований 1.1 Определение локализации. Требования, предъявляемые к процессу локализации Локализация (от лат. localis - местный, locus - место), в общем представлении, отнесение чего-либо к определенному месту; ограничение места действия, распространения какого-либо явления, процесса, например, локализация движения [52, 58, 59, 74]. Задача локализации промышленных изделий в условиях реального производства зачастую является первым шагом в процессе решения задачи более высокого уровня, к примеру, их идентификации. Интерес к этой проблеме обусловлен появлением систем идентификации промышленных изделий и обеспечением новых возможностей в области безопасности и учета [53, 54, 100-102]. Бесспорно, основой любой системы локализации объектов являются использующиеся алгоритмы поиска. Определяют следующие характеристики систем локализации [1, 5, 6, 12, 52, 62, 66, 69, 74, 77]: вероятность локализации; скорость работы; способность локализировать прямоугольные области на изображении с искажениями; способность работать с изображениями различного качества. Локализация образов промышленных изделий на цифровых изображениях является нетривиальной задачей из области технического зрения и искусственного интеллекта. Используемые алгоритмы локализации таких областей, как правило, являются коммерческой тайной и, естественно, не публикуются. Лишь немногие компании называют их типы и публикуют последовательность действий [8, 9, 19, 22]. 10 1.2 Обзор методов нанесения промышленной маркировки Для того, чтобы определить основные структурные и морфологические особенности существующих маркировок необходимо провести их анализ. Определение основных особенностей существующих маркировок позволит разработать алгоритмы их локализации. Существует целый перечень способов нанесения промышленной маркировки [11, 21, 29, 75, 79, 99, 94]: лазерная маркировка; каплеструйная маркировка; ударно-точечная маркировка. Лазерная маркировка – нанесение на изделие различной информации и идентификационных данных, применяемая с бесконтактностью и быстротой процесса, а также имеющая надежность и стойкость изображения. Каплеструйная маркировка – маркировка, которая может наноситься как на ровные, так и неровные, пористы и чувствительные поверхности, осуществляется посредством использования специального промышленного принтера. Ударно-точечная маркировка осуществляется непосредственно на детали с помощью непрерывных линий и точек, производимых вибрацией вольфрамово-карбидного пробойника, установленного на электромагнитную иглу [10, 92, 93]. Наличие некоторых разновидностей методов и способов нанесения промышленных кодов повлекло за собой возникновение большого числа маркеров, которые применяются в различных типах производства. Было произведено необходимое исследование, в результате которого были получены наиболее часто использующиеся на производстве маркеры. Так как от метода их нанесения могут зависеть признаки, способствующие процессу локализации, была произведена группировка, сведенная в следующую таблицу 1.1. 11 Таблица 1.1 - Группировка маркеров по методу нанесения Способ нанесения Тип маркера Лазерная маркировка Маркер, нанесенный на неметаллическое изделие Лазерная маркировка Маркер, нанесенный на металлического изделие Лазерная маркировка Маркировка на срезе изделия Не зависит способа от Маркировочные таблички, располагаемые на изделии Способ нанесения Тип маркера Каплеструйная маркировка Маркер на неметаллическом изделии Каплеструйная маркировка Маркер на металлическом изделии Ударно-точечная маркировка Прочерчивание маркера на металлической табличке Ударно-точечная маркировка Маркер на металле Пример маркера Пример маркера 12 Также все эти маркеры обладают уникальными характеристиками, благодаря которым, их можно разбить на следующие группы: прямоугольные; круглые; цветные; текстурированные. Исходя из найденных групп маркеров, можно выделить ряд характерных признаков, которые могут быть присущи отдельному виду или нескольким сразу: квадратная форма; округлая форма; сложная форма, в которой присутствуют признаки, как первого вида, так и второго; наличие определенного цвета; характерная текстура; различные метрические характеристики. В большинстве случае это евклидово расстояние, абсолютное расстояние, максимальное расстояние, число Эйлера, компактность, длина периметра объекта, центр масс, ориентация главной оси инерции, удлиненность (эксцентриситет), радиусы вписанных и описанных окружностей, моменты инерции, коэффициент формы; контрастность с фоном. В соответствии с перечисленными характеристиками могут применяться те или иные методы локализации областей интереса на изображении. Каждый метод показывает свою эффективность при получении различных априорных данных о каких-либо характеристиках [20, 28, 31, 64, 71, 84]. Для того чтобы понять какие признаки являются преобладающими для разного типа маркировок был проведен их системный анализ. По результатам 13 анализа было выявлено, что в настоящее время самыми часто используемыми стандартами маркировки промышленных изделий являются: штрикоды - графическая информация, наносимая на поверхность, маркировку или упаковку изделий, представляющая возможность считывания ее техническими средствами — последовательность чёрных и белых полос либо других геометрических фигур; QR-коды матричный - код (двумерный штрихкод), разработанный и представленный японской компанией «Denso-Wave» в 1994 году; цифр, символьно-цифровые – маркировки, состоящие из символов и разработанные специально для конкретных производственных процессов собственными силами; комбинированные – маркировки, разработанные силами предприятий, которые могут включать в себя вышеперечисленные виды маркировок. При анализе содержания маркировок были выявлены основные признаки, характеризующие их: яркостные; цветовые; текстурные. Результаты анализа по выявлению признаков у различных маркировок сведены в таблицу 1.2. Таблица 1.2 – признаки различных типов маркировок. Тип маркировки Штрихкоды QR-коды Символьноцифровые Комбинированные Яркостные признаки + + + Цветовые признаки +/+/+/- Текстурные признаки + +/- +/- +/- +/- 14 1.3 Анализ существующих систем локализации Для того, чтобы повысить эффективность разрабатываемых алгоритмов, необходимо рассмотреть существующие системы-аналоги на рынке информационных систем мира. Анализ систем аналогов позволить выявить основные сильные и слабые места этих систем. Исходя из того, что система локализации образов промышленных изделий на цифровых изображениях практически всегда используется в составе систем технического зрения, целесообразно рассмотреть уже готовые решения, использующие данную технологию. Наиболее подходящими аналогами можно указать системы локализации и распознавания государственных регистрационных знаков автомобилей, а также номеров железнодорожных вагонов и цистерн, в виду того, что данные системы работают с прямоугольными областями изображения – номерными пластинами и нанесенными цифровыми номерами. В мире около тридцати компаний предлагают аналогичные решения по распознаванию номеров автомобилей, железнодорожных вагонов и цистерн. Как правило, все они имеет общую архитектуру, как аппаратную, так и программную. Многие системы уже имеют опыт внедрения. Продукты постоянно совершенствуются, появляются новые алгоритмы, и новые аппаратные решения, но базовая архитектура, как правило, принципиально не изменяется [2-8, 15-17, 67, 70]. На данный момент на рынке России присутствует достаточно много готовых программных и программно-аппаратных продуктов, решающих проблему распознавания номеров железнодорожных вагонов и цистерн. Среди российских компаний можно выделить: «Автоинспектор» (компания ISS); «Авто-Интеллект» (компания ITV); «SL-Traffic»; «ARSCIS»; 15 «RailwayDisp SDK». К сожалению, многие компании предоставляют очень мало информации о продаваемых ими продуктах. Таким образом, вполне вероятно, что некоторая часть компаний продает не полностью свое решение. Многие, например, покупают готовый SDK (набор программных компонент) и соединяют его со своим аппаратным решением. В таком случае круг «чистых» разработчиков не так велик, как кажется на первый взгляд. Все перечисленные компании в один голос заявляют о очень высоких показателях своих систем. У большинства точность распознавания (по данным их интернет-сайтов) составляет 95% - 98%. Однако, проверить эту информацию, к сожалению, не представляется возможным. Как правило, демо-версии предлагаемых решений не несут в себе ни какой информации о помехоустойчивости. В настоящее время эта тема очень актуальна в России. Большое количество разработчиков трудится над этими задачами. Многие достигли значительных успехов. Однако, масштабного внедрения ни одна система не получила до сих пор. Это свидетельствует либо об излишней дороговизне продуктов, либо об их низкой точности. Таким образом, перспективы у данной работы, несомненно, есть [64, 75, 82, 87, 90]. Система АВТО-Инспектор. аппаратно-программный модуль «АВТО-Инспектор» для регистрации − и специальный распознавания автомобильных номеров компании «СТБ-Сервис» действует следующим образом. Над контролируемой полосой движения устанавливается ТВкамера. Камера подключена к системе «АВТО-Инспектор», программное обеспечение которого обнаруживает появление автомобиля в кадре, отбирает кадр с оптимальным размером и четкостью автомобильного номера и распознает номер автомобиля из кадра. В базе данных сохраняется этот стопкадр, либо весь видеофрагмент, связанный с данным автомобилем, а также распознанный номер автомобиля, дата и время проезда автомобиля. 16 Возможности системы: одновременное распознавание нескольких номеров автомобилей в одной зоне контроля; при обнаружении номера из списка (например, список машин в угоне) «АВТО-Инспектор» оповещает об этом оператора (подает звуковой сигнал); наличие архива и возможность работы с ним: вывод на печать изображения автомобиля, сортировка данных в базе по заданным признакам; распознаются все виды российских (однострочных) номеров и некоторые виды зарубежных; возможность адаптации к стандартам номеров любой страны; модуль успешно работает в любых погодных условиях; эффективно взаимодействует с различными охранными системами (охранного телевидения, контроля доступа); стоп-кадры номеров сохраняются в архиве с указанием точного времени проезда автомобиля; создание базы данных автомобильных номеров; создание сетевых систем на территориях большой протяженности; «живое видео»; записывается каждый проезд, въезд/выезд транспортного средства; возможно создание базы данных из специальных стоп-кадров от 2-х ТВ-камер (фронтальный снимок автомобиля и вид сбоку); подключение к модулю светофора, шлагбаума, автоматических ворот. Технология распознавания автомобильных номеров состоит из этапов: исходное изображение приводится к виду, который не зависит от таких условий регистрации неравномерное изображения, распределение как яркости степень от освещенности, источников света, расфокуссировка, зашумленность, цветовая неравномерность символов (неравномерная окраска, грязь, пыль, блики), наличие рисунков или иной графики на подложке номера; 17 на полученном изображении «быстрым» алгоритмом выделяются области, возможно содержащие номер, в этих областях проводится более "тонкий" анализ на основе формального представления масштабных характеристик номерного знака и его выделение; приведение к стандартному размеру графического изображения номера, выделение символов и их распознавание. Алгоритм распознавания анализирует символы по ключевым характеристикам независимым от масштаба, используемого шрифта, геометрических искажений оптикой, налипание грязи и разрывов; уточнение результатов распознавания на основе информации о типе номера и по результатам из предыдущих кадров; номер автомобиля распознан и отправлен в другие модули системы для принятия решений. Итогом работы становится строка с распознанным номером и стоп-кадр с изображением автомобиля (рисунок 1.1), отправленным в базу данных. Рисунок 1.1 – результат работы системы АВТО-инспектор Система Авто-Интеллект. Компания ITV разработала систему распознавания автомобильных номеров под названием «Авто-Интеллект». Система распознавания автомобильных номеров «Авто-Интеллект» 18 решает следующие задачи: повышение эффективности поиска угнанного автотранспорта в 6 раз, способствует задержанию скрывшегося с места аварии авто и другим розыскным мероприятиям; система распознавания автомобильных номеров способствует дисциплине участников дорожного движения; мониторинг загруженности перекрестков, ключевых магистралей и дорожной обстановки на аварийно-опасных участках трассы, а также сложных развязок - одна из функций системы распознавания автомобильных номеров «Авто-Интеллект»; система распознавания автомобильных номеров «Авто-Интеллект» экономит существенные ресурсы, контролируя автомобильные туннели и мосты. Вовремя зафиксированная системой автомобильная пробка или авария в длинном туннеле могут быть быстро устранены, за счет оперативной реакции системы. К примеру, в случае аварии на место происшествия может быть вызвана скорая помощь или полиция, а на время пробки в туннели может быть активизирована система вентиляции туннеля; оперативный обмен видео- и аудиоинформацией, ведение баз данных; координация различных служб из единого центра управления в том числе в критических ситуациях, при ликвидации последствий аварии и при оказании помощи пострадавшим; контроль парковок, общественного транспорта, важных объектов городской инфраструктуры. Принцип действия системы распознавания автомобильных номеров заключается в следующем: при движении автомобиля на участке дорожного полотна, в поле «зрения» телекамеры, происходит автоматическое распознавание государственного регистрационного знака, его запись в журнал и проверка на совпадение с номерами в базах данных. Система распознавания автомобильных номеров «Авто-Интеллект» 19 формирует базу данных всех транспортных средств, прошедших через зону контроля, включая в базу изображение, номер, дату, время регистрации и направление движения каждого автомобиля (рисунок 1.2). Рисунок 1.2 – результат работы системы АВТО-интеллект Система SL-Traffic. SL-Traffic – программный модуль считывания и распознавания автомобильных номеров в режиме реального времени компании «СпецЛаб». Модуль работает в качестве видео фильтра в системе GOALcity или может встраивается в любую систему видеорегистрации, в том числе и сторонних фирм. Возможности системы SL Traffic: распознавание всех однострочных номеров, выдаваемых в России и ряде других стран ближнего и дальнего зарубежья; одновременное распознавание до 20 номеров на одном кадре (большее количество номеров просто не поместится в кадре при требуемом качестве изображения); нахождение наилучшего номера из последовательности определенных номеров для одной машины (в случае, если номер машины был определен несколько раз); 20 ускоренная работа по зонам поиска; использование четырех алгоритмов распознавания номера для повышения эффективности; регулирование скорости распознавания; работа как с собственным архивом, так и с другими базами данных; формат входного изображения: оттенки серого, 10 бит на пиксель при оцифровке, 8 бит после АЦП; рекомендуемый размер кадра: 768x576; минимальная высота номера на кадре – 25 пикселей; допустимый угол наклона изображения номера на экране относительно горизонтали кадра (достигается опытным путем при установке камеры путем поворота вокруг ее оси) – до 5 градусов в любую сторону; допустимое горизонтальное искажение (когда камера установлена сбоку от определяемого номера машины) – до 30 градусов; допустимое вертикальное искажение (когда камера установлена сверху или снизу от определяемого номера машины) – до 60 градусов. Принцип действия. На контрольном пункте устанавливается видеокамера согласно перечисленным выше требованиям. Видеосигнал с данной камеры вводится в компьютер посредством устанавливаемой в него платы видеозахвата и в режиме реального времени обрабатывается программным модулем считывания и распознавания автомобильных номеров SL-Traffic в следующей последовательности: производится обнаружение движущегося автомобиля в зоне действия камеры; проводится поиск автомобильного номера (или нескольких номеров); осуществляется распознавание обнаруженного номера; делаются снимки проезжающего автомобиля (по желанию пользователя); осуществляется передача полученной информации для регистрации и 21 архивирования в выбранную по усмотрению пользователя базу данных; ведется архив. Пользователю предлагается четыре вида алгоритмов распознавания номера. Выбор наилучшего из них производится пользователем самостоятельно с целью достижения наилучшего результата в конкретных условиях применения. Работа программного модуля SL-Traffic в комплексе с ПО «СпецЛаб Проверка регистрации» также ведется в режиме реального времени и практически мгновенно (в течение одной секунды) выполняет следующие операции (рисунок 1.3): проводит распознавание номеров; осуществляет поиск по всем существующим в ГИБДД базам данных; при обнаружении криминальной информации выдает звуковое оповещение и тревожное сообщение на экран монитора; всю полученную информация заносит в журнал. Рисунок 1.3 – результат работы системы SL-Traffic Аппаратно-программный комплекс «ARSCIS» обеспечивает контроль железнодорожных грузоперевозок на заданном участке железной дороги. Идентификация объектов контроля (вагонов, цистерн, платформ и т.п.) производится путем оптического распознавания их регистрационных 22 номеров, нанесенных на борта и балку шасси вагонов. Контроль осуществляется в целях логистического учета и обеспечения экономической безопасности. Система выполняет следующие задачи: достоверный полномерной учет каждого вагона состава, проходящего через участок контроля. Оперативное выявление несоответствий между имеющимся априорным списком номеров ожидаемых вагонов (например, поступающим из АС ЭТРАН ОАО «РЖД») и реально проследовавшими вагонами. Контроль простоя вагонов на основе полученной информации; полноценный коммерческий учет перевозимой продукции: привязка массы вагона, измеряемой вагонными весами, к его регистрационному номеру. Интеграция с вагонными весами МЕТТЛЕР ТОЛЕДО – крупнейшего в мире производителя весового оборудования; детальное восстановление событий для ведения претензионной работы (отгрузка, простой вагонов, возврат порожних вагонов) с экспедиторами в области железнодорожных перевозок, контрагентами и расследовании хищений продукции с использованием ж/д транспорта. Быстрый поиск проследовавших ранее вагонов и составов в архиве стоп-кадров по номерам и другим параметрам; передача получаемой информации в АСУ верхнего уровня (интегрированную систему безопасности, АСУ транспортной логистики предприятия). 23 Рисунок 1.4 – внешний вид системы «ARSCIS» В результате внедрения системы: ручной труд оператора сокращается более чем на 90% (из-за отсутствия необходимости проверки номеров, уверенно распознанных системой); контроль становится непрерывным – 24 часа в сутки, 7 дней в неделю; минимизируется влияние человеческого фактора (автоматизируется контроль, регистрируются действия оператора). Комплект разработчика системы распознавания номеров вагонов «RailwayDisp» - это специальный программный модуль регистрации и распознавания номеров вагонов и цистерн, предназначенный для встраивания в уже существующие цифровые системы видеонаблюдения или другие проекты. Возможности системы распознавания номеров вагонов RailwayDisp: 24 возможность захвата изображений в реальном времени через устройства ввода видеоизображений, поддерживающие интерфейс Microsoft DirectShow возможность программно устанавливать параметры видеозахвата: видео вход платы захвата, видеостандарт, размер кадров, настройки изображения и т.д.; возможность получения видео от сетевых камер и видео серверов AXIS; возможность передачи изображений для обработки в реальном времени из программы клиента через оперативную память в формате jpeg, bmp, либо в виде массива; автоматическое распознавание номеров вагонов в режиме реального времени; объединение результатов распознавания кадров прохождения вагона и выдача совокупного результата распознавания по вагону (порядковый номер, бортовой номер, вероятность, кадр начала/окончания вагона, направление движения, изображение вагона с макс. вероятностью); возможность одновременной работы с несколькими видео каналами; возможность одновременной работы с несколькими камерами, установленными по разным сторонам вагона с выдачей общего конечного результата распознавания по данным со всех камер; возможность обработки в offline режиме видео файлов AVI формата (при наличии установленного в системе соответствующего кодека); синтаксический контроль считанных номеров по алгоритму МПС; автоматическая программная настройка параметров системы с помощью утилиты "Калибратор"; передача клиентскому приложению, либо сохранение кадров с распознанными номерами в файл в формате jpeg, bmp; запись обрабатываемых кадров в видео файлы со сжатием 25 установленными в системе кодеками. Возможно параллельное открытие и запись нескольких видео потоков; сохранение кадров видеопотока с распознанными номерами в файл (bmp, jpeg, png); определение события появления состава; определение направления движения вагонов; автоматический подсчёт количества вагонов с использованием фонового щита; коррекция радиальных оптических искажений камеры. Для камер с широкоугольным объективом и съёмки с близкого расстояния (от 1.5 метра). cверка результатов распознавания с установленным клиентским приложением списком номеров. Выдача номера из списка, наиболее похожего на результат распознавания модуля. Использование в алгоритме объединения результатов распознавания по вагону номеров из списка при наличии нескольких гипотез распознавания; специальный режим углубленного поиска, предназначенный для распознавания в оффлайн режиме, который позволяет повысить вероятность распознавания за счет использования более эффективных, но более медленных алгоритмов. В ходе анализа были выделены важные критерии для оценки систем локализации государственных номерных знаков автомобилей на цифровых изображениях и в видеопотоке: максимально допустимая скорость движения (в километрах в час) максимальное количество одновременно распознаваемых номеров; требуемая освещенность (в люксах); вертикальный угол наклона к плоскости дорожного полотна (в градусах); вероятность локализации и распознавания (в процентах); минимальная высота номера в кадре, (в пикселях). 26 Результат анализа рассматриваемых систем представлен в таблице 1.3. Таблица 1.3 - результат сравнительного анализа систем - аналогов Показатель АВТОИнспектор Название системы АвтоSLARSCIS Интеллект Traffic Railway Disp Максимально допустимая Не До 150 До 150 До 60 До 60 скорость указано движения, км/ч Максимальное количество Не одновременно Не указано До 20 1 1 ограничено распознаваемых номеров Требуемая Не менее Не менее Не Не Не освещенность, лк 50 50 указано менее 70 менее 65 Вертикальный угол наклона к плоскости До 40 До 30 До 60 До 20 До 20 дорожного полотна, град Вероятность Не Не менее Не менее Не Не локализации и менее 95 90 менее 95 менее 95 распознавания, % 70 Минимальная высота номера в Не указано Не указано 25 75 75 кадре, пикселей В результате анализа можно выделить минимальные требования для разработки системы локализации образов промышленных изделий на цифровых изображениях, чтобы она была конкурентоспособна на рынке: максимально допустимая скорость движения – не менее 150 км/ч; 27 максимальное количество одновременно распознаваемых номеров – не менее 20; требуемая освещенность – не более 50 лк; вертикальный угол наклона к плоскости дорожного полотна - не менее 40 градусов; вероятность локализации и распознавания – не менее 90%; минимальная высота номера в кадре – не более 25 пикселей. 1.3 Обзор и анализ существующих методов локализации объектов на цифровых изображениях Для повышения эффективности процесса локализации, также необходимо рассмотреть существующие алгоритмы-аналоги и определить их основные особенности. Определение особенностей алгоритмов-аналогов позволит учесть их слабые места при разработке собственных алгоритмов. Классификация современных алгоритмов локализации образов на цифровых изображениях представлен в таблице 1.4. Таблица 1.4 – классификация современных алгоритмов локализации Алгоритмы вейвлет преобразований Алгоритмы Нейронные выделения границ сети Пороговая обработка Сегментация Корреляционное преобразованием сопоставление водораздела Методы триангуляции Angle of Arrival Recieved Signal Strength Time Difference of Arrival Round Trip Time Time of Flight Time of Arrival Алгоритм Бутстраппинг Алгоритм AdaBoost (Discreet) Алгоритм сумка визуальных слов Алгоритм SURF Алгоритм Бустинг Алгоритм SIFT Алгоритм Отцу Обработка глобальным порогом Обработка адаптивным порогом HOG-фильтр Алгоритм скользящего окна Преобразование Хафа Алгоритм Собеля Алгоритм Превитта Алгоритм Робертса Алгоритм двумерных вейвлетов Бинаризация пикселей в вейвлетдомене Преобразование Хафа (Hough Transform), 1968 год. — алгоритм, численный метод применяемый для извлечения элементов из изображения. Используется в анализе изображений, цифровой обработке изображений и 28 компьютерном зрении. Предназначен для поиска объектов, принадлежащих определённому классу фигур с использованием процедуры голосования. Процедура голосования применяется к пространству параметров, из которого и получаются объекты определённого класса фигур по локальному максимуму в, так называемом, накопительном пространстве (accumulator space), которое строится при вычислении трансформации Хафа. Классический алгоритм преобразования Хафа связан с идентификацией прямых в изображении, но позже алгоритм был расширен возможностью идентификации позиции произвольной фигуры, чаще всего, эллипсов и окружностей. Преобразование Хафа, в том виде, котором оно используется теперь, было изобретено в 1962 году. Этот алгоритм назвали «обобщённым преобразованием Хафа» (патент 1962 г. Поля Хафа). Преобразование Хафа эффективно только при значительном количестве «попаданий» в соответствующий элемент пространства Хафа, только тогда можно с уверенностью определить фигуру, пренебрегая фоновым шумом. Это значит, что размер элемента не должен быть очень маленьким, иначе некоторые значения попадут в соседние элементы, уменьшая видимость нужного элемента. Также, когда число параметров большое (больше трёх), среднее количество «попаданий» в элемент невелико, и поэтому верный элемент не будет очень сильно отличаться от соседей. Таким образом, алгоритм должен использоваться с большой осторожностью, чтобы не определить что-то иное как прямые и круги. Эффективность алгоритма в большой степени обусловлена качеством входных данных: границы фигур на этапе предобработки изображения должны быть четко определены. Использование преобразования Хафа на зашумленных изображениях затруднено. Для зашумленных изображений необходим этап предобработки с целью подавления шума. В случае, если изображение повреждено, спектр, как в случае с изображением с индикатора 29 радара, преобразование Радона предпочтительнее для определения линий, так как оно имеет хороший эффект шумоподавления при суммировании [115, 118]. Метод скользящего окна. Для полного анализа изображения необходимо сканировать изображение «скользящим окном», которое изменяет не только свое положение, но и свои размеры. Это обусловлено тем, что метка может находиться в различных местах на изображении, а также имеет различный размер в зависимости от расстояния до объектива камеры во время съемки. При масштабировании геометрических параметров фильтров их вычисление происходит с постоянной скоростью в независимости от размера. При сканировании скользящее окно передвигается дискретно на определенное количество пикселей. Когда изображение сканировано полностью на текущем масштабе, происходит переход на другой масштаб фильтров и заново происходит сканирование уже на новом масштабе. Таким образом, выбор значений изменения шага передвижения окна, а также шага масштаба влияют на качество обнаружения искомого объекта (в нашем случае маркера) и на время работы детектора (рисунок 1.5). Эти значения определяются экспериментально. Шаг передвижения окна согласовывается с текущим масштабом [18, 23, 26, 60, 95, 116, 117]. Рисунок 1.5 – работа алгоритма «скользящее окно» 30 Недостатки алгоритма: медленная работа алгоритма; дискретность рамки; частичное перекрытие. Алгоритм «сумка визуальных слов». Для того чтобы представить изображение множеством (сумкой) визуальных слов необходимо обнаружить на изображении точки интереса (признаки изображения), используя словарь визуальных слов. Последний получают посредством кластеризации множества описаний точек интереса всех входных изображений. В качестве алгоритма поиска характерных признаков изображения используется алгоритм SIFT, который включает в себя и алгоритм обнаружения, и алгоритм описания. В качестве точек интереса, обнаруживаемых SIFT-детектором выступают так называемые “пятна” (blobs). Под пятном предполагается понимать область изображения, которая ярче/темнее, чем ее окружение. SIFT – описание пятна(SIFT – дескриптор, рисунок 1.6) очень популярен, так как он инвариантен (достаточно устойчив) к повороту, переносу и изменении масштаба изображения, т.е. почти к полной группе аффинных преобразований, а так же устойчив к изменению освещения сцены, а так же к смене ракурса – вплоть до 60°, если исходной изображение фронтальное [25, 30, 51, 57, 72, 119, 120]. Рисунок 1.6 - SIFT дескрипторы 31 Недостатки: медленная работа алгоритма; нет явного моделирования пространственной информации. Метод Viola Jones, 2001 год. Предложен в 2001 году Paul Viola и Michael Jones. Основные принципы, на которых основан метод [1, 8, 33, 39, 41, 75, 109, 121, 122]: используются изображения в интегральном представлении, что позволяет вычислять быстро необходимые объекты; используются признаки Хаара, с помощью которых происходит поиск нужного объекта; используется бустинг (от англ. boost – улучшение, усиление) для выбора наиболее подходящих признаков для искомого объекта на данной части изображения; все признаки поступают на вход классификатора, который дает результат «верно» либо «ложь»; используются каскады признаков для быстрого отбрасывания окон, где не найдено лицо. Недостатки: медленная работа алгоритма; необходимость обучения и точной настройки; не инвариантен к наклону >30°. Методы, основанные на анализе контура. Для поиска прямоугольных форм на изображении можно применить алгоритм выделения контуров. Задача выделения контуров состоит в построении бинарного изображения, содержащего очертания объектов. Наиболее часто используемый подход к решению задачи обнаружения перепадов на одноцветном изображении схематически показан на рисунке 1.7. 32 Подчеркивание перепадов Пороговая обработка Рисунок 1.7 – Общий вид процедуры выделения контуров Одним из наиболее очевидных и простых способов обнаружения границ является дифференцирование яркости, рассматриваемой как функция пространственных координат. Эффект дифференцирования видно на простом примере (Рисунок 1.8). Рисунок 1.8 – Дифференциальный метод выделения контура на изображении При реализации процедуры детектирования контуров стараются избегать трудоемких операций типа умножения и извлечения квадратного корня. Поэтому используют выражения, вычисляемые проще, «аппроксимирующие» дискретный градиент. Существуют и другие приближения градиента. Следует отметить, что применение любых градиентных операторов дает обычно сходные результаты. Различия наблюдаются только в их устойчивости к шуму. Методы, основанные на анализе контуров, позволяют находить номер 33 различного размера (проблема масштабируемости) и под различным наклоном. Однако, у них есть очень важный минус – трудоемкость вычислений, даже на небольшой картинке время обнаружения может достигать нескольких секунд, что неприемлемо. Проход по изображению скользящим окном сама по себе уже трудоемкая операция, а последующий анализ контуров, которых может быть очень много, добавляет к этому значительную нагрузку [56, 88, 110-114]. Метод корреляции, 1984 год. Метод рассматривает, как можно сравнить две последовательности, состоящие из значений, одновременно выбираемых из двух соответствующих сигналов. Если два сигнала похоже меняются при переходе от точки к точке, то меру их корреляции можно вычислить, взяв сумму произведений соответствующих пар точек. Данное предложение становится более аргументированным, если рассмотреть две независимые и случайные последовательности данных. В этом случае сумма произведений стремиться к исчезающе малому случайному числу по мере увеличения пар точек. В то же время, если сумма конечна, это указывает на наличие корреляции. Отрицательная сумма указывает на отрицательную корреляцию, т.е. увеличение одной переменной связанно с уменьшением другой. На практике, когда два сигнала коррелируют, их фазовая связь, скорее всего, не известна (а в нашем случае ее как раз и требуется найти), так что корреляцию нужно находить для всех возможных задержек, чтобы установить наибольшее значение корреляции, которое затем считается истинным. Для вычисления корреляции существует эффективный алгоритм, использующий преобразование Фурье – алгоритм быстрой свертки. Так как свертка и корреляция вычисляются очень похоже, то алгоритм быстрой свертки можно применить и для вычисления корреляции. Сравнительная трудоемкость вычислений показана в таблице 1.5. 34 Таблица 1.5 – Число действительных умножений, требуемых для выполнения свертки двух последовательностей Кол-во точек 8 16 32 64 128 256 512 1 024 2 048 Прямой метод 64 256 1 024 4 096 16 384 65 536 262 144 1 048 576 4 194 304 Быстрая свертка 448 1 088 2 560 5 888 13 312 29 696 65 536 143 360 311 296 Соотношение 7 4,25 2,5 1,4375 0,8125 0,4531 0,25 0,1367 0,0742 Двумерная корреляция вычисляется аналогично, только для функций двух переменных. Алгоритм быстрой свертки позволяет анализировать достаточно большие изображения, за приемлемое время, но здесь возникают другие проблемы. Задача локализации автомобильных номеров осложнена тем, что мы не имеем точного эталона. Ведь на номерной пластине могут быть любые цифры. А искать все возможные комбинации не представляется возможным. В принципе можно искать не всю номерную пластину, а только одну цифру или букву. В таком случае придется несколько раз осуществлять поиск, пока не будет найден некоторый символ, и после этого анализировать область вокруг него. Кроме того, встает проблема масштабируемости, искажений изображения (из-за наклона камеры) и наклона самого номера. К таким изменениям алгоритм очень чувствителен. В таком случае придется либо осуществлять поиск по нескольким эталонам одного и того же символа, либо преобразовывать изображение к эталонному виду. В сумме получается очень трудоемкая операция [22, 37, 57, 88 ,107]. Метод, основанный на обнаружении устойчивых признаков изображения (SURF), 2010 год. SURF решает две задачи - поиск особых точек изображения и создание их дескрипторов, инвариантных к масштабу и вращению. Это значит, что описание ключевой точки будет одинаково, даже если образец изменит размер и будет повернут. Кроме того, сам поиск ключевых точек тоже должен обладать инвариантностью. Так, чтобы 35 повернутый объект сцены имел тот же набор ключевых точек, что и образец. Метод ищет особые точки с помощью матрицы Гессе. Детерминант матрицы Гессе (т. н. гессиан) достигает экстремума в точках максимального изменения градиента яркости. Он хорошо детектирует пятна, углы и края линий. Гессиан инвариантен относительно вращения. Но не инвариантен масштабу. Поэтому SURF использует разномасштабные фильтры для нахождения гессианов. Для каждой ключевой точки считается направление максимального изменения яркости (градиент) и масштаб, взятый из масштабного коэффициента матрицы Гессе. Градиент в точке вычисляется с помощью фильтров Хаара. После нахождения ключевых точек, SURF формирует их дескрипторы. Дескриптор представляет собой набор из 64 (либо 128) чисел для каждой ключевой точки. Эти числа отображают флуктуации градиента вокруг ключевой точки (что понимается под флуктуацией - рассмотрим ниже). Поскольку ключевая точка представляет собой максимум гессиана, то это гарантирует, что в окрестности точки должны быть участки с разными градиентами. Таким образом, обеспечивается дисперсия (различие) дескрипторов для разных ключевых точек. Флуктуации градиента окрестностей ключевой точки считаются относительно направления градиента вокруг точки в целом (по всей окрестности ключевой точки). Таким образом, достигается инвариантность дескриптора относительно вращения. Размер же области, на которой считается дескриптор, определяется масштабом матрицы Гессе, что обеспечивает инвариантность относительно масштаба. Флуктуации градиента также считаются с помощью фильтра Хаара [2, 17, 19, 38, 56, 57, 92, 95, 105]. 36 Вывод по главе 1 1. Проведен обзор литературы по теме диссертационной работы, позволяющий определить основные требования, предъявляемые к процессу локализации. 2. Проведен анализ методов нанесения промышленной маркировки, позволяющий определить основные особенности их структуры. 3. Проведен анализ существующих систем локализации, который позволил определить основные требования, предъявляемые к системам локализации. 4. Проведен обзор и анализ существующих алгоритмов и методов локализации объектов на цифровых изображениях, позволяющий определить основные ограничения по времени работы и достоверности локализации. Постановка задачи исследования Исходя из рассмотренных выше теоретических особенностей локализации образов промышленных изделий на цифровых изображениях можно сформулировать цель исследования. Для повышения качества цифровой локализации образов промышленных изделий за счет использования алгоритмов, использующих структурные и морфологические признаки образов символьных маркировок необходимо решить следующие задачи: 1. Разработать алгоритмы локализации изображений маркировки на промышленных изделиях, основанные на структурных и морфологических признаках, позволяющие оптимизировать процесс обработки данных и повысить достоверность получаемых результатов. 2. Разработать алгоритм управления системой автоматической идентификации маркировки, основанный на использовании данных о координатах изображения алгоритмов локализации. маркировки как результата разработанных 37 3. Разработать методику настройки системы локализации на определенный вид маркировки. 4. Исследовать возможности применения разработанных алгоритмов для решения практических задач. 38 Глава 2. Разработка метода и алгоритмов локализации объектов на цифровых изображениях В главе 2 выполняется разработка математической модели маркировки промышленного изделия и алгоритмов локализации маркировок на цифровых изображениях. Материалы данной главы опубликованы в работах [8-22]. Для 2.1 Математическая модель изображения маркировки промышленного изделия создания алгоритмов обработки изображений необходимо сформировать модель изображения, то есть его описание в терминах рассматриваемого теоретического подхода. Эффективность созданных методов и алгоритмов зависит от адекватности модели, описывающей изображение. Для решения этой задачи следует рассмотреть основные информативные признаки промышленных маркеров и рассмотреть возможные пути совершенствования существующих методов и алгоритмов локализации для повышения их эффективности. Под информативными признаками области промышленного маркера подразумевается набор формализованных (числовых) характеристик именно для данного объекта. Для целей локализации необходимо определить перечень таких информативных признаков, использование которых позволит установить факт принадлежности. Область маркировки промышленного изделия можно охарактеризовать следующим набором признаков: 1. Высокая контрастность изображения. Контрастность - отношение яркостей самой светлой и самой темной частей изображения. Контрастность 39 изображения выражается положительной, ненулевой, безразмерной величиной. 2. Размер области маркировки. Каждая маркировка промышленного изделия создается исходя из определенных правил. Каждый маркировка, применяемая в производстве, имеет собственный размер. Этот размер выражается в мерах длины, например, в сантиметрах, длине дуги и т.д. Зачастую, размерами служат высота (H) и длина (L) маркера. 3. Соотношение сторон. В случае рассмотрения прямоугольных промышленных маркировок важную роль играет признак соотношения сторон, который рассчитывается как отношение высоты к ширине. Соотношение сторон выражается положительной, ненулевой, безразмерной величиной. 4. Форма области. Форма области – один из текстурных признаков маркировки промышленного изделия, позволяющий описать локализируемый объект геометрически. 5. Цветовые параметры маркировки. Правил формирования промышленных маркеров регламентирую цвета, используемые при его создании. Таким образом, каждая маркировка имеет в своем составе как минимум два цвета. В разработанной математической модели область промышленного маркера характеризуется следующими признаками: 1. Яркостная составляющая маркировки δ(x,y). 2. Текстурная составляющая маркировки γ(x,y). 3. Геометрическая составляющая маркировки n, m, x0, y0. 4. Цветовая составляющая маркировки ε(x,y). 5. Составляющая фона β(x,y). Модель, в математическом виде, можно представить в виде формул (1,2): 40 (1) , (2) где x0 – координата начала маркировки по оси Х, y0 – координата начала маркировки по оси Y, n – ширина маркировки, m – высота маркировки, α – изображение маркировки, β – изображение фона, γ – функция признаков маркировки промышленного изделия, принимающая значения яркостных, цветовых и текстурных признаков. Схема формирования математической модели изображения маркировки промышленного изделия представлена на рисунке 2.1. y n Маркировка α β m x0,y0 x Рисунок 2.1 – Схема формирования математической модели изображения маркировки промышленного изделия 2.2 Рекуррентный поиск усредненного максимума на цифровом изображении Для разработки алгоритмов локализации на основе рекуррентного поиска усредненного максимума необходимо рассмотреть сам этот подход и описать его математическую суть. 41 Локализация объекта на изображении предусматривает его явную выраженность на этом изображении. Таким образом, срез яркости промышленной маркировки на изображении можно представить функции f(x) (рисунок 2.2). Рисунок 2.2 – срез маркировки на изображении Для локализации промышленной маркировки рекуррентным поиском усредненного максимума необходимо выполнить следующие математические операции. 1. Необходимо проинтегрировать функцию f(x) для получения графика g(x), на котором рост функции g(x) будет означать высокую яркость данного участка изображения (Рисунок 2.3). 42 Рисунок 2.3 – график функции g(x) (4) 2. Строится функция p(x), максимум которой означает наличие производственной маркировки на данном участке функции (Рисунок 2.4). Рисунок 2.4 – график функции p(x) В непрерывном пространстве функция p(x) определяется по формуле: (5) 43 В дискретном пространстве необходимо рассчитать массив P по формуле: (6) В рекуррентном виде массив F определяется по формуле: (7) 2.4 Алгоритм локализации на основе яркостных признаков Целью разработки алгоритма является повышение скорости обработки и достоверности результатов локализации маркировок промышленных изделий на цифровых изображениях. Областью применения предлагаемого алгоритма являются цифровые изображения маркированной продукции, не требующие предварительной обработки. Рисунок 2.5 – График яркости исходного изображения 44 Работа алгоритма основана на том, что практически каждая промышленная маркировка характеризуется высокой яркостью, а область их применения – склады, освещенность которых крайне мала. В виду этого, маркер сильно выделяется на изображении. При сечении маркера на цифровом изображении горизонтальной линией можно построить график яркости, на котором представлена маркировка промышленного изделия (Рисунок 2.5). Пусть f(x,y) – это функция яркости изображения, тогда для локализации промышленной маркировки рекуррентным поиском усредненного максимума необходимо выполнить следующие математические операции. В непрерывном пространстве координата маркировки х0, y0 определяется следующим образом: В дискретном пространстве исходная функция представлена в виде массива F, и необходимо координаты х0, y0: Для увеличения быстродействия реализация данных формул возможна рекуррентным способом. В рекуррентном виде для определения координат х0, y0 массив F преобразуется по формуле: 45 Результатом работы алгоритма являются координаты точки х0, y0, в которой значение Соответственно результирующей эти координаты функции является p(x,y) точкой максимально. местоположения локализуемого объекта (Рисунок 2.6). Рисунок 2.6 – График функции f(x) после процедуры сглаживания Блок-схема алгоритма представлена на рисунке 2.7. 46 Начало i = 0; M; 1 Ввод изображения j = 0; N - L; 1 Max = 0 C[i,j] = C[i,j + L] – C[i,j] i = 0; M; 1 i = 0; M; 1 j = 1; N - L; 1 j = 0; N - L; 1 C[i,j] = C[i,j] – C[i,j - 1] C[i,j]>Max Max = C[i,j] Maxi = i Maxj = j Конец Рисунок 2.7 – блок-схема алгоритма 47 Для отсеивания ненужных данных используется пороговое значение, которое позволяет судить о том, относится ли текущая точка к области маркировки промышленного изделия или нет. Высокое значение яркости в текущей точке изображения позволяет сделать вывод, что данная точка принадлежит к области маркировки. Предлагаемый алгоритм очень прост и обладает высокой скоростью работы. Недостатком алгоритма локализации на основе анализа карты яркости изображения является большая погрешность на мелкие яркие пятна, поэтому его рекомендуется использовать совместно с алгоритмами выделения маркера по форме, что, несомненно, поможет исключить ложные вхождения. 2.3 Алгоритм локализации на основе анализа всплесков яркости С целью повышения быстродействия процесса локализации целесообразно заменить трудоемкие операции вычисления производных на более простые операции сложения. Для решения этой задачи предложен алгоритм локализации на основе анализа всплесков яркости. Основной принцип, положенный в основу алгоритма заключается в том, что он производит поиск самых ярких областей маркера и производит сглаживание графика яркости при помощи поиска производных первого и второго порядка. Результатом работы алгоритма являются предположительные координаты границ маркировки. За основу алгоритма локализации изображений символьных меток на основе анализа скорости изменения яркости был взят алгоритм локализации маркера, основанный на поиске всплесков яркости. Рассмотренный алгоритм обладает единственным недостатком - вычисление производных и полный перебор пикселей изображения для анализа яркости. 48 Если сделать горизонтальное сечение изображения и построить график зависимости амплитуды яркости от координаты X, область пластины маркера на гистограмме отразится характерными скачками (рисунок 2.8). Рисунок 2.8 – гистограмма зависимости амплитуды яркости от координаты X Данное свойство послужило основой для следующего алгоритма. Перед использованием метода рекуррентного поиска усредненного максимума предлагается продифференцировать функцию f(x), для получения функции перепадов яркости (7, 8, 9). В непрерывном пространстве функция r(x) рассчитывается по формуле: (7) 49 В дискретном пространстве необходимо рассчитать массив P по формуле: (8) В рекуррентном виде массив F изменяется по формуле: (9) Если применить к данному изображению метод рекуррентного поиска усредненного максимума можно добиться результата, представленного на рисунке 2.9 Рисунок 2.9 – График функции f(x) после процедуры сглаживания Разработанный алгоритм позволяет с высокой скоростью определить предполагаемые необязательно Существует области расположения сканировать каждую возможность задать маркировки. Кроме того, строчку исходного изображения. минимально возможную ширину маркировки и проверять сечения, сделанные с интервалом в половину минимальной ширины. Это ускорит, и без того быстрый, процесс поиска в несколько раз. Предложенный алгоритм устойчив к различным шумам, каплям грязи и многим другим дефектам, сильно мешавшим другим методам. Минусом данного алгоритма является его слабая устойчивость к наклонам 50 (поворотам). Таким образом, входными данными разработанного алгоритма являются изображение и предполагаемая ширина метки на изображении. Предлагаемый алгоритм можно представить в виде последовательности следующих шагов: 1. Производится поиск максимального всплеска яркости на изображении путем построчного анализа матрицы яркостей входного изображения. Результатом этого этапа является строка, характеризующаяся наибольшим всплеском яркости на изображении; 2. Найденная матрица-строка переводится в матрицу яркости с нарастающим итогом, путем последовательного сложения предыдущего значения матрицы с текущим; 3. Производится сглаживание значений в получившейся матрице. 4. Находится максимальное значение матрицы, которое является Х- координатой метки. Результатом работы метода являются координаты расположения метки на изображении. Блок-схема алгоритма представлена на рисунке 2.10. Рассмотренные алгоритмы успешно используются для решения различных задач распознавания образов. Для решения же поставленной задачи ни один из известных, опубликованных алгоритмов не соответствовал предъявленным требованиям. Поэтому был разработан специальный алгоритм, опирающийся на специфику поставленной задачи. Этот алгоритм решает все проблемы локализации маркера. Он идеально быстр, быстрее в принципе невозможно разработать алгоритм, так как он анализирует только малую часть изображения, не говоря уже о нескольких проходах по всему изображению, которые используются в других алгоритмах. Любой другой алгоритм, анализирующий меньшее количество информации, будет иметь вероятность ошибки (пропустить маркер), так как маркер сможет поместиться вне анализируемой области. Кроме того, разработанный алгоритм уникально помехоустойчив [5]. 51 Начало i = 0; M; 1 Ввод изображения j = 0; N - L; 1 Max = 0 C[i,j] = C[i,j + L] – C[I,j] i = 0; M; 1 i = 0; M; 1 j = 0; N - L; 1 j = 0; N - L; 1 C[i,j] = |C[i,j] – C[I,j + L]| C[i,j]>Max i = 0; M; 1 Max = C[i,j] j = 0; N - L; 1 C[i,j] = C[i,j] – C[I,j - 1] Maxi = i Maxj = j Конец 52 Рисунок 2.10 – блок-схема алгоритма локализации на основе анализа всплесков яркости 2.5 Алгоритм локализации на основе цветовых признаков Целью разработки алгоритма является создание эффективного инструмента локализации промышленных маркеров на основе использования цветовых параметров области. Разработка алгоритма основана на том, что каждая маркировка, используемая в производственных целях имеет свою индивидуальную цветовую палитру. К примеру, государственные номера автомобилей могут использовать белый, черный, синий, красный и другие цвета, как и маркировки, основанные на применении штрих-кодов. При анализе производственных изображений предполагается использовать алгоритм сравнения цветовых данных входного цифрового изображения с эталоном. Разработанный алгоритм локализации можно представить в виде последовательности следующих действий: 1. В соответствии с размерами входного изображения строится матрица отклонений цветовых параметров от эталона с использованием формул (10, 11, 12): В непрерывном пространстве функция r(x) рассчитывается по формуле: (10) В дискретном пространстве необходимо рассчитать массив P по формуле: (11) В рекуррентном виде массив F изменяется по формуле: (12) где Color – цвет-эталон, описанный значением цветового тона вектора HSB. 53 После предварительной обработки изображения применяется метод рекуррентного поиска усредненного максимума. В результате работы алгоритма получается матрица, каждый элемент которой показывает с какой степенью рассматриваемый пиксел изображения принадлежит к области маркировки. Предлагаемый алгоритм локализации производственных маркировок с использованием анализа цветовых, основан на построчной обработке, позволяет увеличить гибкость его настройки для различных условий производства и разных типов маркировки. Блок-схема алгоритма представлена на рисунке 2.11. 54 Начало i = 0; M; 1 Ввод изображения j = 0; N - L; 1 Max = 0 Cl[i,j] = Cl[i,j + L] – Cl[i,j] i = 0; M; 1 i = 0; M; 1 j = 0; N - L - 1; 1 j = 0; N - L; 1 Cl[i,j] = Color - Cl[i,j] Cl[i,j]>Max Max = Cl[i,j] Maxi = i Maxj = j Конец Рисунок 2.11 – Блок-схема алгоритма 55 2.6 Алгоритм локализации на основе текстурных признаков Целью разработки алгоритма является создание эффективного инструмента локализации промышленных маркеров с ярко выраженными текстурными признаками. К таким признакам могут относится чередующиеся полосы, характерные квадратные, овальные, круглые и другие текстуры. Разработка алгоритма основана на том, что большинство маркировок, используемая в производственных целях имеет свою индивидуальную текстурную структуру. К примеру, маркировки типа штрих-код используют чередование черных линий, маркировка QR-код состоит из черных квадратов, выстроенных в определенной последовательности. Работа размещения алгоритма текстурных заключается признаков в определении на исследуемой закономерностей маркировке и использование ее в процессе локализации. Структурная схема расположения маркировки представлена на рисунке 2.12. Рисунок 2.12 – структурная схема текстурной маркировки на объекте производства 56 В случае использования черно-белых текстур, при сечении изображения по горизонтали (Рисунок 2.12) область текстурной маркировки будет иметь характерные всплески яркости (Рисунок 2.13). Рисунок 2.13 – сечение изображения по горизонтали в области метки Если сделать «сдвиг» с наложением по горизонтали на ширину текстурного признака, то область маркировки практически превратится в сплошное яркое пятно (Рисунок 2.14). В непрерывном пространстве функция r(x) рассчитывается по формуле: (13) В дискретном пространстве необходимо рассчитать массив P по формуле: (14) В рекуррентном виде массив F изменяется по формуле: (15) 57 Рисунок 2.14 – результат сдвига с наложением по горизонтали Для того, чтобы локализовать область потенциального расположения текстурной маркировки используется метод рекуррентного поиска усредненного максимума. Результат работы алгоритма представлена на рисунке 2.15. Рисунок 2.15 – результат сглаживания функции Блок-схема алгоритма представлена на рисунке 2.16. 58 Начало i = 0; M – l*n; 1 Ввод изображения j = 0; N; 1 Max = 0 C[i,j] = C[i+ l*n,j] – C[I,j] i = 0; M - l; 1 i = 0; M – l*n; 1 j = 0; N; 1 j = 0; N; 1 C[i,j] = |C[I + l,j] – C[i,j]| C[i,j]>Max i = 0; M - l; 1 Max = C[i,j] j = 0; N; 1 C[i,j] = C[i,j] – C[i - 1,j] Maxi = i Maxj = j Конец 59 Рисунок 2.16 – блок-схема алгоритма локализации на основе текстурных признаков Разработанный алгоритм локализации текстурной маркировки можно представить в виде последовательности следующих действий: Производится сдвиг с наложением матрицы-строки с шириной в 1. предполагаемый размер метки. Производится поиск максимальной яркости на изображении 2. путем построчного анализа матрицы яркостей входного изображения. Результатом этого этапа является строка, характеризующаяся наибольшей яркостью на изображении. Найденная матрица-строка переводится в матрицу яркости с 3. нарастающим итогом, путем последовательного сложения предыдущего значения матрицы с текущим; 4. Производится сглаживание значений в получившейся матрице. 5. Находится максимальное значение матрицы, которое является Х- координатой метки. Результатом работы алгоритма являются координаты нахождения маркировки на изображении. 2.7 Метод локализации с использованием дополнительной метки Целью разработки метода является создание инструмента для локализации маркировок в сложных производственных условиях. В случаях, когда использование существующих алгоритмов является не эффективным в виду сложности фона или нагроможденности изображения объектами, похожими по своим признакам на маркировку предлагается использовать дополнительную метку, которую легко однозначно локализовать. Использование дополнительной метки позволяет определить потенциальное 60 местоположение маркировки, и тем самым, убрать из области поиска для повышения эффективности существующих алгоритмов. Данный подход можно применять при наличии транспортирующих инструментов. К примеру, дополнительная метка может быть установлена на кран, тележку и т.д. В этом случае после локализации транспортирующего устройства можно ограничить область локализации до области местоположения груза на этом устройстве. Одной из самых простых в локализации меток является метка из чередующихся черных и белых полос – «зебра» (Рисунок 2.17). Рисунок 2.17 – специальная дополнительная метка Структурно вид нанесенной дополнительной маркировки изображен на рисунке 2.18. 61 Фон Область потенциального расположения маркировки Перевозимый груз Маркировка Транспортирующее устройство Рисунок 2.18 – структурная схема расположения дополнительной маркировки Принцип работы метода локализации с использованием дополнительной метки можно представить в виде следующей последовательности действий: Обнаружение 1. дополнительной метки с использование существующих алгоритмов локализации. Определение 2. области потенциального местоположения маркировки. Локализация 3. алгоритма локализации маркировки с в потенциального области помощью соответствующего местоположения маркировки. Для определения область локализации промышленной маркировки необходимо рассчитать ее координаты в соответствии со сдвигами, предусмотренными техническим процессом (Рисунок 2.19). Фон Область потенциального расположения маркировки X2, Y2 ΔY1 ΔХ1 X1, Y1 ΔХ2 ΔY2 62 Рисунок 2.19 - определение области локализации промышленной маркировки Для того, чтобы ограничить область для локализации можно воспользоваться системами формул 16 и 17: (16) , (17) где (X1, Y1) и (X2, Y2) – крайние точки области потенциального расположения маркировки; (X0, Y0) – координаты дополнительной метки; 1, 2, – значение сдвигов по осям ОХ и ОY. 2.8 Алгоритм локализации на основе двухмерного усреднения Целью разработки алгоритма является создание инструмента для локализации маркировок в сложных производственных условиях. В случаях, когда известны размеры локализуемой маркировки промышленного изделия и использование одномерного алгоритма локализации не достигает необходимой точности, возможно применение этого же алгоритма по второй оси на уже обработанном изображении. Использование дополнительной оси для локализации позволяет конкретизировать местоположение локализуемой маркировки. В случаях локализации промышленных изделий по их маркировкам в условиях, когда фоновые объекты могут быть похожи по своим признакам на локализуемые, либо искажение получаемого изображения могут пагубно повлиять на точность локализации использования алгоритмов одномерного 63 подхода предлагается улучшить путем прохода по второй оси. В этом случае необходимо знать примерные размеры локализуемой маркировки по двум осям. Использование данного подхода незначительно увеличит время обработки изображения, но точность локализации заметно возрастет. Неточность вычисления входных параметров или искажение получаемого изображения может привести к попаданию ложных вхождений (Рисунок 2.19 б). Если применить алгоритм по второй оси изображения, то нужная область локализации будет более сгруппирована, а ложные вложения будут проигнорированы (Рисунок 2.19 в). В непрерывном пространстве: (18) (19) или (20) (21) (22) (23) В дискретном пространстве необходимо рассчитать массив P по формуле: (24) (25) (26) (27) В рекуррентном виде массив F изменяется по формуле: (28) (29) (30) (31) 64 а б в Рисунок 2.19 – пример работы алгоритма локализации на основе двумерного усреднения 2.9 Методика настройки системы локализации на определенный вид маркировки Для обеспечения удобства настройки системы на работу с маркировками необходимо создать методику настройки системы локализации на признаки, характеризующие выбранную маркировку. Создание подобного типа методик подразумевает собой использование подходов системного анализа. Самой часто используемой методикой системного анализа является методика по Квейду. Методика по Квейду включает в себя следующие этапы: постановка задачи – включает определение проблемы, выявление целей и определение границ задачи; поиск – включает сбор сведений и определение альтернативных средств достижения целей; толкование – построение модели и её использование; реализация – агрегирование предпочтительной альтернативы или курса действий; подтверждение – экспериментальная проверка решения. Постановка задачи Задачей инструмента создания методики настройки системы является локализации создание на эффективного используемые на 65 предприятии маркировки. Для решения поставленной задачи необходимо определить основные признаки, характеризующие маркировки изделий промышленных предприятий, диапазон значений, которые могут принимать эти признаки и сопоставить эти признаки с алгоритмами, применяемыми для локализации маркировки. Поиск Исходя из анализа, проведенного в первой главе, можно сделать предположение, что каждая маркировка, используемая на предприятии может быть отнесена к одному из четырех типов: штрихкод, qr-код, символьная, комбинированная. Каждый тип маркировки обладает определенным набором признаков, которые можно разделить на яркостные, цветовые и текстурные. Соответственно, для решения поставленной задачи необходимо сопоставить диапазоны признаков и типы маркировок. Толкование Маркировки типа штрихкод возможны в черно-белом и цветном исполнении, а также, штрихкод обладает текстурными признаками. Если штрихкод выполнен в черно-белом исполнении, то для его локализации целесообразно применять алгоритмы локализации на основе анализа всплесков яркости и по яркостным признакам. Выбор алгоритма состоит в сложности фона. Если получаемое изображение не требует дополнительной обработки и штрихкод заметно выделяется, то рекомендуется использование алгоритма локализации по яркостным признакам, что ускорит время локализации. Для цветного исполнения штрихкода следует использовать алгоритм локализации по цветовым признакам. При локализации штрихкода возможно использование текстур. В этом случае применяется алгоритм локализации по текстурным признакам. Исполнение промышленных маркировок типа QR-код возможно в черно-белом и цветном исполнении. Также, в составе маркировки QR-код присутствуют текстуры. Если QR-код выполнен в черно-белом исполнении, 66 то для его локализации целесообразно применять алгоритмы локализации на основе анализа всплесков яркости и по яркостным признакам. Выбор алгоритма состоит в сложности фона. Если получаемое изображение не требует дополнительной обработки и QR-код заметно выделяется, то рекомендуется использование алгоритма локализации по яркостным признакам, что ускорит время локализации. Для цветного исполнения QRкода следует использовать алгоритм локализации по цветовым признакам. При локализации QR-кода возможно использование текстур. В этом случае применяется алгоритм локализации по текстурным признакам. Локализация символьно-цифровых маркировок подразумевает их чернобелое и цветное исполнение. В случае черно-белого исполнения промышленной маркировки используются алгоритмы локализации на основе анализа всплесков яркости и по яркостным признакам. Выбор алгоритма состоит в сложности фона. Если получаемое изображение не требует дополнительной рекомендуется обработки, использование и маркировка алгоритма заметно выделяется, локализации по то яркостным признакам, что ускорит время локализации. В случае цветного исполнения символьно-цифровой маркировки применяется алгоритм локализации по цветовым признакам. Комбинированные промышленные маркировки могут включать в себя как уже известные маркировки, так и элементы, используемые впервые. В связи с этим, маркировки могут содержать в себе и яркостные и цветовые и текстурные признаки. Соответственно, при локализации маркировок с ярко выраженными яркостными признаками рекомендуется использовать алгоритмы локализации на основе анализа всплесков яркости и по яркостным признакам, цветовыми признаками – алгоритм локализации по цветовым признакам, текстурными признаками – алгоритм локализации по текстурным признакам. Реализация 67 Структурная схема работы методики представлена на рисунке 2.20. В случаях сложного производственного фона возможно использование дополнительной метки, для ограничения границ поиска промышленной маркировки и исключения из зоны поиска ложных целей. Также возможно использование алгоритма двумерного подхода, для исключения ложных вхождений при наличии сложного фона и объектов, схожих по своим признакам с локализуемым. Рисунок 2.20 – структурная схема работы методики С целью упрощения работ по настройке системы был проведен анализ, сопоставляющий разные виды маркировок промышленных изделий и разработанные алгоритмы локализации на предмет поиска оптимальных решений. Результаты анализа представлены в таблице 4.1. Таблица 2.1 – Анализ системы маркировок и разработанных алгоритмов. 68 Описание маркировки Алгоритм локализаци и на основе яркостных признаков 1 2 Черный штрихкод на белом фоне 1 Признаком маркировки является область ее фона 2 Белый штрихкод на черном фоне - Черный штрихкод на сером полутоновом фоне Черный штрихкод на цветном фоне Штрихкод с цветными идентификат орами - - - Алгоритм локализаци и на основе цветовых признаков Алгоритм локализаци и на основе текстурных признаков 3 Чередование белых и черных полос штрихкода образует скопление перепадов яркости 4 5 Метод локализации с использован ием дополнитель ной метки 6 - - - - 3 Чередование белых и черных полос штрихкода образует скопление перепадов яркости Чередование белых и черных полос штрихкода образует скопление перепадов яркости 4 5 6 7 - - - - - - - - Чередование белых и черных полос штрихкода образует скопление перепадов яркости Признаком маркировки является область ее фона, имеющая определенны й цвет - - - - Признаком маркировки является область ее - - - Алгоритм локализаци и на основе анализа всплесков яркости Алгоритм локализаци и на основе двумерного усреднения 7 69 идентификат оров, имеющая определенны й цвет Слабоконтра стная маркировка или маркировка с малоконтраст ными идентификат орами 1 Слабоконтра стная цветная маркировка или маркировка с малоконтраст ными цветными идентификат орами Черный QRкод на белом фоне - Чередование белых и черных полос штрихкода образует скопление перепадов яркости - - - Алгоритм исключает ложные вхождения 2 3 4 5 6 7 - - Признаком маркировки является область ее фона, имеющая определенны й цвет - - - Признаком маркировки является область ее фона Чередование белых и черных элементов QR-кода образует скопление перепадов яркости - - - - - Чередование белых и черных элементов QR-кода образует скопление перепадов яркости - - - - Белый QRкод на черном фоне 70 Черный QRкод на сером полутоновом фоне - Чередование белых и черных элементов QR-кода образует скопление перепадов яркости - - - Алгоритм позволяет исключить ложные вхождения - Чередование белых и черных элементов QR-кода образует скопление перепадов яркости Признаком маркировки является область ее фона, имеющая определенны й цвет - - - 2 3 5 6 7 - - - - - - - - - Черный QRкод на цветном фоне 1 Цветной QRкод на цветном фоне Маркировки с черно – белой текстурой - - - - Признаком маркировки является область ее идентификат оров, имеющая определенны й цвет Признаком маркировки являются повторяющи еся черные и белые полосы Признаком маркировки являются повторяющи еся последовате льности цветных линий - - - - - - - - Маркировки с цветной текстурой - Черные символы на белом фоне - 93379 Белые символы на черном фоне 937748 - 4 Признаком маркировки является область ее идентификат оров, имеющая определенны й цвет Последовате льность символов образует скопление перепадов яркости Последовате льность символов образует скопление перепадов 71 яркости - Последовате льность символов образует скопление перепадов яркости - - - Алгоритм исключает ложные вхождения - Последовате льность символов образует скопление перепадов яркости Признаком маркировки является область ее фона, имеющая определенны й цвет - - - 1 2 3 5 6 7 Цветные символы - - - - - - Основные элементы маркировки образовываю т скопление перепадов яркости Признаком маркировки могут являться повторяющи еся треугольник и - Алгоритм исключает ложные вхождения - Дополнитель ная метка позволяет ограничить область локализации маркировки - Черные символы на сером полутоновом фоне 9374785 Черные символы на цветном фоне 56783 846754 Комбинирова нная 4 Признаком маркировки является область ее идентификат оров, имеющая определенны й цвет Признаками маркировки могут являться области ее фона и идентификат оров, имеющие определенны й цвета Наличие в кадре других маркировок - - - Подтверждение Адекватность разработанной методики подтверждена в ходе внедрения разработанных алгоритмов на ОАО «Выксунский металлургический завод». 72 2.10 Алгоритм управления системой автоматической идентификации маркировки С целью повышения оперативности идентификации промышленных изделий необходима разработка нового алгоритма управления системой автоматической идентификации маркировки. Работа алгоритма основана на использовании данных о координатах изображения маркировки как результата разработанных алгоритмов локализации. Входными значениями для алгоритма являются: получаемое изображение с видеодатчика и данные о позиционировании груза. Разработанный алгоритм можно представить следующей последовательностью шагов: 1. Измерительные устройства формируют следующие сигналы: - xd – координата груза, относительно крайней точки моста крана, в мм; - zd – координата груза, относительно уровня пола, вдоль оси подъема, в мм; - αp –положение видеодатчика по горизонтали; - βp – положение видеодатчика по вертикали; - I – изображение с видеодатчика. 2. Полученные сигналы преобразуются в следующие параметры: - координаты груза (x,y,z), в описанной системе координат математической модели; - координаты положения видеодатчика (α, β). x – расстояние от видеодатчика до маркировки по троллее крана, выражается из формулы: x=|xd+dx|, (32) где dx – коэффициент разницы показаний датчика и реальных измерений. 73 z – расстояние от видеодатчика до маркировки по оси подъема груза, выражается из формулы: z=zd-dz+Hs, (33) где dz – коэффициент разницы показаний датчика и реальных измерений; Hs – высота сляба. y – расстояние от камеры до маркировки по оси OY, вычисляется по формуле: y=Ls/2-dy, (34) где dy – коэффициент разницы показаний датчика и реальных измерений; Ls – длина сляба. Угол наклона видеодатчика по горизонтали (α), выражается из формулы: α= αα*αp+bα, (35) где αα – коэффициент перевода значения угла в вольтах в градусы; bα – коэффициент разницы показаний датчика и реальных измерений. Угол наклона видеодатчика по вертикали (β), выражается из формулы: β= αβ*βp+bβ, (36) где αβ – коэффициент перевода значения угла в вольтах в градусы; bβ – коэффициент разницы показаний датчика и реальных измерений. 3. На основе анализа текущего положения груза и изображения полученного с видеодатчика, формируется управляющая команда u(xm,ym). (xm,ym) – Координаты метки на изображении (I), вычисляются на основе формулы (2.1). (xm,ym) = Fl(I), (37) где Fl() – функция локализации маркировки промышленного изделия. 74 4. Видеодатчик принимает управляющие сигналы u(xm,ym), которые преобразует в механическое воздействие U(xm,ym). 5. Положение видеодатчика изменяется в пределах механического воздействия U(xm,ym), после чего измерительные устройства получают обновленную информацию от датчиков. Процесс повторяется до тех пор, пока устройство управления не подаст сигнал о том, что положение объекта управления находится в расчетном положении в рамках установленной погрешности (Ex, Ey), так как полное достижение расчетного состояния не достигается в силу влияния на устройства в реальной среде возмущающих воздействий и ограниченной точности измерительных датчиков. Блок – схема алгоритма представлена на рисунке 2.21 75 Рисунок 2.21 – блок-схема алгоритма управления системой автоматической идентификации маркировки В результате выполнения данного этапа положение видеодатчика корректируется таким образом, что маркировка изделия оказывается в центре изображения, что позволяет увеличить шанс успешного распознавания маркировки. Выводы по главе 2 1. Разработана математическая модель, характеризующая цифровые 76 изображения, предназначенные для локализации. 2. Разработан алгоритм цифровой локализации на основе анализа скорости изменения яркости. 3. Разработан алгоритм цифровой локализации на основе анализа карты яркости изображения. 4. Разработан алгоритм цифровой локализации на основе анализа карты цветов изображения. 5. Разработан метод локализации с использованием дополнительной метки. 6. Разработан алгоритм локализации на основе двумерного усреднения. 7. Предложен алгоритм управления системой автоматической идентификации маркировки, основанный на использовании данных о координатах изображения маркировки как результата разработанных алгоритмов локализации, позволяющий оперативно идентифицировать промышленные изделия. 8. Разработана методика настройки системы локализации, построенная на основе анализа системы изображения маркировок, их признаков, условий производства и алгоритмов локализации, позволяющая выбрать и настроить алгоритмы на определенный вид маркировки. 77 Глава 3. Экспериментальные исследования разработанных алгоритмов 3.1 Описание лабораторной установки и опытных изображений Лабораторная установка является физической моделью системы локализации символьной маркировки. На установке моделируется процесс цифровой локализации символьной маркировки на изображениях рассматриваемой предметной области, для экспериментальной проверки работоспособности алгоритмов. Цель моделирования заключается в тестировании разработанных алгоритмов и выявления влияния различных факторов на вероятность верной локализации символьной маркировки. Вид лабораторной установки представлен на рисунке 3.1. Рисунок 3.1 - вид лабораторной установки системы цифровой локализации символьных маркировок 78 Лабораторная установка состоит из следующих модулей: 1. ЭВМ(ноутбук): процессор – Core 2 duo (2.4ghz); оперативной память 2gb; графический процессор – NVidia GeForce 9200M GS; 2. Камера Basler BD2570. 5 мегапикселей (максимальная разрешающая способность 1920x1080); 3. Область размещения символьных маркировок. Символьная маркировка представляет собой изображение идентификатора, состоящий из вертикальных линий различной толщины и длины (штрих-кода), а также набора цифр. Макетное изображение маркера имеет размер 297мм x 105 мм. На рисунке 3.2 приведена схема процесса работы лабораторной установки: Рисунок 3.2 - схема процесса работы лабораторной установки Для проведения экспериментальных исследований были использованы искусственно смоделированные изображения с применением символьных маркировок различных типов. К ним относятся: штрих-коды различных типов, государственные номера транспортных средств, маркировки, 79 нанесенные на промышленные и продовольственные изделия (Рисунок 3.3). С помощью аппаратных и программных средств было смоделировано 2 000 изображений с изображениями символьных маркировок различного типа. Рисунок 3.3 – виды маркировок для опытных изображений 3.2 Исследование алгоритма локализации на основе анализа всплесков яркости Для проведения экспериментальных исследований на лабораторной установке было проведено 1 200 экспериментов с использованием различных тестовых изображений (символьных маркировок) и условий локализации. Подробный отчет о ходе экспериментов сведен в таблицу 3.1. Примеры тестовых изображений, созданных с помощью лабораторной установки представлены на рисунке 3.4. 80 Рисунок 3.4 – примеры тестовых изображений Таблица 3.1 – экспериментальные данных оценки работы алгоритма № п/п 1 2 3 4 5 6 7 8 9 10 1190 1191 1192 1193 1194 1195 1196 1197 1198 1199 1200 Координата метки по горизонтали 122-234 987-1024 544-603 322-378 456-510 788-842 980-1024 233-295 672-702 895-952 267-303 867-897 573-633 835-887 482-524 182-240 113-157 32-63 784-808 456-491 13-54 по вертикали 163-187 588-602 529-576 694-760 253-293 521-548 648-690 686-706 267-314 333-367 414-450 737-778 544-573 53-90 220-260 90-180 132-201 749-768 694-753 737-807 22-68 Найденная координата по горизонтали 152 1001 577 354 490 802 223 268 941 925 288 892 613 149 499 204 128 45 341 473 39 по вертикали 174 596 543 738 272 539 138 692 764 430 748 566 639 238 152 163 759 257 782 49 Успешность локализации + + + + + + + + + + + + + + + + + Процесс тестирования алгоритма локализации на основе всплесков яркости можно описать следующей последовательностью действий: 81 1. Получение изображений с камеры при различных условиях съемки. 2. Предварительная обработка изображения и настройка входных параметров алгоритма. 3. Локализация символьной маркировки на изображении и получение координат. 4. Сопоставление реальных и полученных результатов. 5. Вывод об успешности эксперимента. С целью получения достоверных результатов для исследований были взяты два набора условий: простой фон; сложный фон. Результаты исследования сведены в таблицу 3.2. Таблица 3.2 - Результаты исследования алгоритма локализации на основе всплесков яркости Условия Высококонтрастная метка Малоконтрастная метка Хорошее освещение Слабое освещение Угол поворота маркера 10 градусов Угол поворота маркера >20 градусов Исходя из данных полученных достоверности локализации (Рисунок 3.5): Эффективность алгоритма, в % Простой фон Сложный фон 99 94 97 87 99 94 96 88 98 90 91 89 результатов, построим график 82 Рисунок 3.5 – график достоверности локализации алгоритма на основе всплесков яркости при различных условиях Из результатов исследования можно сделать вывод, что успешность локализации с использованием разработанного алгоритма в условиях простого фона варьируется в диапазоне от 91% до 99%, а в условиях сложного фона – от 88% до 94%. Для проведения сравнительного анализа был выбран алгоритм локализации объектов на изображении с использованием дескрипторов SURF. Исследования проводились в условиях сложного фона. Результаты сравнительного анализа сведены в таблицу 3.3. Таблица 3.3 - Результаты сравнительного анализа алгоритма локализации на основе всплесков яркости и алгоритма SURF Условия Высококонтрастная метка Малоконтрастная метка Хорошее освещение Слабое освещение Угол поворота маркера 10 градусов Угол поворота маркера >20 градусов Достоверность, в % Алгоритм локализации на Алгоритм основе всплесков яркости локализации SURF 94% 89% 87% 85% 94% 89% 88% 86% 90% 89% 89% 89% 83 График достоверности локализации рассматриваемых алгоритмов в условиях сложного фона представлен на рисунке 3.6. Рисунок 3.6 – график достоверности локализации алгоритмов на основе всплесков яркости и SURF при условиях сложного фона По результатам сравнительного анализа можно сделать вывод, что разработанный алгоритм, в силу специфики решаемой задачи, более эффективен чем алгоритм SURF с достоверностью локализации от 85% до 89%. Еще одним важным критерием оценки работы алгоритма является скорость работы. Для того, чтобы оценить скорость работы алгоритма локализации на основе всплесков яркости необходимо сравнить его с существующими алгоритмами локализации. Для сравнительного анализа скорости работы алгоритма был выбран алгоритм локализации с использованием дескрипторов SURF. Результаты сравнительного анализа по скорости работы сведены в таблицу 3.4. График скорости работы алгоритмов локализации представлен на рисунке 3.7. 84 Таблица 3.4 - Результаты сравнительного анализа по скорости работы алгоритмов Разрешение 480х320 640х480 800х600 1024х768 1280х1024 1920х1080 Скорость работы, сек. Алгоритм на основе анализа всплесков яркости Алгоритм SURF 0,03 1,52 0,07 2,31 0,11 2,76 0,27 7,52 0,31 10,51 0,4 11,88 Рисунок 3.7 - График сравнительного анализа по скорости работы алгоритмов По результатам сравнительного анализа скорости работы алгоритма на основе анализа всплесков яркости и алгоритма SURF можно сделать вывод, что разработанный алгоритм отличается высокой скоростью работы с цифровыми изображениями высокого разрешения. Скорость работы разработанного алгоритма варьируется от 0,03 до 0,4 секунд при разрешении цифрового изображения от 480х320 до 1920х1080 пикселей, а алгоритма SURF - от 1,52 до 11,88 секунд при разрешении цифрового изображения от 480х320 до 1920х1080 пикселей. 85 3.3 Исследование алгоритма локализации на основе яркостных признаков Для проведения экспериментальных исследований на лабораторной установке было проведено 1 200 экспериментов с использованием различных тестовых изображений (символьных маркировок) и условий локализации. Подробный отчет о ходе экспериментов сведен в таблицу 3.5. Примеры тестовых изображений, созданных с использованием лабораторной установки представлены на рисунке 3.8. Таблица 3.5 – экспериментальные данных оценки работы алгоритма № п/п 1 2 3 4 5 1198 1199 1200 Координата метки по горизонтали 677-801 122-199 300-399 540-599 765-802 784-808 456-491 13-54 по вертикали 737-778 544-573 529-576 163-187 588-602 694-753 737-807 22-68 Найденная координата по горизонтали 689 145 577 550 798 341 473 39 по вертикали 745 554 543 172 593 257 782 49 Рисунок 3.8 – примеры тестовых изображений Успешность локализации + + + + + + 86 Для тестирования алгоритма на основе анализа карты яркости изображения были соблюдены те же условия, что и при тестировании алгоритма локализации на основе всплеска яркости. С целью получения достоверных результатов сравнения, был использован тот же набор условий: простой фон; сложный фон. Результаты исследования сведены в таблицу 3.6. Таблица 3.6 – Достоверность результатов исследований алгоритма локализации на основе всплеска яркости Условия Высококонтрастная метка Малоконтрастная метка Хорошее освещение Слабое освещение Угол поворота маркера 10 градусов Угол поворота маркера >20 градусов Исходя из данных полученных Эффективность алгоритма, в % Простой фон Сложный фон 98 93 93 87 98 93 97 92 96 91 94 89 результатов, построим график достоверности локализации (Рисунок 3.9): Рисунок 3.9 – график достоверности локализации алгоритма на основе анализа карты яркости изображения при различных условиях 87 Из результатов исследования можно сделать вывод, что успешность локализации с использованием данного алгоритма в условиях простого фона варьируется в диапазоне от 93% до 98%, а в условиях сложного фона – от 89% до 93%. Для проведения сравнительного анализа так же был выбран алгоритм локализации объектов на изображении с использованием дескрипторов SURF. График достоверности локализации рассматриваемых алгоритмов в условиях сложного фона представлен на рисунке 3.10. Таблица 3.7 - Результаты сравнительного анализа алгоритма локализации на основе анализа карты яркости изображения и алгоритма SURF Условия Высококонтрастная метка Малоконтрастная метка Хорошее освещение Слабое освещение Угол поворота маркера 10 градусов Угол поворота маркера >20 градусов Достоверность, в % Алгоритм локализации на Алгоритм основе анализа карты локализации яркости изображения SURF 94% 89% 87% 85% 94% 89% 88% 86% 90% 89% 89% 89% Рисунок 3.10 – график достоверности локализации алгоритмов на основе анализа яркости карты изображения и SURF при условиях сложного фона 88 По результатам сравнительного анализа можно сделать вывод, что данный алгоритм, в силу специфики решаемой задачи, более эффективен чем алгоритм SURF с достоверностью локализации от 85% до 89%. Также проверим скорость работы данных алгоритмов и сравним их. Данные сведены в таблицу 3.7 и представлены на рисунке 3.11. Таблица 3.7 – скорость работы алгоритмов на тестовых изображениях Разрешение 480х320 640х480 800х600 1024х768 1280х1024 1920х1080 Скорость работы, сек. Алгоритм на основе анализа яркостных признаков Алгоритм SURF 0,011 0,051 0,105 0,11 0,168 0,192 1,52 2,31 2,76 7,52 10,51 11,8 Рисунок 3.11 – график скорости работы алгоритмов По результатам сравнительного анализа скорости работы алгоритма на основе анализа всплесков яркости и алгоритма SURF можно сделать вывод, 89 что разработанный алгоритм отличается высокой скоростью работы с цифровыми изображениями высокого разрешения. Скорость работы разработанного алгоритма варьируется от 0,011 до 0,192 секунд при разрешении цифрового изображения от 480х320 до 1920х1080 пикселей, алгоритма SURF - от 1,52 до 11,88 секунд при разрешении цифрового изображения от 480х320 до 1920х1080 пикселей. 3.4 Исследование алгоритма локализации на основе цветовых признаков Для проведения экспериментальных исследований на лабораторной установке было проведено 1 200 экспериментов с использованием различных тестовых изображений (символьных маркировок) и условий локализации. Подробный отчет о ходе экспериментов сведен в таблицу 3.8. Таблица 3.8 – экспериментальные данных оценки работы алгоритма № п/п 1 2 3 4 5 1198 1199 1200 Координата метки по горизонтали 788-842 980-1024 233-295 672-702 895-952 784-808 456-491 13-54 по вертикали 521-548 648-690 686-706 267-314 333-367 694-753 737-807 22-68 Найденная координата по горизонтали 802 223 268 941 925 341 473 39 по вертикали 539 138 692 764 257 782 49 Успешность локализации + + + + + Для тестирования алгоритма на основе цветовых признаков были взяты те же условия, что и при тестировании алгоритма локализации на основе всплесков яркости. С целью получения достоверных результатов сравнения, был использован тот же набор условий: простой фон; сложный фон. 90 Результаты исследования сведены в таблицу 3.9. Таблица 3.9 – достоверность локализации алгоритма на основе анализа карты цветов изображения Условия Высококонтрастная метка Малоконтрастная метка Хорошее освещение Слабое освещение Угол поворота маркера 10 градусов Угол поворота маркера >20 градусов Исходя из данных полученных Эффективность алгоритма, в % Простой фон Сложный фон 95 93 93 87 95 93 92 92 94 91 94 89 результатов, построим график достоверности локализации (рисунок 3.12): Рисунок 3.12 – график достоверности локализации алгоритма на основе цветовых признаков изображения при различных условиях Из результатов исследования можно сделать вывод, что успешность локализации с использованием данного алгоритма в условиях простого фона варьируется в диапазоне от 92% до 95%, а в условиях сложного фона – от 87% до 93%. 91 Для проведения сравнительного анализа так же был выбран алгоритм локализации объектов на изображении с использованием дескрипторов SURF. Полученные результаты по параметру достоверности локализации сведены в таблицу 3.10. График достоверности локализации рассматриваемых алгоритмов в условиях сложного фона представлен на рисунке 3.13. Таблица 3.10 - Результаты сравнительного анализа алгоритма локализации на основе анализа карты цветов изображения и алгоритма SURF Условия Высококонтрастная метка Малоконтрастная метка Хорошее освещение Слабое освещение Угол поворота маркера 10 градусов Угол поворота маркера >20 градусов Достоверность, в % Алгоритм локализации Алгоритм на основе анализа карты локализации цветов изображения SURF 94% 89% 87% 85% 94% 89% 88% 86% 90% 89% 89% 89% Рисунок 3.13 – график достоверности локализации алгоритмов на основе анализа карты цветов изображения и SURF при условиях сложного фона 92 По результатам сравнительного анализа можно сделать вывод, что данный алгоритм, в силу специфики решаемой задачи, более эффективен чем алгоритм SURF с достоверностью локализации от 85% до 89%. Также проверим скорость работы данных алгоритмов и сравним их. Данные сведены в таблицу 3.11 и представлены на рисунке 3.14. Таблица 3.11 – скорость работы разработанного алгоритма и алгоритма SURF Разрешение 480х320 640х480 800х600 1024х768 1280х1024 1920х1080 Скорость работы, сек. Алгоритм на основе цвета Алгоритм SURF 0,57 1,13 1,519 2,96 4,88 9,15 1,52 2,31 2,76 7,52 10,51 11,8 Рисунок 3.14 – график скорости работы разработанного алгоритма и алгоритма SURF 93 По результатам сравнительного анализа скорости работы алгоритма на основе анализа карты цветов изображения и алгоритма SURF можно сделать вывод, что разработанный алгоритм отличается высокой скоростью работы с цифровыми изображениями высокого разрешения. Скорость работы разработанного алгоритма варьируется от 0,57 до 9,15 секунд при разрешении цифрового изображения от 480х320 до 1920х1080 пикселей, алгоритма SURF - от 1,52 до 11,88 секунд при разрешении цифрового изображения от 480х320 до 1920х1080 пикселей. 3.5 Исследования алгоритма локализации на основе текстурных признаков. Для проведения экспериментальных исследований на лабораторной установке было проведено 1 200 экспериментов с использованием различных тестовых изображений (символьных маркировок) и условий локализации. Подробный отчет о ходе экспериментов сведен в таблицу 3.12. Таблица 3.12 – экспериментальные данных оценки работы алгоритма Координата метки № п/п 1 2 3 4 5 6 7 8 9 10 1190 1191 1192 1193 1194 1195 1196 1197 1198 1199 1200 по горизонтали 784-808 456-491 13-54 322-378 456-510 788-842 980-1024 233-295 672-702 895-952 по вертикали 694-753 737-807 22-68 694-760 253-293 521-548 648-690 686-706 267-314 333-367 - 267-303 867-897 122-234 987-1024 544-603 322-378 456-510 788-842 980-1024 233-295 672-702 414-450 737-778 163-187 588-602 529-576 694-760 253-293 521-548 648-690 686-706 267-314 Найденная координата по горизонтали по вертикали 341 257 473 782 39 49 354 738 490 272 802 539 223 138 268 692 941 764 925 288 430 892 748 152 174 1001 596 577 543 354 738 490 272 802 539 1012 670 776 245 941 764 Успешность локализации + + + + + + + + + + + + + + + + - 94 Для тестирования алгоритма на основе текстурных признаков были взяты те же условия, что и при тестировании алгоритма локализации на основе всплесков яркости. С целью получения достоверных результатов сравнения, был использован тот же набор условий: простой и сложный фон. Результаты исследования сведены в таблицу 3.13. Таблица 3.13 – достоверность локализации алгоритма на основе текстурных признаков изображения Условия Высококонтрастная метка Малоконтрастная метка Хорошее освещение Слабое освещение Угол поворота маркера 10 градусов Угол поворота маркера >20 градусов Эффективность алгоритма, в % Простой фон Сложный фон 96 96 92 86 96 95 93 92 93 91 93 90 Исходя из данных полученных результатов, построим гистограмму достоверности локализации (рисунок 3.15): Рисунок 3.15 – график достоверности локализации алгоритма на основе текстурных признаков изображения при различных условиях Из результатов исследования можно сделать вывод, что успешность локализации с использованием данного алгоритма в условиях простого фона 95 варьируется в диапазоне от 93% до 96%, а в условиях сложного фона – от 86% до 96%. Проверим скорость работы разработанного алгоритма и алгоритма SURF. Данные экспериментов сведены в таблицу 3.14 и представлены на рисунке 3.16. Таблица 3.14 – скорость работы разработанного алгоритма и алгоритма SURF Разрешение 480х320 640х480 800х600 1024х768 1280х1024 1920х1080 Скорость работы, сек. Алгоритм на основе текстурных признаков Алгоритм SURF 0,028 1,52 0,065 2,31 0,122 2,76 0,13 7,52 0,189 10,51 0,205 11,8 Рисунок 3.16 – график скорости работы разработанного алгоритма и алгоритма SURF По результатам сравнительного анализа скорости работы алгоритма на основе анализа карты цветов изображения и алгоритма SURF можно сделать вывод, что разработанный алгоритм отличается высокой скоростью работы с цифровыми изображениями высокого разрешения. Скорость работы разработанного алгоритма варьируется от 0,028 до 0,205 секунд при 96 разрешении цифрового изображения от 480х320 до 1920х1080 пикселей, алгоритма SURF - от 1,52 до 11,88 секунд при разрешении цифрового изображения от 480х320 до 1920х1080 пикселей. Для проведения сравнительного анализа так же был выбран алгоритм локализации объектов на изображении с использованием дескрипторов SURF. Полученные результаты по параметру достоверности локализации сведены в таблицу 3.15. График достоверности локализации рассматриваемых алгоритмов в условиях сложного фона представлен на рисунке 3.17. Таблица 3.15 - Результаты сравнительного анализа алгоритма локализации на основе текстурных признаков изображения и алгоритма SURF Условия Высококонтрастная метка Малоконтрастная метка Хорошее освещение Слабое освещение Угол поворота маркера 10 градусов Угол поворота маркера >20 градусов Достоверность, в % Алгоритм локализации Алгоритм на основе текстурных локализации признаков изображения SURF 96% 89% 92% 85% 96% 89% 93% 86% 93% 89% 93% 89% По результатам сравнительного анализа можно сделать вывод, что данный алгоритм, в силу специфики решаемой задачи, более эффективен чем алгоритм SURF с достоверностью локализации от 85% до 89%. 97 Рисунок 3.17 – график достоверности локализации алгоритмов на основе анализа карты цветов изображения и SURF при условиях сложного фона Выводы по главе 3 1. Разработана лабораторная установка для проведения экспериментальных исследований. 2. Проведены экспериментальные исследования алгоритма локализации на основе анализа всплесков яркости. По данным исследования достоверность локализации маркировки промышленного изделия на простом фоне составляет 91-99%, в зависимости от условий производства, на сложном фоне – 88-94%. В ходе сравнительного анализа было выявлено, что достоверность локализации разработанного алгоритма выше на 1-5% по сравнению с аналогами. Время работы алгоритма варьируется в диапазоне 0,03-0,4 секунды, в зависимости от разрешения цифрового изображения маркировки промышленного изделия, что быстрее аналогов – 29,5-50,66 раз. 3. Проведены экспериментальные исследования алгоритма локализации на основе анализа карты яркости изображения. По данным 98 исследования достоверность локализации маркировки промышленного изделия на простом фоне составляет 93-98%, в зависимости от условий производства, на сложном фоне – 87-93%. В ходе сравнительного анализа было выявлено, что достоверность локализации разработанного алгоритма выше на 1-6% по сравнению с аналогами. Время работы алгоритма варьируется в диапазоне 0,011-0,192 секунды, в зависимости от разрешения цифрового изображения маркировки промышленного изделия, что быстрее аналогов в 61,46-138,18 раза. 4. Проведены экспериментальные исследования алгоритма локализации на основе анализа карты цветов изображения. По данным исследования достоверность локализации маркировки промышленного изделия на простом фоне составляет 92-95%, в зависимости от условий производства, на сложном фоне – 87-93%. В ходе сравнительного анализа было выявлено, что достоверность локализации разработанного алгоритма выше на 5-8% по сравнению с аналогами. Время работы алгоритма варьируется в диапазоне 0,57-9,15 секунды, в зависимости от разрешения цифрового изображения маркировки промышленного изделия, что быстрее аналогов в 1,29-2,6 раз. 5. Проведены экспериментальные исследования алгоритма локализации на основе текстурных признаков изображения. По данным исследования достоверность локализации маркировки промышленного изделия на простом фоне составляет 93-96%, в зависимости от условий производства, на сложном фоне – 86-96%. В ходе сравнительного анализа было выявлено, что достоверность локализации разработанного алгоритма выше на 4-7% по сравнению с аналогами. Время работы алгоритма варьируется в диапазоне 0,028-0,205 секунды, в зависимости от разрешения цифрового изображения маркировки промышленного изделия, что быстрее аналогов в 54,3-57,6 раз. 99 Глава 4. Применение разработанных алгоритмов в системах идентификации промышленных изделий 4.1 Структура автоматической системы локализации Разработанная система реализована в среде программирования Visual Studio 2010 с использованием языка программирования C#. При разработке системы были использованы только стандартные функции среды программирования, поэтому подключение дополнительных библиотек не требуется. Разработанную систему можно представить в виде следующей модульной структуры (Рисунок 4.1). Рисунок 4.1 – Структура разработанной системы 100 Модуль подключения устройства видеозахвата – включает в себя алгоритмы работы с основными типами современный промышленных камер (IP-камеры, камеры с непосредственным подключением к серверу). Модуль визуализации видеопотока и результата локализации – содержит описание функций визуализации захваченного видеопотока и отображения результата локализации. Модуль сохранения результатов локализации содержит описание функций, позволяющих сохранять полученные результаты. Модуль локализации по всплескам яркости содержит описание функций, для проведения цифровой локализации с использованием алгоритма локализации по всплескам яркости. Модуль локализации по яркости содержит описание функций, для проведения цифровой локализации с использованием алгоритма локализации по яркости. Модуль локализации по карте цветов содержит описание функций, для проведения цифровой локализации с использованием алгоритма локализации по карте цветов. Модуль алгоритма объединения результатов локализации включает в себя описание функций объединения результатов алгоритмов локализации. 4.2 Методика настройки разработанной системы Для начала работы в системе необходимо запустить файл «Localizator.exe», после чего на экране компьютера появится главная форма приложения (Рисунок 4.2): 101 Рисунок 4.2 – вид главной формы при запуске приложения На главной форме расположено главное меню, содержащее следующие пункты: 1 – функции работы с цифровыми изображениями, 2 – алгоритмы локализации символьных маркировок на цифровых изображениях, 3 – метод объединения результатов, 4 – справка по программному продукту. Также на форме есть строка состояния приложения (5). Для работы с изображениями в пункте меню «Файл» определены следующие функции (Рисунок 4.3): 1 – открыть изображение для обработки, 2 – сохранить результат локализации, 3 – открыть изображение для локализации заново, 4 – выход из системы. Рисунок 4.3 – Пункт меню «Файл» 102 Для обработки изображений в пункте меню «Алгоритмы локализации» определены следующие пункты (Рисунок 4.4): 1 – обработка изображения алгоритмом локализации на основе анализа всплесков яркости, 2 – обработка изображения алгоритмом локализации на основе анализа карты яркости изображения, 3 – обработка изображения алгоритмом локализации на основе анализа карты цветов изображения. Рисунок 4.4 – Пункт меню «Алгоритмы локализации» Для начала работы по обработки изображений необходимо выбрать обрабатываемое изображение. Для этого необходимо выполнить подпункт меню «Открыть…» в пункте «Файл», после чего будет открыт диалог с пользователем для выбора файла (Рисунок 4.5). 103 Рисунок 4.5 - Диалог выбора изображения для обработки После выбора изображения для дальнейшей обработки оно будет загружено в 2 окна: исходного изображения – слева и результирующего – справа (Рисунок 4.6). Рисунок 4.6 – Вид открытого изображения 104 Для локализации символьной маркировки одним из алгоритмов локализации необходимо выбрать его из пункта меню «Алгоритмы локализации». При запуске алгоритма «Поиск по всплескам яркости» появится форма выбора параметров локализации, на которой необходимо указать предполагаемую ширину метки в пикселах и коэффициент достоверности от 0 до 1 (Рисунок 4.7). Рисунок 4.7 – Форма выбора параметров для алгоритма, основанного на использовании анализа всплесков яркости После нажатия кнопки «ОК» происходит работа алгоритма локализации и результат будет отображен на результирующем (правом) изображении на главной форме характерным зеленым выделением. Пример работы алгоритма, основанного на использовании анализа всплесков яркости представлен на рисунке 4.8: 105 Рисунок 4.8 – Пример работы алгоритма, основанного на использовании анализа всплесков яркости с коэффициентом 0,75 Изменение параметра коэффициент достоверности позволяет более точно определить границы локализуемой метки, но также, очень низкое его значение дает шанс появления лишних, нежелательных шумов. К примеру, использование алгоритма, основанного на использовании анализа всплесков яркости с коэффициентом достоверности равным 0,5 даст следующий результат (Рисунок 4.9): Рисунок 4.9 – Пример работы алгоритма, основанного на использовании анализа всплесков яркости с коэффициентом 0,5 106 При запуске алгоритма «Поиск по яркости» появится форма выбора параметров локализации, на которой необходимо указать предполагаемую ширину метки в пикселах и коэффициент достоверности от 0 до 1 для алгоритма локализации на основе анализа карты яркости изображения (Рисунок 4.10). Рисунок 4.10 – Форма выбора параметров для алгоритма локализации на основе анализа карты яркости изображения После нажатия кнопки «ОК» происходит работа алгоритма локализации и результат будет отображен на результирующем (правом) изображении на главной форме характерным зеленым выделением. Пример работы алгоритма локализации на основе анализа карты яркости изображения представлен на рисунке 4.11. Изменение параметра коэффициент достоверности позволяет более точно определить границы локализуемой метки, но также, очень низкое его значение дает шанс появления лишних нежелательных шумов. К примеру, использование алгоритма локализации на основе анализа карты яркости изображения с коэффициентом достоверности равным 0,5 даст следующий результат (Рисунок 4.12). 107 Рисунок 4.11 – Пример работы алгоритма локализации на основе анализа карты яркости изображения с коэффициентом 0,75 Рисунок 4.12 – Пример работы алгоритма локализации на основе анализа карты яркости изображения с коэффициентом 0,5 При запуске алгоритма «Поиск по цвету» появится форма выбора параметров локализации, на которой необходимо указать предполагаемую ширину метки в пикселах, коэффициент достоверности от 0 до 1 и цвет - 108 эталон для алгоритма локализации на основе анализа карты цветов изображения (Рисунок 4.13). Рисунок 4.13 – Форма выбора параметров для алгоритма локализации на основе анализа карты цветов изображения После нажатия кнопки «ОК» происходит работа алгоритма локализации и результат будет отображен на результирующем (правом) изображении на главной форме характерным зеленым выделением. Пример работы алгоритма локализации на основе анализа карты цветов изображения представлен на рисунке 4.14: Рисунок 4.14 – Пример работы алгоритма локализации на основе анализа карты цветов изображения с коэффициентом 0,75 109 Изменение параметра коэффициент достоверности позволяет более точно определить границы локализуемой метки, но также, очень низкое его значение дает шанс появления лишних нежелательных шумов. К примеру, использование алгоритма локализации на основе анализа карты цветов изображения с коэффициентом достоверности равным 0,5 даст следующий результат (Рисунок 4.15): Рисунок 4.15 – Пример работы алгоритма локализации на основе анализа карты яркости изображения с коэффициентом 0,5 Пункт «Метод объединения результатов» подразумевает под собой использование дополнительной метки – зебра в процессе локализации маркировки. Вид формы настройки представлен на рисунке 4.16. Использование дополнительной метки подключается при выборе параметра «Использовать дополнительную метку» на форме выбора параметров. Для этого следует задать параметры метки, такие как высота полосы, количество полос и ее ширину. Помимо этого, для того, чтобы исключить лишние части изображения, необходимо задать сдвиг 110 относительно метки, для ограничения области потенциального нахождения маркировки. После задания параметров поиска потенциальной области нахождения маркировки необходимо указать какой алгоритм локализации будет использоваться для локализации маркировки на ограниченной части изображения и задать его параметры. Рисунок 4.16 – вид формы использования дополнительный метки Для того, чтобы настроить программу локализации на определенный тип метки необходимо провести все необходимые замеры на реальных изображениях. Допустим существует задача локализации маркировки груза, перевозимого обычным промышленным перевозчиком по территории промышленного объекта (Рисунок 4.17). 111 Рисунок 4.17 – вид изображения для локализации маркировки После проведенных замеров, были полученные следующие параметры локализации: Высота строки зебры – 11 пикселей. Количество полос зебры – 7. Ширина зебры – 113 пикселей. Сдвиги: влево – 500 пикселей, вверх и вниз – 0 пикселей, вправо на – 300 пикселей. Ширина маркировки – 178 пикселей (Рисунок 4.18). Рисунок 4.18 – вид изображения с замерами После расчета параметров они вводятся в систему (Рисунок 4.19). 112 Рисунок 4.19 – ввод параметров локализации в систему Результат обработки изображения в системе локализации будет следующим (Рисунок 4.20). Рисунок 4.20 – результат локализации маркировки 113 4.3 Внедрение разработанных алгоритмов В ходе написания диссертационной работы, разработанные алгоритмы были внедрены в систему автоматической идентификации маркировки (САИМ) на ОАО «Выксунский металлургический завод». Основное назначение САИМ – идентификация металлических заготовок (слябов), перемещаемых по территории цеха. Аппаратная составляющая САИМ состоит из комплекса поворотных камер, установленных на противоположных концах мостового крана и набора управляющих системных блоков, включающих в себя платы телеметрии, управления и захвата видеосигнала. Программное обеспечение САИМ обеспечивает: 1. Выполнение информационного обмена с контроллером Siemens Simatic S7-300 АСУ крана ф. «KONECRANES». 2. Наведение сканирующих датчиков на распознаваемый объект путем формирования управляющих пакетов и выполнения информационного обмена с устройствами позиционирования камер по протоколу Pelco-D. 3. Обмен со сканирующими устройствами по протоколу GigE Vision и получение потока видеоданных. 4. Автоматическая локализация маркировки транспортируемого сляба с помощью разработанных алгоритмов. 5. Автоматическое распознавание алфавитно-цифрового кода маркировки с использованием заранее созданного алфавита символов с помощью API-функций пакета Matrox Image Library String reader package. 6. Формирование и отправка выходного пакета на АСУ Крана после окончания распознавания маркировки. С целью повышения оперативности обработки данных, разработанные алгоритмы были внедрены в состав САИМ и реализуют подсистему локализации маркировки (рисунок 4.21). 114 Рисунок 4.21 – Структурная схема САИМ Процесс локализации осложняется разными факторами: малая освещенность, зашумленность изображения посторонними источниками света, наличие теней, малая контрастность изображения и т.д. Все это накладывает на используемые алгоритмы определенные требования. Для того, чтобы достоверно и быстро идентифицировать переносимое мостовым краном изделие необходимо получить изображение переносимого им груза. Поэтому было принято решение локализовать область магнитов с переносимым грузом целиком, а затем получить изображение переносимого 115 им груза путем вычисления координат его местоположения. Для этого необходимо ввести в систему новую маркировку для мостового крана с такими параметрами, чтобы ее можно было легко и быстро локализовать. Для решения поставленной задачи была выбрана маркировка, состоящая из чередующихся горизонтальных черных и белых полос – «Зебра». «Зебра» обладает свойством резких перепадов яркости и явно выражается на получаемом цифровом изображении. Вид специальной метки показан на рисунке 4.22. Рисунок 4.22 - Изображение промышленного крана с нанесенной специальной меткой Пример реального изображения, полученного при помощи САИМ, представлен на рисунке 4.23. 116 Рисунок 4.23 – пример реального изображения из САИМ Работу разработанного алгоритма можно представить последовательностью четырех шагов: 1. Производится поиск максимального всплеска яркости на изображении путем анализа матриц-столбцов яркостей входного изображения с заданным шагом. Результатом этого этапа является столбец, характеризуемый наибольшим всплеском яркости на изображении. 2. Найденная матрица-столбец переводится в матрицу яркости с нарастающим итогом, путем интегрирования. 3. Производится дифференцирование значений в получившейся матрице. 4. Находится максимальное значение матрицы. Результатом работы алгоритма являются координаты расположения метки на изображении. Локализация символьной метки происходит по аналогичному алгоритму, где для поиска максимального всплеска яркости берутся не матрицы-столбцы, а матрицы-строки. Требования к модулю локализации, входящему в САИМ: достоверность локализации маркировки промышленного изделия не ниже 80%; 117 время локализации не более 0,3 секунды (алгоритм локализации при идентификации одного промышленного изделия запускается не менее 6 раз). Акт внедрения разработанных алгоритмов на ОАО «ВМЗ» приведен в приложении А. Выводы по главе 4 1. Построена система цифровой локализации символьных маркировок на цифровых изображениях с использованием разработанных алгоритмов. 2. Предложен алгоритм управления системой автоматической идентификации маркировки, основанный на использовании данных о координатах изображения маркировки как результата разработанных алгоритмов локализации, позволяющий оперативно идентифицировать промышленные изделия. 3. Разработана методика настройки системы локализации, построенная на основе анализа системы изображения маркировок, их признаков, условий производства и алгоритмов локализации, позволяющая выбрать и настроить алгоритмы на определенный вид маркировки. 4. Выполнено автоматической внедрение разработанных идентификации маркировки алгоритмов на в систему складе слябов металлопрокатного цеха СТАН-5000 ОАО «Выксунский металлургический завод». 118 Заключение Сформулированы основные результаты, полученные в ходе выполнения диссертационной работы: 1. Проведен обзор и анализ алгоритмов локализации маркировок промышленных изделий на цифровых изображениях, показывающий необходимость разработки новых алгоритмов, обеспечивающих большую достоверность и оперативность локализации маркировок промышленных изделий. 2. Разработаны алгоритмы локализации, основанные на рекуррентном поиске усредненного максимума, обеспечивающие повышение оперативности локализации маркировок промышленных изделий. 3. Разработан метод локализации с использованием дополнительной метки, позволяющий увеличить достоверность локализации маркировок промышленных изделий на малоконтрастных изображениях и изображениях со сложным промышленным фоном. 4. Разработан алгоритм локализации, базирующийся на двумерной обработке изображений, обеспечивающий увеличение достоверности локализации маркировок промышленных изделий в условиях их малой контрастности. 5. Разработан алгоритм управления системой автоматической идентификации маркировки, основанный на использовании данных о координатах изображения маркировки как результата разработанных алгоритмов локализации, позволяющий оперативно идентифицировать промышленные изделия. 6. Разработана методика настройки системы локализации, построенная на основе анализа системы изображения маркировок, их признаков, условий производства и алгоритмов локализации, позволяющая выбрать и настроить алгоритмы на определенный вид маркировки. 119 7. Проведены исследования разработанных алгоритмов на тестовых и реальных изображениях, показывающие увеличение скорости локализации до 140 раз (0,011-9,15 сек.), и повышение достоверности вычисления координат положения метки на 1-8% (86-98% - достигнутая достоверность локализации в лабораторных и производственных условиях) по сравнению с известными алгоритмами, применяемыми в системах технического зрения. 8. Результаты проведенных в работе исследований внедрены в систему автоматической идентификации маркировки на промышленном предприятии ОАО «Выксунский металлургический завод», г. Выкса для контроля движения изделий на складе слябов и заготовок. По результатам проведенных исследований достоверность идентификации маркировки составила 96-98%. Время идентификации составило от 10 до 14 секунд, что соответствует предъявленным требованиям к оперативности работы. 120 Список использованной литературы 1. Абузова, И. В. Сканирующие системы с повышенным разрешением [Текст] / И. В. Абузова, В. М. Игнатьев, Е. В. Ларкин. – Тула: ТулГУ, 1996. – 88 с. 2. Авдеев Б. Я. Адаптивные телеизмерительные системы [Текст] / Б. Я. Авдеев, Е. М. Антонюк, С. Н. Долинов. – Л.: Энергоиздат, 1981. – 248 с. 3. Алиев, P. A. Производственные системы с искусственным интеллектом [Текст] / P. A. Алиев, Н. М. Абдикеев, М. М. Шахназаров. – М.: Радио и связь, 1990. 264 с. 4. Алиев, Р. А. Управление производством при нечеткой исходной информации [Текст] / Р. А. Алиев, А. Э. Церковный, Г. А. Мамедов – М.: Энергоатомизд, 1991 – 240 с. 5. Алпатов, Б. А. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление [Текст] / Б. А. Алпатов, П. В. Бабаян, О. Е. Балашов, А. И. Степашкин. – М.: Радиотехника, 2008. – 176 с. 6. Андреев, В. П. Система технического зрения, использующая свойства зрения человека для борьбы с геометрическим шумом [Текст] / В. П. Андреев // Информационно-измерительные и управляющие системы. – 2011. – № 9. – С.50. 7. Андриянов, А. В. Цифровая обработка информации в измерительных приборах и системах [Текст] / А. В. Андриянов, И. И. Шпак. – Минск: Высшая школа, 1987. – 176 с. 8. Астафьев А. В. Алгоритм локализации изображений производственных маркировок с использованием анализа цветовых данных [Текст] / А. В. Астафьев, А. А. Орлов // Искусственный интеллект. - Донецк: Институт проблем искусственного интеллекта. – 2013. - №4. - С. 126-130. 9. Астафьев, А. В. Адаптация технологии автоматической идентификации промышленных изделий для производства трубопроводной 121 продукции [Текст] / А. В. Астафьев, А. В. Провоторов // Материалы международной научно-практической конференции «Перспективы развития информационных технологий». – Новосибирск. – 2011. – С. 130–135. 10. Астафьев, А. В. Алгоритм цифровой локализации изображений символьных меток на основе одномерного дифференциально-интегрального исчисления яркости [Текст] / А. В. Астафьев, А. А. Орлов // Математические методы распознавания образов: 16-я Всероссийская конференция, г. Казань, 6-12 сентября 2013 г.: Тезисы докладов. – М.: Торус Пресс. - 2013. – С. 44. 11. Астафьев, А. В. Комплексный анализ систем мониторинга оборудования на производственных предприятиях [Текст] / А. В. Астафьев, А. В. Провоторов // Научный журнал "Вестник НГУЭУ". – 2011. – № 1. – С. 26-32. 12. Астафьев, А. В. Метод объединения результатов алгоритмов цифровой локализации символьных маркировок [Текст] / А. В. Астафьев, А. А. Орлов // Научно-технический вестник Поволжья. – 2013. – № 6. – С. 394396. 13. Астафьев, А. В. Методика и алгоритмы автоматической двухэтапной видеоидентификации металлопрокатных заготовок [Текст] / А. В. Астафьев, А. А. Орлов, А. В. Провоторов // Автоматизация в промышленности. – 2013. – № 10. – С. 53–57. 14. Астафьев, А. В. Методы и алгоритмы локализации изображений маркировок в управляемых системах видеонаблюдения [Текст] / А. А. Орлов, А. В. Астафьев, государственного А. В. Провоторов университета. Серия: // Известия Управление, Юго-Западного вычислительная техника, информатика. Медицинское приборостроение. - 2011. - № 2. - С. 2229. 15. Астафьев, А. В. Обзор технологий и методов маркировки и идентификации трубопроводных изделий [Текст] / А. В. Астафьев, А. В. 122 Провоторов // Материалы VII международной научной конференции «Современные исследования и развитие». – София. – 2011. – С. 48–52. 16. Астафьев, А. В. Особенности автоматической идентификации трубопроводной продукции [Текст] / А. В. Астафьев, А. А. Орлов, А. В. Провоторов // Алгоритмы, методы и системы обработки данных. –2011. – № 16. – С. 22–25. 17. Астафьев, А. В. Разработка алгоритма локализации символьных меток на цифровых изображениях с использованием метода анализа скорости изменения яркости [Текст] / А. В. Астафьев // Материалы конференции «Техническое зрение в системах управления». – М. – 2013. – С. 44–46. 18. Астафьев, А. В. Разработка методики автоматической идентификации промышленных изделий на основе анализа методов маркировки [Текст] / А. В. Астафьев, А. А. Орлов, А. В. Провоторов // Молодой ученый. – 2011. – № 1. – С. 132–134. 19. Астафьев, А. В. Разработка системы автоматической идентификации слябов на основе анализа изображений с видеодачтиков [Текст] / А. В. Астафьев, А. А. Орлов, А. В. Провоторов // Материалы конференции «Техническое зрение в системах управления». – М. – 2013. – С. 14–17. 20. Астафьев, А. В. Реализация и применение алгоритма цифровой локализации изображения символьных меток на основе анализа скорости изменения яркости [Электронный ресурс] / А. В. Астафьев, А. А. Орлов // Современные проблемы науки и образования. – 2012. – № 6. – Режим доступа: http://www.science-education.ru/pdf/2012/6/536.pdf. 21. Астафьев, А. В. Системный анализ методов маркировки промышленных изделий [Текст] / А. В. Астафьев, А. А. Орлов, А. В. Провоторов // Алгоритмы, методы и системы обработки данных. – 2010. – № 15. – С. 136–140. 123 22. Астафьев, А. В. Системный анализ технологий и систем идентификации трубопроводной продукции по маркеру в условиях промышленного производства [Текст] / А. В. Астафьев, А. А. Орлов, А. В. Провоторов // Материалы VIII научно-практической конференции «Татищевские чтения: актуальные проблемы науки и практики». – Тольятти. – 2011. – С. 187–195. 23. Ахо, A. B. Структуры данных и алгоритмы [Текст] / A. B. Ахо, Д. Э. Хопкрофт, Д. Д. Ульман. – М.: «Вильяме», 2001. – 384 с. 24. Багрова И. А., Грицай А. А., Сорокин С. В., Пономарев С. А., Сытник Д. А. Выбор признаков для распознавания печатных кириллических символов // Вестник Тверского Государственного Университета 2010 г., 28, стр. 59-73 25. Беленькая, М.Н. Администрирование в информационных системах [Текст] / М.Н. Беленькая, С.Т. Малиновский, Н.В. Яковенко. – М.: Горячая Линия - Телеком, 2011. – 400 с. 26. Бобырь М. В. Система лазерного контроля обработки деталей в реальном времени [Текст] / М. В. Бобырь, B. C. Титов, H. A. Милостная // Промышленные АСУ и контроллеры. – 2005. – № 11. – С. 21–25. 27. Бобырь М. В. Статистический анализ точности обработки деталей [Текст] / М. В. Бобырь, B. C. Титов // Промышленные АСУ и контроллеры. – 2004. – № 7. – С. 31-34. 28. Бобырь, М. В. Анализ методов автоматизации управления высокой точностью технологических процессов [Текст] / М. В. Бобырь, B. C. Титов, A. B. Беседин // Промышленные АСУ и контроллеры. – 2003. – № 7. – С. 29–32. 29. Бондаренко, А. В. Телевизионная видеокамера с цифровой обработкой в реальном времени [Текст] / А. В. Бондаренко, И. В. Докучаев, М. Г. Князев // Современная электроника. – 2006. – № 3. – С. 50. 124 30. Бочаров, Ю. А. Промышленные роботы в технологии современного машиностроительного производства [Текст] / Ю. А. Бочаров // Средства и системы очувствления промышленных роботов. – 1984. – С. 30– 35. 31. Бройдо, В. Л. Вычислительные системы, сети и телекоммуникации [Текст] / В.Л. Бройдо, О.П. Ильина – СПб.: Питер, 2011. – 560 с. 32. Брюханов, В. Н. Автоматизация производства [Текст] / В. Н. Брюханов, А. Г. Схиртладзе, В. П. Вороненко. – М.: Высшая школа, 2005. – 368 с. 33. Бхуптани, М. RFID-технологии на службе вашего бизнеса [Текст] / М. Бхуптани, Ш. Морадпур. – М.: Альпина Паблишер, 2007. – 290 с. 34. Вакунов, Н. В. Разработка и исследование многомасштабных алгоритмов обработки и анализа изображений в производственных системах контроля качества [Текст] / Вакунов, Н. В. – Автореф. канд. техн. наук. Владимир, ВлГУ, 2005. – 18 с. 35. Васильев, В. И. Распознающие системы [Текст] / В. И. Васильев. – Киев: Наукова думка, 1983. – 422 с. 36. Васильев, Р.Б. Стратегическое управление информационными системами [Текст] / Р.Б. Васильев, Г.Н. Калянов, Г.А. Левочкин, О.В. Лукинова – М.: Интернет-университет информационных технологий, Бином. Лаборатория знаний, 2010. – 512 с. 37. Васильков А.В., Информационные системы и их безопасность [Текст] / А.В. Васильков, А.А. Васильков, И.А. Васильков. – М.: Форум, 2011. – 528 с. 38. Гаврилов, М.В. Информатика и информационные технологии [Текст] / М.В. Гаврилов, В.А. Климов – М.: Юрайт, 2013. – 384 с. 125 39. Гвоздева, В. А. Информатика, автоматизированные информационные технологии и системы [Текст] / В.А Гвоздева – М.: Форум, Инфра-М, 2011. – 544 с. 40. Гвоздева, В. А. Информатика, автоматизированные информационные технологии и системы [Текст] / В. А. Гвоздева. – М.: Форум, Инфра-М, 2011. – 544 с. 41. Гвоздева, Т. В. Проектирование информационных систем [Текст] / Т. В. Гвоздева, Б. А. Баллод. – Ростов-на-Дону: Феникс, 2009. – 512 с. 42. Головин, Ю.А. Информационные сети [Текст] / Ю.А. Головин, А.А. Суконщиков, С.А. Яковлев. – М.: Академия, 2011. – 384 с. 43. Горский, Ю. М. Системно-информационный анализ процессов управления [Текст] / Ю. М. Горский. – Новосибирск: Наука. Сибирское отделение. – 1988. 44. ГОСТ 50577-93. Знаки государственные регистрационные транспортных средств типы и основные размеры. Технические требования. Введен 01.01.94. – М.: Издательство стандартов. – 5 с. 45. Гринберг, А. С. Информационные технологии управления [Текст] / А. С. Гринберг, Н. Н. Горбачев, А. С. Бондаренко. – М.: ЮНИТИ-ДАНА, 2008. 46. Гусятников, В. Н. Стандартизация и разработка программных систем [Текст] / В. Н. Гусятников, А. И. Безруков. – М.: Финансы и статистика, Инфра-М, 2010. – 288 с. 47. Девятков, В. В. Системы искусственного интеллекта [Текст] / В. В. Девятков. – М.: Изд-во МГТУ им. Н.Э. Баумана, 2001. – 352 с. 48. Дэвид Форсайт, Жан Понс Компьютерное зрение. Современный подход = Computer Vision: A Modern Approach. — М.: «Вильямс», 2004. — 928 с. 49. Емельянов С.Г. Методы и системы цифровой обработки аэрокосмических изображений [Текст] : [монография] / С. Г. Емельянов, Е. 126 А. Кудряшов, С. Г. Мирошниченко, В. С. Титов ; Российская академия наук, Сибирское отделение, Институт горного дела им. Н. А. Чинакала, Министерство образования и науки Российской Федерации, Юго-Западный государственный университет. - Новосибирск : Наука, 2012. - 175 с. 50. Емельянов С.Г. Обработка цифровых аэрокосмических изображений для геоинформационных систем [Текст]: монография / С. Г. Емельянов, С. Ю. Мирошниченко, В. С. Панищев, В. С. Титов, М. И. Труфанов. - М. : ТНТ, 2011. - 176 с. 51. Емельянов, C. B. Методы идентификации промышленных объектов в системах управления: монография [Текст] / С. В. Емельянов, С. К. Коровин, А. А. Ивушкин: под ред. Л. П. Мышляева. – Кемерово: Кузбасс Вузиздат, 2007. – 330 с. 52. Емельянова, Н. З. Проектирование информационных систем [Текст] / Н. З. Емельянова, Т. Л. Партыка, И. И. Попов. – М.: Форум, 2009. – 432 с. 53. Ершов, Е. В. Математическое и программное обеспечение оптико-электронной системы управления процессом спекания шихты на агломерационной машине конвейерного типа [Текст] / Е. В. Ершов – Череповец: ЧВИИРЭ, 2002. – 128с. 54. Желтов С.Ю. и др. Обработка и анализ изображений в задачах машинного зрения. — М.: Физматкнига, 2010. — 672 с. — ISBN 978-589155-201-2 55. Загоруйко, Н. Г. Методы распознавания и их применение [Текст] / Н. Г Загоруйко. – М.: «Советское радио», 1972. – 208 с. 56. Иванов, А. А. Автоматизация технологических процессов и производств [Текст] / А. А. Иванов. – М.: Форум, 2011. – 224 с. 57. Избачков, Ю. Информационные системы [Текст] / Ю. Избачков, В. Петров, А. Васильев, И. Телина. – СПб.: Питер, 2010. – 544 с. 127 58. Кангин, В. В. Аппаратные и программные средства систем управления. Промышленные сети и контроллеры [Текст] / В. В. Кангин, В. Н. Козлов. – М.: Бином. Лаборатория знаний, 2010. – 424 с. 59. Кий, К. И. Автоматическая система реального времени для обнаружения объектов и ориентиров на изображении, основанная на обработке цветных изображений [Текст] / К. И. Кий // Техн. зрение в системах управления мобильными объектами-2010. – 2011. – С. 268–276 . 60. Ким, Н. В. Обработка и анализ изображений в системах технического зрения [Текст] / Н. В. Ким. – М.: МАИ, 2001. 61. Клевалин, В. А. Цифровые методы распознавания в системах технического зрения промышленных роботов [Текст] / В. А. Клевалин, А. Ю. Поливанов // Мехатроника, Автоматизация, Управление. – 2008. – № 5. – С. 56. 62. Кормен, Т. Алгоритмы: построение и анализ = Introduction to Algorithms [Текст]: пер. с англ. / Т. Кормен, Ч. Лейзерсон, Р. Ривест ; под ред. А. Шеня. – М.: МЦНМО, 2000. – 960 с. 63. Костров, А. В. Основы информационного менеджмента [Текст] / А. В. Костров. – 2-е изд., перераб. и доп. — М. : Финансы и статистика, 2009. – 528 с. 64. Костров, А. В. Подход к организации управления сложными системами [Текст] / А. В. Костров, О. С. Коротеева // Алгоритмы, методы и системы обработки данных. – 2010. – № 15. – С. 80–84. 65. Костров, А. В. Эффективность использования ресурсов информационной системы [Текст] / А. В. Костров // Методы и устройства передачи и обработки информации. – 2003. – № 3. – С. 272–282. 66. Кравченко, Т.К. Инфокоммуникационные технологии управления предприятием [Текст] / Т.К. Кравченко, В.Ф. Пресняков. – М.: ГУ ВШЭ, 2003. – 272 с. 128 67. Лавровская, О.Б. Технические средства информатизации [Текст] / О.Б. Лавровская, Практикум. – М.: Академия, 2012. – 208 с. 68. Лукьяница А.А. Цифровая обработка видеоизображений [Текст] / А.А. Лукьяница, А.Г. Шишкин — М.: «Ай-Эс-Эс Пресс», 2009. — 518 с. 69. Максимов, Н.В. Современные информационные технологии [Текст] / Н.В. Максимов, Т.Л. Партыка, И.И. Попов – М.: Форум, 2012. – 512 с. 70. Мезенцев, К.Н. Автоматизированные информационные системы [Текст] / К.Н. Мезенцев – М.: Академия, 2011. – 176 с. 71. Мирошниченко, С. Ю. Метод автоматической локализации протяженных геопространственных объектов на космических снимках [Текст] / С. Ю. Мирошниченко, В. С. Титов, А. А. Ященко // Известия вузов. Приборостроение. - 2013. - Т. 56, № 6. - С. 17-22. 72. Смоляков А.В. Комплексный алгоритм распознавания трехмерных образов на цветных изображениях на основе методов обучения по прецедентам [Текст] // А.В. Смоляков А.В., Я.М. Скопинцев, А.Е. Кандрин, А.Л. Приоров / Проектирование и технология электронных средств. 2009., № 1. С. 45-49. 73. Смоляков А.В. Комплексный алгоритм распознавания трехмерных образов на цветных изображениях на основе методов обучения по прецедентам [Текст] // А.В. Смоляков А.В., Я.М. Скопинцев, А.Е. Кандрин, А.Л. Приоров / Проектирование и технология электронных средств. 2009., № 1. С. 45-49. 74. Советов, Б. Я Представление знаний в информационных системах [Текст] / Б.Я Советов, В.В. Цехановский, В.Д. Чертовской. – М.: Академия, 2011. – 144 с. 75. Советов, Б. Я. Информационные технологии [Текст] / Б.Я Советов, В.В. Цехановский – М.: Юрайт, 2011. – 272 с. 129 76. Титов, В. С. Направления развития методов, алгоритмов и аппаратных средств повышения качества изображений оптико-электронных систем [Текст] / В. С. Титов, М. И. Труфанов // Известия вузов. Приборостроение. - 2013. - Т. 56, № 6. - С. 7-10. 77. Трапезников И.Н. Комбинированный алгоритм детектирования автомобильных регистрационных знаков [Текст] // И.Н. Трапезников, А.Л. Приоров, А.А. Носков, Е.А. Аминова / Электромагнитные волны и электронные системы. 2013. Т. 18, № 12. С. 032-037. 78. Трапезников И.Н. Комбинированный алгоритм детектирования автомобильных регистрационных знаков[Текст] // И.Н. Трапезников, А.Л. Приоров, А.А. Носков, Е.А. Аминова / Электромагнитные волны и электронные системы. 2013. Т. 18, № 12. С. 032-037. 79. Трапезников И.Н. Комбинированный алгоритм детектирования автомобильных регистрационных знаков [Текст] // И.Н. Трапезников, А.Л. Приоров, А.А. Носков, Е.А. Аминова / Электромагнитные волны и электронные системы. 2013. Т. 18, № 12. С. 032-037. 80. Трапезников И.Н. Комбинированный алгоритм детектирования автомобильных регистрационных знаков [Текст] // И.Н. Трапезников, А.Л. Приоров, А.А. Носков, Е.А. Аминова / Электромагнитные волны и электронные системы. 2013. Т. 18, № 12. С. 032-037. 81. Трофимов, В.В. Информационные системы и технологии в экономике и управлении [Текст] / В.В. Трофимов – М.: Юрайт, 2010. – 528 с. 82. Шапиро, Л. Компьютерное зрение = Computer Vision [Текст] / Л. Шапиро, Дж. Стокман — М.: Бином. Лаборатория знаний, 2006. — 752 с. 83. Шелухин, О.И. Моделирование информационных систем [Текст] / О.И. Шелухин – М.: Горячая Линия - Телеком, 2011. – 536 с. 84. Ярушкина, Н.Г. Основы теории нечетких и гибридных систем [Текст] / Н.Г. Ярушкина– М.: Финансы и статистика, 2009. – 320 с. 130 85. Agarwal, S., Awan, A., Roth, D. Learning to detect objects in images via a sparse, part-based representation. // IEEE Transactions on Pattern Analysis and Machine Intelligence 26(11), pp. 1475–1490, 2004. 86. Anagnostopoulos, C.N., Anagnostopoulos, I., Loumos, V., Kayafas, E. A license plate recognition algorithm for Intelligent Transport applications. // IEEE Transaction on Intelligent Transport Systems 7(3), 2009. 87. Anagnostopoulos, C.N.E., Anagnostopoulos, I.E., Psoroulas, I.D., et al. License plate recognition from still images and video sequences: A Survey. // IEEE Trans. Intelligent Transportation Systems 9(3), 377–391, 2008. 88. Caner, H., Gecim, H.S., Alkar, A.Z. Efficient Embedded Neural- Network-Based License Plate Recognition System. // IEEE Transactions on Vehicular Technology 57(5), 2675–2683, 2008. 89. Cao, G., Chen, J., Jiang, J.: An adaptive approach to vehicle license plate localization. // Proc. 29th Annu. Conf. IECON, pp. 1786–1791, 2003. 90. Chacon, M., Zimmerman, A. License plate location based on a dynamic pcnn scheme. // Proceedings of the International Joint Conference on Neural Networks. Volume 2. pp. 1195–1200, 2003. 91. Chang, S. L., Chen, L., Chung, Y. C., Chen, L. S. Automatic License Plate Recognition. // IEEE Transaction on Intelligent Transport Systems 5(1), 42– 53, 2004. 92. Ching-Tang, H., Yu-Shan, Kuo-Ming Multiple license plate detection for complex background. // Proceedings of 19th International Conference on Advanced Information Networking and Applications, vol. 2, pp. 389–392, 2005. 93. Dalal, N., Triggs, B. Histograms of oriented gradients for human detection. // CVPR, pp. 886–893, 2005. 94. Fei-Fei, L., Perona, P. A Bayesian hierarchical model for learning natural scene categories. // CVPR, 2005. 131 95. Gonzalez, R.C., Woods, R.E. Digital Image Processing. // Pearson Education Asia, 2002. 96. Guo, J.M., Liu, Y.F. License plate localization and character segmentation with feedback self-learning and hybrid binarization techniques. // IEEE Trans. on Vehicular Technology 57(3), 1417–1424, 2008. 97. Hsieh, C.T., Juan, Y.S., Hung, K.M. Multiple license plate detection for complex background. // Proc. IEEE 19th Int. Conf. AINA, pp. 389–392, 2005. 98. Hsieh, J., Yu, S., Chen, Y. Morphology-based license plate detection from complex scenes. // Proceedings of 16th International Conference on Pattern Recognition. Volume 3. 176–179, 2002. 99. Hung, K.M., Chuang, H.L., Hsieh, C.T. License plate detection based on expanded Haar wavelet transform. // Fuzzy Systems and Knowledge Discovery, Proc. 4th Int. Conf. FSKD, Haikou, pp. 415–419, 2007. 100. Jia, W., Zhang, H., He, X., Piccardi, M. Mean Shift for Accurate License Plate Localization. // Proceedings of 8th International IEEE Conference on Intelligent Transportation Systems, Vienna, Austria, September 2005. 101. Kasaei, S.H., Kasaei, S.M., Kasaei, S.A. New Morphology-Based Method for Robust Iranian Car Plate Detection and Recognition. // International Journal of Computer Theory and Engineering 2(2), 1793–8201, 2010. 102. Kawasnicka, H., Wawrzyniak, B. License Plate Localization and Recognition in Camera Pictures. // AI-METH 2002, Poland, November 2002. 103. Kim, S., Kim, D., Ryu, Y., Kim, G. A robust license-plate extraction method under complex image conditions. // Proceedings of 16th International Conference on Pattern Recognition. pp. 216–219, 2002. 104. Lampert, C., Blaschko, M., Hofmann, T. Beyond sliding windows: Object localization by efficient subwindow search. // Proc. of CVPR, 2008. 105. Lazebnik, S., Schmid, C., Ponce, J. Beyond bags of features: Spatial pyramid matching for recognizing natural scene categories. // CVPR, 2006. 132 106. Li, J., Xie, M. A color and texture feature based approach to license plate location. // Proc. Int. Conf. Computational Intelligence and Security, Harbin, pp. 376–380, 2007. 107. Llorens, D., Marzal, A., Palazon, V., Vilar, J.M. Car License Plate Extraction and Recognition Based on Connected Components Analysis and HMM Decoding. // Marques, J.S., Pérez de la Blanca, N., Pina, P. (eds.) IbPRIA 2005. LNCS, vol. 3522, pp. 571–578. Springer, Heidelberg, 2005. 108. Ma, Z., Yang, J. A license plate locating algorithm based on multiple Gauss filters and morphology mathematics. // Proc. 24th IASTED Int. Multiconference, Signal Process, Pattern Recog. Appl., Insbruck, Austria, pp. 90– 94, 2006. 109. Mahini, H., Kasaei, S., Dorri, F., Dorri, F. An Efficient Features- Based License Plate Localization Method. // Proceedings of 18th International Conference on Pattern Recognition, 2006. 110. Nathan, V.S.L., Ramkumar, J., Kamakshi, P.S. New approaches for license plate recognition system. // ICISIP, pp. 149–152, 2004. 111. Pan, X., Ye, X., Zhang, S. A Hybrid Method For Robust Car Plate Character Recognition. // Engineering Applications of Artificial Intelligence, 963–972, 2005. 112. Permuter, H., Francos, J., Jermyn, I. Gaussian mixture models of texture and colour for image database retrieval. // Proceedings of the IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP 2003), vol. 3, pp. III-569-72, April 2003. 113. Reynolds, D.A., Quatieri, T.F., Dunn, R.B. Speaker verification using adapted Gaussian mixture models. // Digital Signal Processing 10, 19–41, 2000. 114. Rowley, H.A., Baluja, S., Kanade, T. Human face detection in visual scenes. // NIPS 8, pp. 875–881, 1996. 133 115. Saha, S., Basu, S., Nasipuri, M., Basu, D.K. A Hough Transform based Technique for Text Segmentation. // Journal of Computing 2(2), 134–141, 2010. 116. Saha, S., Basu, S., Nasipuri, M., Basu, D.K. An Offline Technique for Localization of License Plates for Indian Commercial Vehicles. // Proceedings of IEEE National Conference on Computing and Communication Systems (COCOSYS 2009), UIT, Burdwan, January 02-04, pp. 206–211, 2009. 117. Saha, S., Basu, S., Nasipuri, M., Basu, D.K. Development of an Automated Red Light Violation Detection System (RLVDS) for Indian vehicles. // Proceedings of IEEE National Conference on Computing and Communication Systems (COCOSYS-2009), UIT, Burdwan, January 02-04, pp. 59–64, 2009. 118. Saha, S., Basu, S., Nasipuri, M., Basu, D.K. License Plate localization from vehicle images: An edge based multi-stage approach. // International Journal of Recent Trends Engineering 1(1), 284–288, 2009. 119. Saha, S., Basu, S., Nasipuri, M., Basu, D.K. Localization of License Plates from Surveillance Camera Images: A Color Feature Based ANN Approach. // International Journal of Computer Applications 1(23), 27–31, 2010. 120. Shi, X., Zhao, W., Shen, Y. Automatic License Plate Recognition System Based on Color Image Processing. // Gervasi, O. (ed.), pp. 1159–1168, Springer, Heidelberg, 2005. 121. Suryanarayana, P.V., Mitra, S.K., Banerjee, A. A morphology based approach for car license plate extraction. // Proc. IEEE INDICON, Chennai, India, pp. 24–27, 2005. 122. Takashi, N., Toshihiko, T., Keichi, Y. Robust license-plate recognition method for passing vehicles under outside environment. // IEEE Trans. on Vehicular Technology49(6), 2000. 123. Viola, P., Jones, M. Rapid object detection using a boosted cascade of simple features. // Proc. of CVPR, 2001. 134 124. Wang, S.Z., Lee, H.-J. Detection and recognition of license plate characters with different appearances. // Proc. IEEE Int. Conf., Intell. Transp., pp. 979–984, 2003. 125. Wei, W., Huang, X., Wang, M. An automatic system of vehicle number-plate recognition based on neural networks. // Journal of Systems Engineering and Electronics 12(2), pp. 63–72, 2001. 126. Yan, S., Zhou, X., Liu, M., Hasegawa-Johnson, M., Huang, T.S. Regression from patch kernel. // CVPR, 2008. 127. Yang, F., Ma, Z. Vehicle license plate location based on histogramming and mathematical morphology. // Proc. 4th IEEE Workshop Autom. Identification Advanced Technol., pp. 89–94, 2005. 128. Yang, Y., Bai, J., Tian, R., Liu, N. A vehicle license plate recognition system based on fixed color collocation. // Proceedings of 2005 International Conference on Machine Learning and Cybernetics. Volume 9. pp. 5394–5397, 2005. 129. Zhang, H., Jia, W., He, X., Wu, Q. Learning-based license plate detection using global and local features. // Proc. ICPR, pp. 1102–1105, 2006. 130. Zheng, D., Zhao, Y., Wang, J. An efficient method of license plate location. // Pattern Recognit. Lett. 26(15), pp. 2431–2438, 2005. 131. Zhou, X., Zhuang, X., Tang, H., Hasegawa-Johnson, M., Huang, T.S. A Novel Gaussianized Vector Representation for Natural Scene Categorization. // ICPR, 2008. 132. Zhou, X., Zhuang, X., Yan, S., Chang, S., Hasegawa-Johnson, M., Huang, T.S. SIFTBag Kernel for Video Event Analysis. // ACM Multimedia, 2008. 133. Zhu, Q., Avidan, S., Yeh, M.-c., Cheng, K.-t. Fast human detection using a cascade of histograms of oriented gradients. // CVPR, pp. 1491–1498, 2006. 135 134. Zhuang, X., Zhou, X., Hasegawa-Johnson, M., Huang, T.S. Efficient object localization with gaussianized vector representation. // IMCE: Proceedings of the 1st International Workshop on Interactive Multimediafor Consumer Electronics, pp. 89–96, 2009. 135. Zhuang, X., Zhou, X., Hasegawa-Johnson, M., Huang, T.S. Face Age Estimation Using Patch-based Hidden Markov Model Supervectors. // ICPR, 2008. 136 Список иллюстрированного материала Рисунок 1.1 – результат работы системы АВТО-инспектор Рисунок 1.2 – результат работы системы АВТО-интеллект Рисунок 1.3 – результат работы системы SL-Traffic Рисунок 1.4 – внешний вид системы «ARSCIS» Рисунок 1.5 – работа алгоритма «скользящее окно» Рисунок 1.6 - SIFT дескрипторы Рисунок 1.7 – Общий вид процедуры выделения контуров Рисунок 1.8 – Дифференциальный метод выделения контура на изображении Рисунок 2.1 – формальное представление математической модели маркировки промышленного изделия Рисунок 2.2 – график зависимости амплитуды яркости от координаты X Рисунок 2.3 – график функции f(x) Рисунок 2.4 – График функции f(x) после процедуры сглаживания Рисунок 2.5 – Блок-схема алгоритма локализации на основе анализа всплесков яркости Рисунок 2.6 – график яркости исходного изображения Рисунок 2.7 – график функции f(x) с нарастающим итогом Рисунок 2.8 – График функции f(x) после процедуры сглаживания Рисунок 2.9 – блок-схема алгоритма Рисунок 2.10 – Блок-схема алгоритма Рисунок 2.11 – структурная схема текстурной маркировки на объекте производства Рисунок 2.12 – сечение изображения по горизонтали в области метки Рисунок 2.13 – результат сдвига с наложением по горизонтали Рисунок 2.14 – вид функции с нарастающим итогом Рисунок 2.15 – результат сглаживания функции Рисунок 2.16 – блок-схема алгоритма локализации на основе текстурных 137 признаков Рисунок 2.17 – специальная дополнительная метка Рисунок 2.18 – структурная схема расположения дополнительной маркировки Рисунок 2.19 – пример работы алгоритма локализации на основе двумерного подхода Рисунок 2.20 – структурная схема работы методики Рисунок 2.21 – блок-схема алгоритма управления системой автоматической идентификации маркировки Рисунок 3.1 - вид лабораторной установки системы цифровой локализации символьных маркировок Рисунок 3.2 - схема процесса работы лабораторной установки Рисунок 3.3 – виды маркировок для опытных изображений Рисунок 3.4 – примеры тестовых изображений Рисунок 3.5 – график достоверности локализации алгоритма на основе всплесков яркости при различных условиях Рисунок 3.6 – график достоверности локализации алгоритмов на основе всплесков яркости и SURF при условиях сложного фона Рисунок 3.7 - График сравнительного анализа по скорости работы алгоритмов Рисунок 3.8 – примеры тестовых изображений Рисунок 3.9 – график достоверности локализации алгоритма на основе анализа карты яркости изображения при различных условиях Рисунок 3.10 – график достоверности локализации алгоритмов на основе анализа яркости карты изображения и SURF при условиях сложного фона Рисунок 3.11 – график скорости работы алгоритмов Рисунок 3.12 – график достоверности локализации алгоритма на основе анализа карты цветов изображения при различных условиях 138 Рисунок 3.13 – график достоверности локализации алгоритмов на основе анализа карты цветов изображения и SURF при условиях сложного фона Рисунок 3.14 – график скорости работы разработанного алгоритма и алгоритма SURF Рисунок 3.15 – график достоверности локализации алгоритма на основе текстурных признаков изображения при различных условиях Рисунок 3.16 – график скорости работы разработанного алгоритма и алгоритма SURF Рисунок 3.17 – график достоверности локализации алгоритмов на основе анализа карты цветов изображения и SURF при условиях сложного фона Рисунок 4.1 – Структура разработанной системы Рисунок 4.2 – внешний вид главной формы «main_form» Рисунок 4.3 – внешний вид главной формы «color_algorithm_options» Рисунок 4.5 – вид главной формы при запуске приложения Рисунок 4.6 – Пункт меню «Файл» Рисунок 4.7 – Пункт меню «Алгоритмы локализации» Рисунок 4.8 - Диалог выбора изображения для обработки Рисунок 4.9 – Вид открытого изображения Рисунок 4.10 – Форма выбора параметров для алгоритма, основанного на использовании анализа всплесков яркости Рисунок 4.11 – Пример работы алгоритма, основанного на использовании анализа всплесков яркости с коэффициентом 0,75 Рисунок 4.12 – Пример работы алгоритма, основанного на использовании анализа всплесков яркости с коэффициентом 0,5 Рисунок 4.13 – Форма выбора параметров для алгоритма локализации на основе анализа карты яркости изображения Рисунок 4.14 – Пример работы алгоритма локализации на основе анализа карты яркости изображения с коэффициентом 0,75 139 Рисунок 4.15 – Пример работы алгоритма локализации на основе анализа карты яркости изображения с коэффициентом 0,5 Рисунок 4.16 – Форма выбора параметров для алгоритма локализации на основе анализа карты цветов изображения Рисунок 4.17 – Пример работы алгоритма локализации на основе анализа карты цветов изображения с коэффициентом 0,75 Рисунок 4.18 – Пример работы алгоритма локализации на основе анализа карты яркости изображения с коэффициентом 0,5 Рисунок 4.19 – вид формы использования дополнительный метки Рисунок 4.20 – вид изображения для локализации маркировки Рисунок 4.21 – вид изображения с замерами Рисунок 4.22 – ввод параметров локализации в систему Рисунок 4.23 – результат локализации маркировки Рисунок 4.24 – структурная схема работы алгоритма Рисунок 4.25 – Структурная схема САИМ Рисунок 4.26 - Изображение промышленного крана специальной меткой Рисунок 4.27 – пример реального изображения из САИМ с нанесенной 140 Приложение А Акт внедрения результатов диссертационной «Выксунский металлургический завод» работы на ОАО 141 142
