Непрерывная гранично-скелетная модель сегментированного

Непрерывная гранично-скелетная модель сегментированного изображения
(ИОИ-9)
1
Непрерывная гранично-скелетная модель сегментированного
изображения∗
Жукова К. В., Рейер И. А.
kz@pisem.net,reyer@forecsys.ru
Москва, Вычислительный центр РАН
В работе предлагается непрерывная модель сегментированного изображения, состоящая из набора непересекающихся многоугольных фигур. Каждый многоугольник из этого набора аппроксимирует однородную
растровую область, при этом многоугольники двух соседних областей имеют общие фрагменты границы.
Модель также включает «размеченные» скелеты многоугольников, описывающие изменение скелетного
представления, и оценки значимости выпуклых особенностей границы, соответствующих вершинам многоугольников. Для построения множества многоугольников используется модификация алгоритма аппроксимации бинарного изображения разделяющими многоугольниками минимального периметра.
Continuous boundary-skeleton model of a segmented image∗
Zhukova K. V., Reyer I. A.
Dorodnicyn Computing Centre of RAS, Moscow, Russia
A boundary-skeleton model of a segmented image consisting of a set of nonoverlapping polygonal figures is
suggested. Each polygon from the set approximates a homogeneous raster region within the image, with polygons
of two neighbour regions having common fragments of boundary. The model also includes marked skeletons
of polygons describing changes of skeletal representation and significance estimations for boundary convexities
corresponding to polygon vertices. To obtain the set of polygons a modified algorithm for approximation of a
binary image with polygons of minimal perimeter is used.
Важным промежуточным результатом при решении задач анализа и распознавания изображений является сегментированное изображение,
представляющее совокупность связных растровых
компонент, содержащих однородные по какомулибо признаку (яркость, цвет, текстура и т. п.) точки. Можно считать, что задана раскраска изображения — точкам каждой однородной области соотвествует свой цвет. Дальнейший анализ свойств таких изображений, в частности, формы и взаимного
расположения компонент, традиционно проводится с использованием дискретного представления
выделенных областей. В то же время, представляется целесообразным использовать для анализа
формы и положения объектов методы непрерывной
морфологии [4]. Ключевым моментом непрерывного морфологического подхода является аппроксимация связных объектов бинарного изображения
многоугольными фигурами. На основе полученных
многоугольников строятся граничные, скелетные и
циркулярные описания объектов.
Существующие методы построения многоугольных аппроксимаций подразумевают работу с бинарным изображением (отделение объекта от фона) и используют различные критерии точности:
разделение черных и белых точек [6, 3]; расстояния
Хаусдорфа между границей аппроксимирующего
многоугольника и границей исходного растрового
объекта [7, 8]; минимальное отклонение площади
Работа выполнена при финансовой поддержке РФФИ, проекты № 11-07-00462 и № 11-01-00783.
многоугольника от площади растрового объекта,
минимальное количество фоновых (белых) точек
растра, лежащих внутри аппроксимирующего многоугольника и максимальное количество точек фигуры (черных), лежащих внутри аппроксимирующего многоугольника [9]. Кроме того, эти методы строят «оптимальный» по количеству элементов многоугольник для заданной точности аппроксимации: многоугольник минимального периметра
[6, 3], многоугольник со сторонами максимальной
длины [8] и т. п.
Соответственно, построение непрерывного представления отдельно для каждой из полученных в
результате сегментации дискретных областей одним из перечисленных методов не гарантирует того, что полученные фигуры не будут пересекаться, а многоугольники, соответствующие соседним
областям, будут иметь общие фрагменты границ.
Например, при аппроксимации каждой растровой
области разделяющими многоугольниками минимального периметра, получим результат, изображенный на рис. 1.
Рис. 1.
Международная конференция «Интеллектуализация обработки информации» (ИОИ-9), Черногория, г. Будва, 16–22 сентября 2012 г.
International conference “Intelligent Information Processing” IIP-9, Montenegro, Budva, September 16–22, 2012.
2
(ИОИ-9)
Жукова К. В., Рейер И. А.
Таким образом, возникает потребность в методе, позволяющем получить такое разбиение плоскости изображения непрерывными областями, чтобы,
во-первых, полученные области не пересекались и
покрывали всю плоскость изображения, во-вторых,
области, соответствующие двум соседним дискретным компонентам, имели общие участки границы, и в-третьих, каждая из полученных областей
аппроксимировала соответствующую компоненту с
известной точностью.
Постановка задачи
Будем пользоваться терминологией, приведенной в [4]. Рассмотрим бинарное изображение с треугольной структурой соседства на растровой решётке. Ячейка решетки состоит из четырёх точек решётки, образующих квадрат, не содержащий
других точек решётки. Ячейка является граничной, если она содержит разноцветные точки. При
этом различают внешние (содержащие белые точки внешнего для фигуры фона) и внутренние (содержащие белые точки внутренних дыр фигуры)
граничные ячейки.
Определение 1. Компонентной смежностью называется треугольная структура соседства, в которой во всех внешних граничных ячейках отсутствуют диагонали, соединяющие белые точки, во всех
внутренних граничных ячейках отсутствуют диагонали, соединяющие чёрные точки.
Использование компонентной смежности обосновано возможностью правильно строить компоненты связности для фигур с узкими дырами
(рис. 2).
Рис. 2.
Определение 2. Граничным треугольником называется грань треугольной растровой решетки,
имеющая разноцветные точки.
Определение 3. Граничным коридором называется объединение попарно смежных граничных
треугольников.
Граничный коридор представляет собой подграф треугольной решётки, имеющий кольцевую
структуру (рис. 3). При этом внутреннюю и внешнюю границы коридора (стенки) образуют точки
Рис. 3.
разного цвета. Коридор определяет полосу на плоскости, заключённую между двумя замкнутыми ломаными линиями и делит множество всех точек
растровой решётки на два подмножества: одно из
них образуют точки, лежащие на внутренней стенке коридора, и точки, попадающие внутрь контура,
образованного этой стенкой, второе подмножество
включает точки, лежащие на внешней стенке коридора и вне контура, образуемого этой стенкой.
Малая ширина (1 пиксел) граничного коридора
позволяет использовать в качестве аппроксимации
границы любую лежащую в нем замкнутую кривую. При этом величина хаусдорфова расстояния
между дискретным множеством и аппроксимирующим его√ непрерывным множеством лежит в ин√
тервале [ 22 , 2].
Используя понятие граничного коридора, задачу построения непрерывной модели сегментированного изображения можно сформулировать следующим образом. Пусть дано сегментированное изображение I. Обозначим D = {D1 , D2 , . . . , Dn } —
множество однородных (одноцветных) дискретных
областей изображения I. Требуется построить множество многоугольников C = {C1 , C2 , . . . , Cn }, удовлетворяющих следующим требованиям:
Sn
1) i=1 Ci = I
2) Či ∩ Čj = ⊘ ∀ i, j ∈ {1, . . . , n}, i 6= j, где Či —
открытый многоугольник: Či = Ci \∂Ci .
3) граница ∂Ci каждого многоугольника целиком лежит внутри граничного коридора области Di .
Построение граничной модели
сегментированного изображения
Метод построения предлагаемой модели сегментированного изображения основан на алгоритме
построения разделяющих многоугольников минимального периметра [3, 4] для бинарного изображения. Такой многоугольник не имеет пересекающихся сторон и координаты его вершин являются целочисленными. Если представить бинарное
изображение в виде черных и белых гвоздей, вбитых в доску, то границу минимального разделяющего многоугольника можно представить в виде
резиновой нити, натянутой между разноцветными
Непрерывная гранично-скелетная модель сегментированного изображения
гвоздями (то есть внутри граничного коридора).
Алгоритм построения минимального разделяющего многоугольника состоит из трех этапов: поиск
граничного коридора (построчным сканированием
до тех пор, пока не будет найдена пара разноцветных точек), прослеживание границы (последовательным перемещением концов моста — прямолинейного отрезка, соединяющего разноцветные точки — вдоль граничного коридора) и вытягивание
границы (поиском угловых точек граничного коридора). Точность
такой многоугольной аппрокси√
мации равна 2. Вершинами полученного многоугольника будут точки бинарного изображения, лежащие в граничном коридоре (черные и белые).
Причем выпуклым вершинам многоугольника соответствуют черные точки объекта, вогнутым —
белые точки фона. На рис. 4 изображен результат построения минимального разделяющего многоугольника.
(ИОИ-9)
3
затем вычисляется разность аппроксимирующих
многоугольников для Ki и Ki−1 : Ci = Fi \Fi−1 .
2. Коррекция. Полученный многоугольник Ci
нельзя использовать в качестве аппроксимации области Di , поскольку он может содержать вершины,
не лежащие в граничном коридоре Di . Пример такой ситуации приведен на рис. 5. Точки растра, обозначенные черным кружком, образуют объединение Ki−1 , точки, обозначенные крестиком — текущую область Di . В верхней части рисунка показаны полученные аппроксимирующие многоугольники Fi−1 и Fi для Ki−1 и Ki соответственно. В нижней части изображен многоугольник Ci — разность
Fi и Fi−1 . Как видим, этот многоугольник содержит вершину (обозначена квадратом), лежащую
вне граничного коридора области Di .
Рис. 5.
Рис. 4.
Идея предлагаемого метода построения многоугольной аппроксимациии для сегментированного
изображения состоит в следующем: будем последовательно объединять смежные однородные области и строить аппроксимирующий многоугольник очередной области, вычисляя и корректируя разность между аппроксимирующими многоугольниками формируемого объединения. Пусть
D = {D1 , D2 , . . . , Dn } — множество одноцветных
дискретных областей сегментированного изображения I, пронумерованых
в порядке объединеSi
ния; Ki = k=1 Dk , 1 6 i 6 n. Алгоритм состоит
из n шагов, каждый из которых включает два
этапа: вычисление многоугольника Ci , содержащего область Di , и коррекцию многоугольников
Ci , Ci−1 , . . . , C1 . В качестве первого элемента C1 искомого множества многоугольников возьмем минимальный разделяющий многоугольник, аппроксимирующий область D1 . При этом K1 = D1 и коррекция не требуется.
1. Построение многоугольника Ci , содержащего
область Di , 1 < i 6 n. Cтроится минимальный
S разделяющий многоугольник Fi для Ki = ik=1 Dk ,
Поиск таких «лишних» вершин осуществляется
следующим образом. Перебираем вершины многоугольника Ci и проверяем цвета соседних точек:
если среди соседей вершины нет ни одной точки
с цветом области Di , значит эту вершину нужно
удалить из Ci . При этом нужно соответствующим
образом изменить многоугольники, полученные на
предыдущих шагах, чтобы между многоугольниками не образовались «просветы». Эта часть процедуры коррекции заключается в добавлении в многоугольники Ci−1 , . . . , C1 вершин Ci , имеющих соседей цветов Di−1 , . . . , D1 соответственно.
k1
k4
k1
k4
коррекция
i1
i1
i3
i3
k2
k3
i2
k2
k3
i2
Рис. 6.
На рис. 6 проиллюстирована ситуация, когда необходимо добавить вершину многоугольника Ci в один из многоугольников Ck ∈
{Ci−1 , . . . , C1 }. Сплошной линией изображен многоугольник Ck c вершинами {k1 , k2 , k3 , k4 }, пре-
4
(ИОИ-9)
Жукова К. В., Рейер И. А.
рывистой — искомый многоугольник Ci с вершинами {i1 , k4 , k3 , i2 , i3 }. Процедура коррекции удаляет
вершину k4 из многоугольника Ci и добавляет вершину i1 между k3 и k4 в многоугольник Ck .
Таким образом, предложенная процедура коррекции использует только вершины аппроксимирующих многоугольников объединения областей,
не вычисляя новых. Нетрудно видеть, что границы полученных многоугольников при этом лежат
внутри граничных коридоров соответствующих областей.
На рис. 7 представлен результат работы алгоритма для сегментированного изображения из тестовой базы Berkeley Segmentation Dataset [5].
Рис. 8.
Выводы
В работе представлена непрерывная гранично-скелетная модель сегментированного изображения, строящаяся на основе набора непересекающихся многоугольных фигур, соответствующих однородным областям сегментированного изображения. Предложенный метод построения фигур позволяет сохранить и эффективно использовать информацию о соседстве объектов. Использование
в модели размеченных скелетных графов многоугольников и оценок значимости выпуклых особенностей границы дает возможность анализа граничных и структурных свойств формы объектов, проявляющихся на разных уровнях детализации.
Литература
[1] Жукова К. В., Рейер И. А. Параметрическое семейство гранично-скелетных моделей формы // Доклады всероссийской конференции ММРО-14, 2009.
[2] Жукова К. В., Рейер И. А. Параметрический дескриптор формы на основе гранично-скелетной
модели // Доклады всероссийской конференции
ММРО-15, 2011, C. 408–411.
Рис. 7.
Гранично-скелетная модель
сегментированного изображения
Построим непрерывное гранично-скелетное представление сегментированного изображения на основе полученного разбиения. С каждым многоугольником связано параметрическое семейство
гранично-скелетных моделей формы [1] объекта,
состоящих из базового скелета многоугольника
и границы объединения множества базовых кругов. Для анализа такого семейства удобно использовать размеченный скелетный граф многоугольника, описывающий изменение базового скелета, а также оценки значимости для вершин выпуклых углов многоугольника — значения точности аппроксимации, при которых соответствующие
вершинам выпуклые особенности перестают быть
существенными [2]. На рис. 8 приведен пример гранично-скелетного представления сегментированного изображения.
[3] Местецкий Л. М. Непрерывный скелет бинарного
растрового изображения // Труды межд. конф.
«Графикон-98», Москва, 1998.
[4] Местецкий Л. М. Непрерывная морфология бинарных изображений: фигуры, скелеты, циркуляры —
Москва: Физматлит, 2009. — 288 с.
[5] Martin D., Fowlkes C., Tal D., Malik J. A Database of
Human Segmented Natural Images and its Application
to Evaluating Segmentation Algorithms and Measuring Ecological Statistics // Proc. of 8-th Int’l Conf.
Computer Vision, 2001, July. — Vol. 2 — P. 416–423.
[6] Montanari U. A note on minimal length polygonal approximation to a digitized contour // Communications
of ACM. — 1970. — Vol. 13, No. 1. — Pp. 41–47.
[7] Ramer U. E. An iterative procedure for the polygonal
approximation of plane curves — Comput. Graphics
Image Process. — 1972. — Vol. 1. — Pp. 244–256.
[8] Sklansky J., Gonzalez V. Fast polygonal approximation of digitized curves // Pattern Recognition. —
1980. — Vol. 12. — Pp. 327–331.
[9] Wu J., Leou J. New polygonal approximation schemes
for object shape representation // Pattern Recognition. — 1993. — Vol. 26. — Pp. 471–484.