АНАЛИЗ АЛГОРИТМОВ ДИФФУЗИИ ДЛЯ РЕШЕНИЯ ОПТИМИЗАЦИОННЫХ ЗАДАЧ СТРУКТУРНОГО РАСПОЗНАВАНИЯ

Кибернетика. Проблемы искусственного интеллекта
УДК 004.93’1: 519.157
АНАЛИЗ АЛГОРИТМОВ ДИФФУЗИИ ДЛЯ РЕШЕНИЯ
ОПТИМИЗАЦИОННЫХ ЗАДАЧ СТРУКТУРНОГО
РАСПОЗНАВАНИЯ
М.И.Шлезингер, К.В.Антонюк
(Киев)
Ключевые слова: структурное распознавание, разметки, дискретная оптимизация,
перестановочная супермодулярность.
Введение
Ряд прикладных задач распознавания изображений сводится к дискретной оптимизации
особого вида [1], [2], [3], [4], [5], [6] известной как задача разметки. Множество всех
возможных задач этого вида образует NP-полный класс и поэтому здесь не известен общий
алгоритм их решения. Известные алгоритмы, достаточно полно описанные в обзоре [7],
решают тот или иной подкласс этих задач или решают задачи приближенно.
Алгоритм диффузии, которому посвящена данная работа, занимает в этом ряду особое
место. Он достаточно известен в виде фольклора в среде исследователей, и, строго говоря,
неизвестно, кому принадлежит его авторство. Он очень мало исследован теоретически и
лишь предположительно решает некоторые (пока что, неизвестно какие) задачи разметок или
решает их приблизительно (неизвестно, с какой точностью). Несмотря на его известность, он
почти не описан в научных публикациях. Насколько нам известно, единственное его
описание содержится в уже упомянутом обзоре [7], где он представлен, как общеизвестный
алгоритм с неизвестным авторством.
По своему характеру алгоритмы диффузии близки к эвристическим алгоритмам,
известными в англоязычной терминологии как belief propagation, message passing и под
другими выразительными названиями. Подобно этим алгоритмам, алгоритм диффузии
привлекателен
своей
простой
и
наглядной
формулировкой
и
возможностью
его
распараллеливания при реализации. Однако эти достоинства отходят на задний план, пока не
установлена прямая связь этого алгоритма с задачами разметки. Цель данной работы состоит
в том, чтобы, по крайней мере частично, восполнить указанный пробел.
1. Определение основных понятий и формулировка результата
Пусть T
и
K - два конечных множества, элементы которых называются
соответственно объектами и метками, k : T  K - функция, называемая разметкой,
k  t  , t  T , - метка объекта t , K T - множество всех возможных разметок.
2
Пусть для каждого t  T указано подмножество N  t   T , такое, что t  N  t  и
t  N  t   t   N  t  . Элементы множества N  t  назовем соседями объекта t . Пусть
t, t  T
- подмножество, состоящее из двух объектов, такое, что t   N  t  . Назовем его
парой соседних объектов. Множество всех возможных таких пар обозначим
.
Следовательно, запись t , t  равносильна записи t  N  t  и t   N  t  . В дальнейшем
запись t , t  будет записываться более кратко как tt   .
Упорядоченную пару
k, t  ,
k  K , t  T , назовем вершиной, а неупорядоченную
 k , t  ,  k , t вершин, такую, что tt   , назовем дужкой. Будем говорить, что
вершина  k , t  входит в разметку k , если k  t   k . Будем говорить, что дужка
 k , t  ,  k , t входит в разметку k , если в эту разметку входит и вершина  k , t  , и
пару




вершина  k , t  .

Обозначим D множество всех возможных дужек,
D 
  k , t  ,  k , t   tt  , k  K , k   K  ,
и введем в рассмотрение функцию
g : D  R ,
значение которой g
 k , t  ,  k , t
назовем весом дужки
 k , t  ,  k , t .
Функцию g
будем называть весовой функцией. Поскольку дужка определена, как неупорядоченная пара
вершин, то
g   k , t  ,  k , t    g   k , t  ,  k , t   .
  разметки k  K
Определим качество G k
 
T

как сумму весов входящих в неё дужек,

G k   g  k  t  , t  ,  k  t  , t  .
tt 

Задача разметки состоит в отыскании разметки k с максимальным качеством,


k   arg maxT  g  k  t  , t  ,  k  t  , t  .
k K
tt 
(1)
3

Пусть D  D некоторое непустое подмножество дужек. Назовем его согласованным,
если для любой тройки t , t  , t  объектов, таких, что
t   N  t  , t   N  t  ,
и любой пары меток k , k  , таких, что
 k , t  ,  k , t  D ,
(2)
существует метка k  , такая, что
 k , t  ,  k , t  D .

Для каждой весовой функции g : D  R и неотрицательного числа
подмножество D  g  дужек
  0 определим
 k , t  ,  k , t , таких что
g   k , t  ,  k , t    max g   l , t  ,  l , t     .
lK ,l K
Для каждой весовой функции g определим ее характеристику
значение
  g  , как минимальное
 , при котором множество D  g  содержит согласованное подмножество дужек.
Величину
  g  будем называть несогласованностью весовой функции g , и если
  g   0 , то функцию g назовем согласованной. Несогласованность   g  является
конструктивно вычисляемой характеристикой функции g .
Пусть
g - весовая функция, а
k , t 


- некоторая вершина. Определим

 - диффузией.
Вес дужек   k , t  ,  k , t   , не содержащих вершину  k , t  , не меняется,
преобразование функции g в функцию g  , которое назовем k , t
1.




g    k , t  ,  k , t    g   k , t  ,  k , t   .
2. Для
каждого
t  N t 
объекта


содержащей вершину k , t

вычисляется
вес
максимальной
,


s  t   max g  k  , t   ,  k , t  .
k


3. Вес каждой дужки, содержащей вершину k , t

 , вычисляется по формуле
дужки,
4

1
g   k  , t   ,  k , t   g  k  , t   ,  k , t     s  t   
N t 


 


Для объекта t  T определим операцию t



s
t


 , k   K , t  N t  .


t N t 

- диффузии как выполнение
k, t 

-
диффузии для всех k  K .
Определим, наконец, операцию диффузии, как преобразования весовой функции g в
весовую функцию g   F  g  . Эта операция состоит в следующем.
1. Выбрать произвольный порядок  t1 , t2 ,
, tn  , ti  T , n  T , просмотра объектов
из T .
2. Для i  1,2,
, n выполнить ti - диффузию.
Преобразование весовой функции g в функцию g  с помощью диффузии является
эквивалентным преобразованием в том смысле, что равенство
 g   k  t  , t  ,  k  t  , t '    g    k  t  , t  ,  k t   , t ' 
tt 
tt 
выполняется для любой разметки k  K . Доказательство этого факта приведено в
T
приложении.

Важное значение имеет весовая функция g , которая является решением уравнения
g  F g
и
которую
назовем
неподвижной
точкой
диффузии.
Эквивалентное

представление исходной весовой функции g 0 в виде неподвижной точки g позволяет
решать определенные подклассы задач разметки. Однако из определения алгоритма F
диффузии непосредственно не следуют алгоритмы решения уравнения
  F   , а следует
лишь возможность построения бесконечной последовательности
g 0 , g1  F  g0  ,
для любой исходной функции
, g i  F  g i 1  ,
(3)
g 0 . Предположение, что некоторый элемент этой
последовательности окажется неподвижной точкой, скорее всего, неверно. Более того,
насколько известно, в настоящее время не доказано и не опровергнуто даже более слабое
утверждение, сформулированное в обзоре [7 ].
0
Гипотеза. Для любой весовой функции g последовательность
5
g 0 , g 1  F  g00  , g 2  F  g 1 
, g i  F  g i 1  ,
 .

имеет предел g , такой что g  F g


Справедливость этой гипотезы позволила бы рассматривать диффузию, как инструмент
для отыскания “приблизительно” неподвижной точки. При этом возникли бы новые
вопросы, требующие ответа. А именно, каким должно быть условие останова, которое
i
позволило бы утверждать, что функция g , полученная на некоторой i -ой итерации, уже
“приблизительно” неподвижна; каким образом из получения “приблизительно” неподвижной
весовой функции следует возможность “приблизительного” решения задачи; и, наконец, как
следует конкретизировать само понятие “приблизительно”. Отсутствие ответов на эти
вопросы, равно как и недоказанность самой гипотезы, из которой эти вопросы следуют – все
это свидетельствует о недостаточной теоретической исследованности алгоритмов диффузии,
о чем кратко упоминалось во введении.
В данной работе алгоритмы диффузии исследуются не с точки зрения их
предположительной сходимости к неподвижной точке, а с точки зрения уменьшения
несогласованности весовой функции. Основной результат работы состоит в доказательстве
следующего факта.
Теорема. Пусть для исходной весовой функции g 0 построена последовательность
g0 , g1 ,
, gi ,

, такая что g  F g
i
i 1
 , i  1,2,
. В таком случае
lim   gi   0 .
i 
Доказательство теоремы приводится в приложении.
Теорема утверждает, что диффузия есть инструмент, с помощью которого любая

весовая функция g , при любом положительном

эквивалентную ей функцию g , такую, что
 0  0 за конечное время преобразуется в
  g     0 . Эквивалентное представление
исходной функции в виде
 0 -согласованной функции позволяет находить приближенное, с
точностью, зависящей от
 0 , решение некоторых подклассов задач разметки, как это
показано в следующих разделах.
2. Ациклические задачи
Пусть  - множество пар соседних объектов, не образующее циклов.
6

Пусть g - весовая функция, g - найденная с помощью алгоритма диффузии весовая
функция, эквивалентная g и такая, что
  g     0 . Это значит, что для любой разметки
k  K T выполняется равенство
 g   k  t  , t  ,  k  t  , t     g   k  t  , t  ,  k  t  , t   .

tt
tt
Из того факта, что
дужек
  g     0 , следует существование согласованного подмножества D
 k , t  ,  k , t , для которых справедливо неравенство
g    k , t  ,  k , t    max max g    l , t  , l , t     0 .
lK
l K

Покажем, что существует разметка k : T  K , составленная из дужек, входящих в
D . Эта разметка находится следующим образом.
1. Представим объекты из множества T в виде последовательности
t1 , t2 ,
, tn
так, что каждое из подмножеств t1 , t2 ,
2. Выберем метки k

k
, ti , i  2,3,
, n , оказывается связным.
 t1  и k   t2  так, что

 t1  , t1  ,  k   t2  , t2    D .
(4)

В силу согласованности множества D условие (4) выполнимо.
, n найти объект ti t1 , t2 ,
3. Для i  3,4,
метку k

, ti 1  , такой, что ti , ti   и выбрать
 t  так, что
i
 k  t  , t  ,  k  t  , t   D .

i

i


i
(5)
i

В силу согласованности D условие (5) выполнимо. Для построенной разметки k
выполняются условия
k

 t  , t  ,  k   t  , t    D ,
tt   ,
а следовательно, и неравенства


g  k   t  , t  ,  k   t  , t   max max g   k , t  ,  k , t     0 , tt   .

kK
k K
Для этой же разметки k справедлива цепочка

7
maxG  k   max  g  k t  , t  ,  k t  , t   .
k K T
k K T
tt 


  max g   k , t  ,  k , t      g  k   t  , t  ,  k   t  , t    0   .


k ,k 
tt
tt
 
 
 G k      0  G k    T  1   0 .
Таким образом, для ациклических задач алгоритм диффузии позволяет находить разметку,
качество которой отличается от качества наилучшей разметки не более, чем на величину
T
 1   0 . Если же исходные веса дужек -- целые числа, то диффузия позволяет находить
оптимальную разметку точно. Для этого надо её реализовать со значением
0 
1
.
T 1
3. Супермодулярные задачи
Пусть множество K меток упорядочено, так что для любых двух меток k и k 
справедливо либо k  k  , либо k  k  , либо k  k  . Задача разметки называется
супермодулярной, если для любых tt   , k1  k2 , k1  k2 выполняется неравенство
g   k1 , t  ,  k2 , t    g   k2 , t  ,  k1, t   
(6)
 g   k1 , t  ,  k1, t    g   k2 , t  ,  k2 , t   .
Пусть S  k , t , t  , k  K , t  T , t   N  t  , - любые числа, с помощью которых
функция g преобразуется в функцию g  со значениями
g    k , t  ,  k , t    g   k , t  ,  k1, t    S  k , t, t   S  k , t , t  .
(7)
Нетрудно убедиться, что если неравенство (6) выполняется для весовой функции g , то оно
выполняется и для весовой функции g  , значения которой определяются выражением (7).
Следовательно, неравенство (6) не нарушается в процессе диффузии, так как преобразования
весов дужек при диффузии имеет именно вид (7).
Пусть g - супермодулярная весовая функция, а g
полученная в процессе диффузии и такая, что
по следующим правилам.

- эквивалентная ей функция,
  g     0 . Построим разметку k  : T  K
8

1. Построим согласованное множество D дужек
 k , t  ,  k , t таких, что
g    k , t  ,  k , t    max max g    l , t  , l , t     0 .
lK
l K
Такое непустое множество существует, так как
  g   0 .
2. Для каждого объекта t  T определим множество K  t  меток


K  t   k  K t   N  t   k   K   k , t  ,  k , t    D .
(8)
В силу согласованности множества D множество K  t  непустое для каждого объекта

t T .

3. Определим разметку k : T  K со значениями
k   t   max k .
(9)
kK  t 
Введем обозначение
c  t, t   max max g   k , t  ,  k , t   , tt  
kK
k K
и докажем, что для любой пары t и t  соседних объектов для найденной разметки k
выполняется неравенство


g   k   t  , t  ,  k   t  , t   c  t , t   2 0 .
По определению (8) и (9) существует метка k  K , k  k


 t  , такая что

(10)

(11)
g   k , t  ,  k   t  , t   c  t , t    0 ,
и метка k   K , k   K

 t  , такая что

g   k   t  , t  ,  k , t   c  t , t    0 ,
и, конечно же, справедливо неравенство
g    k , t  ,  k , t    c  t, t  .

С учетом супермодулярности функции g запишем неравенство (6) в виде


g   k   t  , t  ,  k   t  , t  
(12)

9




 g   k , t  ,  k   t    g   k   t  , t  ,  k , t   g    k , t  ,  k , t   ,
подставим вместо слагаемых в правой части этого неравенства правые части неравенств (10),
(11), и (12) и таким образом доказываем справедливость неравенства


g   k   t  , t  ,  k   t  , t   c  t , t   2 0 .
(13)
Справедливой является следующая цепочка:
maxG  k  
k K T




 max  g  k  t  , t  ,  k  t  , t   max  g   k  t  , t  ,  k t  , t  
tt
k K T
k K T

tt

  c  t , t     g   k   t  , t  ,  k   t  , t   2 0  


tt 
tt 
 
 G k     2 0 .
Таким образом, для супермодулярных задач диффузия позволяет найти разметку, качество
которой отличается от наилучшего возможного качества не более, чем на 2     0 . Для
целочисленной весовой функции g оптимальная разметка может быть найдена точно. Для
этого нужно, чтобы

1
.
2 
4. Перестановочно супермодулярные задачи
Пусть g - весовая функция, указывающая для каждой дужки
g   k , t  ,  k , t   .
zt : K  1, 2,
Пусть
для
каждого
объекта
t
 k , t  ,  k , t
определена
ее вес
нумерация
, K , так что zt  k  - номер метки k в объекте t , причем
 k  k    zt  k   zt  k  .
Весовая
функция
g
называется
перестановочно
супермодулярной [8], если существуют такие номера zt  k  , t  T , k  K , что для каждой
пары tt   и каждой четверки меток k1 , k2 , k1, k2 , таких что, zt  k1   zt  k2  ,
zt  k1   zt  k2  выполняется неравенство
g   k1 , t  ,  k2 , t    g   k2 , t  ,  k1, t   
10
 g   k1 , t  ,  k1, t    g   k2 , t  ,  k2 , t   .
(16)
В случае, когда веса дужек не равны  , перестановочная супермодулярность
является конструктивно распознаваемым свойством весовой функции. В работе [8] указан
алгоритм полиномиальной сложности, который отвечает на вопрос о существовании
нумерации, удовлетворяющей (9), и указывает эту нумерацию, если она существует. В этом
случае, то есть когда веса дужек не равны  , решение любой перестановочно
супермодулярной задачи сводится к отысканию нужной нумерации и последующему
решению задачи, как супермодулярной. В общем случае, то есть когда веса дужек могут
принимать и значения  такой путь решения задач невозможен, так как в этом случае
алгоритмы распознавания перестановочной супермодулярности неизвестны.
Мы укажем алгоритм решения любой перестановочно супермодулярной задачи,
который
решает
задачу,
минуя
отыскание
нумерации,
преобразующей
исходную
перестановочно супермодулярную функцию в супермодулярную. Затем мы введем
незначительную модификацию в алгоритм, в силу которой алгоритм окажется способным
решать более широкий класс задач, а не только перестановочно супермодулярные.
Пусть g перестановочно супермодулярная функция, принимающая целые значения,
g  - ее эквивалент, полученный с помощью диффузии, несогласованность которого
  g     0 меньше, чем
1
. Если бы нумерация zt  k  , t  T , k  K , была бы
2 
известна, то можно было бы определить разметку k

подобно тому, как это выполнялось в
предыдущем разделе. А именно:

1. Определить согласованное подмножество D дужек, таких, что
g    k , t  ,  k , t    max g    l , t  ,  l , t     0 .
l,l 
2. Для каждого t  T определить множество


K  t   k  K t   N  t   k   K   k , t  ,  k , t    D .

3. Определить разметку k так, что
k   t   arg max zt  k  , t  T .
kK  t 
Для этой разметки справедливо, что
11
max  g   k  t  , t  ,  k  t  , t    g   k t  , t  ,  k t  , t    2    

k K
T
tt 

tt 
0
 1.
Учитывая, что все слагаемые в правой части этого неравенства – целые числа, получаем, что

найденная разметка k оптимальна.
Если
  g  
же нумерация
zt  k  , t  T , k  K , неизвестна, то из неравенства
1
непосредственно следует лишь вывод о качестве оптимальной разметки.
2  0
Саму оптимальную разметку следует находить по более сложному алгоритму.
Пусть t1 , t2 ,
, t T - произвольная упорядоченность объектов множества T , а
- последовательность подмножеств Ti  T , такая, что
T0 , T1 ,
, TT
Ti  Ti1
ti , i  1,
, T .


Для любой весовой функции g и любой вершины k , t

T0   и
функцию g   F g , k , t



 определим новую весовую
 так , что
g    k , t  ,  k , t     , если t   t , t  , а  k  , t     k , t  ,  k t 
 g   k , t  ,  k , t   в противном случае.
Преобразование весовой функции g в функции g  назовем
(17)
k , t 


- исключением
дужек.
Алгоритм решения перестановочно супермодулярной задачи с целочисленными весами
дужек состоит в следующем.
1. Определить порядок
t , t ,
1
2
, tT

просмотра объектов из T так, что ti  T ,
 i  j    ti  t j  .
2. Определить число
0 
1
.
2  1
3. Для исходной весовой функции g с помощью диффузии построить ее эквивалент
g1 , такой что   g1    0 .
4. Построить D1 - согласованное подмножество множества дужек D 0  g1  .
5. Определить наибольшее целое число A , не превосходящее число
12
 max max g   k , t  ,  k , t  
tt 
kK
k K
1
Комментарий. Число A есть качество искомой оптимальной разметки,


A  maxT  g  k  t  , t  ,  k  t  , t  .
k K
6. Для i  1, 2,
tt 
, T выполнить
6.1. Построить множество


K  ti   k  K t   N  ti   k   K   k , ti  ,  k , t    Di .
Комментарий. Значение k

 ti  искомой разметки принадлежит K  ti  .
6.2. Для каждой метки k  K  ti 
6.2.1. Преобразовать весовую функцию g i в g i в соответствии с формулой (17), то
есть выполнить  ki , ti  - исключение дужек.
6.2.2. С помощью диффузии получить функцию gi , эквивалентную g i , такую, что

  gi    0 .
6.2.3. Если
 max max g   k , t  ,  k , t    A ,
tt 
то определить k

 ti   ki

i
k
k
и перейти на 6.3; в противном случае продолжить выполнение
цикла 6.2 для очередной еще не рассмотренной метки из множества K  ti  .
Комментарий.
Если исходная функция g перестановочно супермодулярна, то
условие (18) выполнится по крайней мере для одной метки из K  ti  .
6.3. i  i  1 ; gi  gi 1  k  , Di  D 0  gi  .

Если i  T , продолжить цикл 6.
7. Завершить работу алгоритма.
Комментарий.

Метки k

 t1  , k   t2  ,

A  maxT  g  k  t  , t  ,  k  t  , t  .
k K
tt 
 
,k tT
образуют разметку с качеством
13
Мы видим, что для реализации указанного алгоритма совсем не обязательно знать ту
конкретную нумерацию zt  k  , t  T , k  K вершин, которая определяет перестановочную
супермодулярность решаемой задачи. Тем не менее, если на вход алгоритма подать
перестановочно супермодулярную задачу, то алгоритм ее гарантированно решает без знания
номеров zt  k  , t  T , k  K . Более того, алгоритм решает и некоторые задачи, не
являющиеся перестановочно супермодулярными. Это те задачи, в которых гарантируется
выход из цикла 6.2, то есть выполнение условия (18) по крайней мере для одной метки
k  K и для каждого объекта t  T . В силу этого алгоритм можно весьма просто
доопределить так, чтобы алгоритм завершил работу, если при обработке очередного объекта
ti условие (18) нарушается для всех меток k  K  i  . Завершение работы по этому условию
должно пониматься как отказ от решения задачи. Таким образом, областью определения
алгоритма становится множество всех возможных задач, и для каждой задачи, предложенной
для решения, алгоритм за конечное время выходит на одно из двух возможных завершений
работы. Одно из них понимается как отказ от решения предложенной задачи. При втором
завершении
результатом
работы
является
разметка,
гарантированно
являющаяся
оптимальной.
Таким образом, в области определения алгоритма (а это множество всех возможных
задач разметки), выделено подмножество задач, которое можно назвать областью его
компетентности, и для использования алгоритма вовсе нет необходимости подавать на его
вход только задачи из этого более узкого подмножества. На его вход можно подавать любые
задачи, и алгоритм сам определяет, входит ли предложенная задача в область его
компетентности или нет, и если да, то для задачи выдается гарантированно правильное
решение. При этом область компетентности алгоритма включает в себя все перестановочно
супермодулярные задачи и еще некоторые задачи, не являющиеся такими.
Заключение
Алгоритм диффузии пригоден для решения определенных подклассов задач
оптимальной разметки и может занять свое место среди других известных алгоритмов того
же назначения, обладая как преимуществами, так и недостатками по сравнению с ними.
Алгоритм диффузии решает приближенно, а при определенных, не слишком сильных
ограничениях и точно, все ациклические задачи и все супермодулярные задачи. При
решении именно этих задач алгоритм диффузии, конечно же, уступает специальным
алгоритмам, предназначенным только для этих задач. Для ациклических задач следует
14
отдать предпочтение алгоритмам динамического программирования (см. например, [12]), а
при решении супермодулярных задач более предпочтительно сводить их к известным
задачам о максимальном потоке в графе [3, 11]. Однако динамическое программирование
применимо только к ациклическим задачам, а к поиску максимального потока сводятся
только супермодулярные задачи. Сами эти два подхода по своей идеологии существенно
отличаются
друг
от
друга.
Алгоритм
же
диффузии
единообразно
решает
все
супермодулярные задачи и все ациклические, и еще многие другие, например,
перестановочно супермодулярные.
Неподвижной точкой алгоритма диффузии является согласованная весовая функция.
Это не отличает его от многих других известных алгоритмов, от самого раннего [10], до
более поздних [2, 7, 13], что определяет общие достоинства и общие недостатки всех этих
алгоритмов. Все они выполняют эквивалентное преобразование весовой функции и в
конечном итоге находят оценку сверху для качества оптимальной разметки, названной в
статье энергией весовой функции. Некоторые задачи преобразуются алгоритмом диффузии
так, что их энергия становится сколь-угодно близкой к качеству оптимальной разметки, а
иногда и равной этому качеству. Это – общее для всех этих алгоритмов достоинство. Их
общий недостаток состоит в том, что эквивалентное преобразование весовой функции в
согласованную функцию совсем не гарантирует получение наименьшего значения энергии.
Это значит, что существуют такие весовые функции, которые можно эквивалентно
преобразовать так, что их энергия становится равной качеству оптимальной разметки, но
этот наилучший эквивалент не будет найден алгоритмом диффузии, равно как и другими
родственными с ним алгоритмами [2, 7, 10, 13]. Более подробно этот недостаток рассмотрен
в работе [5], где предложены пути для его преодоления.
Выполненное исследование алгоритмов диффузии вводит их в ряд известных
алгоритмов решения оптимизационных задач структурного распознавания, каждый из
которых обладает своими преимуществами по сравнению с другими. Что касается
достоинств алгоритма диффузии по сравнению со всеми другими, то это, несомненно, его
исключительная наглядность и простота реализации.
15
Литература
1. М. И. Шлезингер. Синтаксический анализ двумерных зрительных сигналов в
условиях помех. Кибернетика, 4:113–130, 1976.
2. V. Kolmogorov.
Convergent
tree-reweighted
message
passing
for
energy minimization. IEEE Trans. Pattern Analysis and Machine Intelligence. – 2006. – 28. - № 10.
- Р. 1568-1583
3. Y. Boykov,
O. Veksler,
R. Zabih.
Fast
approximate
energy
minimization
via graph cuts. IEEE Trans. Pattern Analysis and Machine Intelligence. – 2001.- 23.- № 11. - P.
1222-1239
4. M. I. Schlesinger and B. Flach. Some solvable subclasses of structural recognition
problems. Czech Pattern Recognition Workshop. – Praha. – 2000. – P. 55-62.
5. Шлезингер М.И., Гигиняк В.В. Решение (max,+)-задач структурного распознавания с
помощью их эквивалентных преобразований //. Управляющие системы и машины.- 2007, №
1 , с. 3 - 15.
6. Шлезингер М.И., Гигиняк В.В. Решение (max,+)-задач структурного распознавания с
помощью их эквивалентных преобразований II //. Управляющие системы и машины.- 2007,
№ 2 , с. 5 - 17.
7. T. Werner. A Linear Programming Approach to Max-sum Problem: A Review. IEEE
Trans. on Pattern Recognition and Machine Intelligence (PAMI) 29(7), July 2007.
8. Dmitrij Schlesinger. Exact Solution of Permuted Submodular MinSum Problems.
A.L.Yuille et al. (Eds.): EMMCVPR 2007, LNCS 4679, pp. 28–38, 2007.
9. Фихтенгольц Г.М. Курс дифференциального и интегрального исчисления. Москва:
ФИЗМАТЛИТ, 2001. т.1 - 616с.
10. В.К. Коваль, М.И. Шлезингер. Двумерное программирование в задачах анализа
изображений. // Автоматика и телемеханика. - М. - 1976 . - № 8. - C. 149-168.
11. H. Ishikawa, D. Geiger. Segmentation by grouping junctions. // IEEE Conf. Comp. Vision
and Pattern Recogn. – 1998. – P. 125–131.
12. М.Шлезингер, В.Главач. Десять лекций по статистическому и структурному
распознаванию. – К.: Наук. думка, 2004. - 545 с.
13. M. Wainwright, T. Jaakkola, and A. Willsky. Exact MAP estimates by (hyper)tree
agreement. In S. T.S. Becker and K. Obermayer, editors, Advances in Neural Information
Processing Systems 15, pages 809–816. MIT Press, 2003.
16
Приложение
Диффузия осуществляет эквивалентное преобразование весовой функции в том
смысле, как это утверждает следующая лемма.
Лемма 1. Пусть g - весовая функция, а g  F  g  - результат ее преобразования

алгоритмом диффузии. В таком случае для любой разметки k : T  K выполняется
равенство
 g   k  t  , t  ,  k  t  , t     g   k  t  , t  ,  k  t  , t   .

tt
(1)
tt
Доказательство. Для доказательства леммы достаточно убедиться в справедливости
более сильного утверждения, что
k , t 


- диффузия есть эквивалентное преобразование


весовой функции при любых k  K , t  T .
Произвольно выберем некоторую пару
k , t 


и зафиксируем ее для дальнейшего

рассмотрения. Пусть g - весовая функция, а g - результат ее преобразования с помощью
k , t 

 k

- диффузии. Рассмотрим разметку k : T  K , такую, что k t
разметки равенство (1) выполняется, так как для любой дужки


входящей в эту разметку (см. определение k , t



. Для такой
  k  t  , t  ,  k  t  , t   ,
 - диффузии в основном тексте статьи),
выполняется равенство




g  k  t  , t  ,  k  t  , t   g   k  t  , t  ,  k  t  , t  .
   k , равенство (1) также выполняется.
Действительно, в соответствии с определением  k , t  - диффузии новые веса дужек вида
Для разметки k : T  K , такой, что k t




  k , t  ,  k , t , t  N t  , k   K , вычисляются по формуле




 

g   k  , t   ,  k , t   g  k  , t   ,  k , t   s  t  
где


s  t   max g  k  , t   ,  k , t  .
k K
1
N t 
 s  t  ,
 
t N t 
17
Веса всех остальных дужек остаются неизменными. Поэтому для такой разметки
справедлива следующая цепочка равенств:
 g   k  t  , t  ,  k  t  , t     g   k  t  , t  ,  k  t  , t   

tt 
tt 
 g   k , t  ,  k  t  , t    



 
 
t N t 
t N t 

1
 s  t   
  N t
 
t N t

t N t





g   k  , t   ,  k  t  , t  
 s  t   0 .
 
t N t 
Лемма доказана.
 k , t  -диффузия

Из того факта, что

является эквивалентным преобразованием



весовой функции при любых k  K , t  T , немедленно следует, что t -диффузия - тоже
эквивалентное преобразование, равно как и диффузия F . Очевидны также следующие два


свойства k , t

 -диффузии.


Лемма 2. Пусть g - весовая функция, полученная в результате применения k , t


-
диффузии к произвольной весовой функции g . В таком случае все величины


max g   k  , t   ,  k , t  , t   N  t   ,
k K
равны друг другу.
Лемма 3. Пусть
g  - весовая функция, полученная в результате применения t  -
диффузии к произвольной весовой функции g . В таком случае все величины


max max g   k , t   ,  k , t  , t   N  t   ,
kK
k K
равны друг другу.
Доказательство двух последних лемм непосредственно следует из определений  k , t 
- диффузии и t -диффузии и здесь не приводится.
Для любой весовой функции g определим ее характеристику E  g  , называемую
энергией функции, так, что
E  g    max max g   k , t  ,  k , t   .
tt 
kK
k K
(2)
18
Лемма 4. Пусть g - весовая функция, а F  g  - результат применения диффузии к

функции g . В таком случае
E  F  g   E  g  .
(3)
Доказательство. Для доказательства леммы достаточно доказать более сильное


утверждение, что для произвольного t  T энергия весовой функции при t -диффузии не
возрастает.
Пусть g


- весовая функция, полученная в результате применения t -диффузии к
функции g . Для доказательства (3) достаточно доказать, что

 
t N t 

 
max max g  k , t   ,  k , t  
k K
kK
так как веса дужек
 
t N t 


max max g   k , t   ,  k , t  ,
kK
k K
(4)
 k , t  ,  k , t , не вошедшие в левую и правую части неравенства (4), не



изменились при t -диффузии. Из определения t -диффузии для весов g и g справедлива
следующая цепочка:

 
t N t 


 
tN t 


max g   k , t   ,  k , t  
k K





 
t N t 


max  g  k , t   ,  k , t   max g  k , t   ,  l , t  
k K 
l K

1
N t 




max
g
k
,
t
,
l
,
t
 lK      
t N  t 




max g   k , t   ,  k , t  .

max g  k , t   ,  k , t  ,
k K
из которой следует, что
max
kK

 
t N t 


max g  k , t   ,  k , t   max
k K
kK
 
t N t 
k K
Для левой части (5) справедливо очевидное неравенство


(5)
19
max
kK

 
t N t 

 
max g  k , t   ,  k , t  
k K


max max g  k , t   ,  k , t  .
k K
kK
 
t N t 
(6)
Для правой части (5) справедливо равенство
max
kK

 
t N t 

 
max g   k , t   ,  k , t  
k K
 
t N t 
так как, согласно лемме 2, величина max g

k K


max max g   k , t   ,  k , t  ,
k K
kK
(7)
  k , t  ,  k , t  не зависит от t  . Из равенств

(5), (7) и неравенства (6) следует (4). Лемма доказана.
Для заданной весовой функции g и числа
  0 определено подмножество D  g 
так, что
D  g  
k, t  , k , t g k , t  , k , t  max g l, t  , l, t   
.
lK ,l K
Для заданной весовой функции g определена величина
(8)
  g  как минимальное число  ,
при котором подмножество D  g  содержит в себе согласованное подмножество дужек.
Лемма 5. Для любой весовой функции g , такой, что
  g   0 , имеет место либо
строгое неравенство
E  F  g   E  g  ,
либо строгое включение
D0  F  g    D0  g  .
Доказательство. 1. Докажем, что если
E  F  g   E  g  ,
(9)
D0  F  g    D0  g  ,
(10)
то имеет место включение
не обязательно строгое. Для этого достаточно доказать, что аналогичное свойство


выполняется при t -диффузии для произвольного t  T . Выберем произвольно некоторое
t   T и зафиксируем его для последующего рассмотрения. Обозначим g и g  весовые

функции до и после t -диффузии соответственно. Для доказательства включения (10)
20
необходимо доказать, что для любой дужки
 k , t  ,  k , t ,
для которой выполняется
равенство
g    k , t  ,  k , t    max max g    l , t  ,  l , t   ,
(11)
l K
lK
выполняется и равенство
g   k , t  ,  k , t    max max g   l , t  ,  l , t   .
(12)
l K
lK
2. Импликация (11), (12), конечно же, справедлива для тех дужек
 k , t  ,  k , t , для
которых t  t и t   t , так как по определению t -диффузии для таких дужек



g    k , t  ,  k , t    g   k , t  ,  k , t   .
3. Рассмотрим дужку вида
k , t  , k




, t   , t   N  t   , для которой выполняется
(11), то есть




g   k  , t   ,  k  , t    max max g   l , t   ,  l , t   .
l K
lK
(13)
Из этого равенства, конечно же, следует, что




max g   k  , t   ,  l , t    max max g   l , t   ,  l , t   .
l K
lK
l K
В силу лемм 2 и 3 из последнего равенства следует, что равенство



max g   k  , t   ,  k , t   max max g   k , t   ,  k , t 
k K
kK
k K

(14)
 .
справедливо для всех t   N t

  , так, что
Выберем метки k  t  , t   N t



k  t   arg max g   k  , t   ,  l , t  .
l
  можно выбрать k
При этом, естественно, в качестве k t


. Для меток, выбранных таким
образом, выполняется равенство

 
t N t 

 
g   k  , t   ,  k  t  , t  
 
t N t 


max max g   k , t   ,  l , t  .
lK
l K
(15)
21

4. В ходе доказательства леммы 1 было установлено, что t -диффузия является
эквивалентным преобразованием весовой функции, и поэтому

 
t N t 

  g   k , t  ,  k  t  , t   .
g   k  , t   ,  k  t  , t  


(16)
 
t N t 
5. Условие (9) обозначает, что

 
t N t 

 
max max g   l , t   ,  l , t  
l K
lK
 
t N t 


max max g  l , t   ,  l , t  .
l K
lK
(17)
Из равенств (15), (16) и (17) следует равенство
 g   k , t  ,  k  t  , t    


 
 
t N t 
t N t 


max max g  l , t   ,  l , t  .
l K
lK
которое возможно тогда и только тогда, когда равенство



g  k  , t   ,  k  t  , t   max max g  l , t   ,  l , t 
lK
l K
  , и в том числе для t
выполняется для всех t   N t



.
6. Таким образом доказано, что из равенства (13) следует равенство




g  k  , t   ,  k  , t    max max g  l , t   ,  l , t   ,
l K
lK
то есть доказано включение (10).
7. Докажем теперь, что из условий

  g   0 и E  F  g    E  g  следует строгое

включение D0 F  g   D0  g  .
 k , t  -диффузий, k  K , t  T . При этом, в
силу условия   g   0 , по крайней мере для одной пары  k , t  окажется, что существуют
такие два объекта t   N  t  и t   N  t  , что
8. Диффузия F есть суперпозиция








kK

kK


(18)


(19)
max g  k  , t   ,  k , t   max max g  k , t   ,  k , t 
k K


k K
и

max g  k  , t   ,  k , t   max max g  k , t   ,  k , t  .
k K
k K
22
k , t 

Если бы такой пары

не было, это бы обозначало, что множество D0  g  дужек
согласовано, что противоречит условию


9. Для пары k , t

 g  0.
 , удовлетворяющей условиям (18) и (19), определим метки k  t  ,
t  N  t   так, что




g  k  , t   ,  k  t  , t   max g  k  , t   ,  l , t  ,
l K
(20)


и обозначим g весовую функцию, полученную в результате t -диффузии над функцией g .
В силу (19) для дужки
 k , t  ,  k t , t окажется справедливым равенство






g  k  , t   ,  k  t  , t   max max g  k , t   ,  k , t  .
k K
kK
 ,
10. Для меток k  t  , t  N t

(21)
выбранных в соответствии с (20), выполняется
неравенство




g  k  , t   ,  k  t  , t   max max g  k , t   ,  k , t  ,
kK
k K
 

а в силу (18) для t   N t это неравенство выполняется строго




g  k  , t   ,  k  t  , t   max max g  k , t   ,  k , t  ,
kK
k K
и таким образом получаем
 g  k , t  , k t  , t   


 
 
tN t 
tN t 



max max g  k , t   ,  k , t  .
kK
k K
  , то есть

11. Поскольку E  g   E F  g  , то E  g   E g

 
tN t


kK
k K

  max max g  k , t  , k , t  .
max max g  k , t   ,  k , t  
(22)

 
tN t

kK

k K

(23)
12. В силу леммы 1 t -диффузия есть эквивалентное преобразование весовой функции,
и поэтому
 g  k , t  , k t  , t   

 
tN t 

 
tN t 


g   k  , t  , k t  , t  .
23
и с учетом (22) и (23)

 
tN t 

  g  k , t  ,  k t  , t  .
max max g   k , t   ,  k , t  
k K
kK



(24)
 
tN t 
13. В силу леммы 3 все слагаемые в левой части неравенства (24) равны друг другу. В
силу леммы 2 и с учетом (20) равны друг другу все слагаемые и в правой части (24). Поэтому
неравенство




g   k  , t   ,  k  t  , t   max max g   k , t   ,  k , t  ,
kK
k K
  , в том числе для
справедливо для всех t  N t

t   N  t   , для которого справедливо
равенство (см. (21)),




g  k  , t   ,  k  t  , t   max max g  k , t   ,  k , t  .
kK
k K
Лемма доказана.
Введем
Fi g,
обозначение
F i  g   F  F i 1  g   , i  0, 1,
Лемма 6. Несогласованность
i  0, 1,
,
так,
что
F0 g  g ,
а
. Пусть n    K  K .
  g  весовой функции равна нулю тогда и только тогда,
  g  .
когда E  g   E F
n
  g   0 , то E  g   E  F n  g   , так как в противном случае
Доказательство. Если
  g 
множество D0 F
n
оказалось бы пустым, а это невозможно по определению (8).
Достаточно очевидно, что если
  g   0 , то E  g   E  F  g   и   F  g    0 , а
  g   для любого i . Лемма доказана.
следовательно E  g   E F
i
Определим метрику на множестве весовых функций так, что расстояние
между функциями g и g  равно
  g , g   max max max g   k , t  ,  k , t    g    k , t  ,  k , t   .
tt 
kK
k K
  g , g 
24
Лемма 7. Энергия E  g  есть непрерывная функция весов g .
Доказательство. Лемму доказывает следующая цепочка равенств и неравенств.
E  g   E  g  

 max max g   k , t  ,  k , t   max max g   k , t  , k , t  
tt
k K
kK
k K
kK
  max max g   k , t  ,  k , t    max max g    k , t  ,  k , t   
tt
kK
k K
kK
k K
  max max max g   k , t  ,  k , t    max max g    k , t  ,  k , t    
tt 
kK
k K
kK
k K
  max max max g   k , t  ,  k , t    g    k , t  ,  k , t   
tt 
kK
k K
     g , g  .
Лемма доказана.
Лемма 7. Несогласованность
  g  есть непрерывная функция весов g .
Доказательство. 1. Пусть g и g  - две весовые функции, такие, что
  g , g    , и
следовательно,
  g   k , t  ,  k , t    g    k , t  ,  k , t    , tt   , k  K , k  K  .
По определению несогласованности
D  g   g  
(25)
  g  весовой функции множество
k, t  , k , t g k , t  , k , t  max max g l, t  , l , t    g 
lK
l K
.
содержит в себе согласованное подмножество дужек.
2. Из неравенства (25) следуют неравенства
max max g    l , t  ,  l , t    max max g   l , t  ,  l , t     , tt   .
lK
l K
lK
(26)
l K
Из этих же неравенств следует, что
g    k , t  ,  k , t    g   k , t  ,  k , t     , tt   , k  K , k  K  .
(25)
25
3. Из неравенств (26), (27) следует, что для любой дужки, для которой выполняется
неравенство
g   k , t  ,  k , t    max max g   l , t  ,  l , t      g  ,
l K
lK
выполняется неравенство
g    k , t  ,  k , t    max max g    l , t  , l , t      g   2 ,
lK
l K
и, таким образом, D  g   g   D  g 2  g  .
4. Поскольку множество D  g   g  содержит в себе согласованное подмножество
дужек, то множество
D  g 2  g  также содержит в себе это же согласованное
подмножество. Поэтому
  g     g   2 .
(28)
5. Точно так же, как было доказано неравенство (28), доказывается, что
  g     g   2 .
(29)
Из неравенств (28) и (29) следует, что
2    g     g   2 .
Лемма доказана.
Лемма 9. Веса F  g  являются непрерывной функцией весов g .
Доказательство. Поскольку диффузия есть последовательность конечного множества
 k , t  -диффузий, для доказательства леммы достаточно доказать непрерывность  k , t  



диффузии.
1. Пусть g1 и g 2 - весовые функции, полученные в результате
 k , t  -диффузии,


примененной к функциям g1 и g 2 соответственно, таким, что
g1   k , t  ,  k , t    g 2   k , t  ,  k , t     , tt   , k  K , k   K .
(30)
2. Пусть


s1  t   max g1  k  , t   ,  k , t  , t   N  t   ,
k K
(31)
26


s2  t   max g 2  k  , t   ,  k , t  , t   N  t   .
k K
(32)
Из (30) следует, что
s1  t   s2  t    , t   N  t   ,
(33)
(34)
1
1

s
t

s2  t    .




1




N  t  tN t 
N  t  tN t 


3. В соответствии с определением k , t

 -диффузии




(35)




(36)
g1  k  , t   ,  k , t   g1  k  , t   ,  k , t   s1  t   s1 , t   N  t   , k   K ,
g2  k  , t   ,  k , t   g2  k  , t   ,  k , t   s2  t   s2 , t   N  t   , k   K ,
где
s1 
1
N t


 s  t ,
 
t N t

1
s2 
1
N t

 s  t  ,

 
t N t 
2
4. С учетом неравенств (33) и (34) для любой дужки
  k , t  ,  k , t справедлива


следующая цепочка равенств и неравенств.




g1  k  , t   ,  k , t   g2  k  , t   ,  k , t  




  g1  k  , t   ,  k , t   g 2  k  , t   ,  k , t     s2  t   s1  t     s1  s2  






  g1  k  , t   ,  k , t   g 2  k  , t   ,  k , t     s1  t   s2  t    s1  s2   3 .


5. Для всех остальных дужек
 k , t  ,  k , t ,
не содержащих вершину
k , t 
справедливо неравенство
g1   k , t  ,  k , t    g 2   k , t  ,  k , t      ,




так как веса этих дужек в процессе k , t -диффузии не меняются. Лемма доказана.


27
Лемма 10. Пусть g - весовая функция, такая, что вес каждой дужки лежит в пределах
Пусть g  F
i
i
g   k , t  ,  k , t    M , tt   , k  K , k   K ,
(37)
g   k , t  ,  k , t    m , tt   , k  K , k   K .
(38)
 g  . В таком случае веса дужек   k , t  ,  k , t   лежат в пределах
g i   k , t  ,  k , t    M , tt   , k  K , k   K ,
(39)
g i   k , t  ,  k , t     m     1 M , tt   , k  K , k   K .
(40)
Доказательство.
1. Для доказательства (39) достаточно доказать, что
k , t  



диффузия не нарушает неравенства (37) при произвольном k  K , t  T . Выберем


произвольно k  K и t  T и зафиксируем их для дальнейшего рассмотрения. Пусть g и
g  - две весовые функции, полученные до и после  k  , t   -диффузии, причем для весов g
выполняется неравенство (37).




2. В соответствии с k , t -диффузией веса дужек определяются выражениями (35) и
(36), откуда следует, что


max g   k  , t   ,  k , t  
k K
1
N t



t N  t 


max g  k  , t   ,  k , t  .
k K
Отсюда, с учетом условия (37), следует, что неравенство


g   k  , t   ,  k , t   M
(41)
 
3. Веса дужек, не содержащих вершину  k , t  , также удовлетворяет неравенство (41),
так как веса этих дужек не меняются в процессе  k , t  - диффузии.


выполняется для всех дужек, содержащих вершину k , t .




4. Пусть g - весовая функция, для которой выполняются условия (37), (38), а
g i  F i  g  . Выберем произвольную дужку
 k , t  , k , t 
k  : T  K , такую, что k   t1   k1 , k   t2   k2 .
1
1
2
2
и произвольную разметку
28
5. Поскольку диффузия F выполняет эквивалентное преобразование весовой функции,

i
равно как и преобразование F , для разметки k выполняется равенство
 g   k  t  , t  ,  k  t  , t     g   k  t  , t  ,  k  t  , t   .
i
tt
(42)
tt
6. В силу условия (38) справедливо неравенство
 g   k  t  , t  ,  k  t  , t      m ,
tt 
из которого с учетом (42) следует неравенство
 g   k  t  , t  ,  k  t  , t      m .
i
(43)
tt
i
7. Поскольку для функции g доказано неравенство (41), то

tt\t1 ,t2 


g i  k  t  , t  ,  k  t  , t      1  M .
(44)
Вычитая (44) из (43), получаем
g i   k1 , t1  ,  k2 , t2       1  m     1  M .
Лемма доказана.
Теорема. Для любой весовой функции g
lim   F i  g    0 .
i 
Доказательство.
i  1, 2,
1. В силу леммы 10 элементы последовательности g i  F
i
g,
, принадлежат ограниченному множеству и поэтому содержит в себе
подпоследовательность gi j  , j  1,2,
, j  j  i  j   i  j  , имеющую предел lim gi j  .
j 
Покажем, что для любой такой подпоследовательности


 lim gi j   0 .
j 
2. Выберем произвольно подпоследовательность gi j  , j  1, 2,
(45)
, имеющую предел, и
зафиксируем ее для дальнейшего рассмотрения. Обозначим
g   lim gi j  .
j 
(46)
29
3. Для любого i  1, 2,
, и для любой разметки k : T  K справедлива цепочка
равенств и неравенств
E  gi    max max gi   k , t  ,  k , t   
k K
kK
tt 




  gi  k  t  , t  ,  k  t   , t     g  k  t  , t  ,  k  t   , t   
tt
tt


  min min g  k  t  , t  ,  k  t  , t     m ,
tt 
kK k K
(47)
где
m  min min min g   k , t  ,  k , t   .
tt kK k K
Равенство
 g   k  t  , t  ,  k  t  , t     g   k  t  , t  ,  k  t  , t   
tt
i
tt
в этой цепочке справедливо в силу леммы 1, а все остальные звенья этой цепочки очевидны.
4. В силу леммы 4 последовательность E  gi  , i  1, 2,
, есть невозрастающая, а в
силу (47) и ограниченная снизу последовательность. Следовательно, она имеет предел
E   lim E  gi  .
i 
Этот же предел имеет любая подпоследовательность последовательности E  gi  ,
i  1, 2,
, в частности, подпоследовательность gi j  ,
j  1, 2,
, выбранная в п. 2, и
подпоследовательность gi j n , где n    K  K ,
 


E   lim E gi j  , E   lim E gi j n .
i 
i 
Следовательно,
  

lim  E gi j   E g i j n   0 ,

i  
или, в другой записи
    
lim  E gi j   E F n gi j    0 .
i  

(48)
30
5. Лемма 7 утверждает, что E  g  есть непрерывная функция весов g , а лемма 9
утверждает, что F  g  есть непрерывное преобразование весов g . Следовательно, величина
E  g   E  F n  g   есть непрерывная функция весов и поэтому

    

E  g    E F n  g    lim  E gi j   E F n gi j    0 .
i  

Отсюда в силу леммы 6 следует
  g   0 ,
(49)
что доказывает равенство (45).
 i    gi  не может превосходить величину
6. В силу леммы 10 величина
   max max max g   k , t  ,  k , t    min min min g   k , t  ,  k , t  
tt  kK k K
 tt kK k K

и поэтому для каждого i существует верхний предел
si  sup  j .
j i
Последовательность
si
есть
монотонно
невозрастающая
последовательность
неотрицательных чисел и поэтому имеет предел
s  lim si .
i 
7. В силу известной теоремы анализа [9] для любой такой последовательности
существует
i  k  ,
подпоследовательность
k  1, 2,
,
такая,
что
k  k   i   k   i   k  , и такая что
lim  i k   lim sup  j  s ,
k 
i 
j i
или, в другой записи,


s  lim  gi k   0 .
k 
Равенство
(50),
естественно,
справедливо
последовательности g i k  , k  1, 2,
j  1, 2,
и
(50)
для
любой
подпоследовательности
, в частности такой подпоследовательности gi k  j  ,
, j  j   k  i   k  j  , для которой существует предел
31
g   lim gi k  j  ,
j 
или, в более краткой записи
g   lim gi j  ,
j 
где
i  j   i  k  j   .
Сходящаяся
подпоследовательность
j  1, 2,
gi k  j  ,
гарантировано существует, потому что последовательность g i k  , k  1, 2,
,
, ограничена
(лемма 10).
Таким образом, доказано существование последовательности gi j  , j  1, 2,
, имеющей
предел
g   lim gi j  ,
(51)
j 
и такой, что
 
lim  gi j   lim sup   g j  .
j 
i
(52)
j i
8. Ранее доказанное равенство (45) справедливо для любой последовательности gi j  ,
j  1, 2,
, имеющей предел, в том числе и для последовательности, для которой
 
выполняется (51) и (52). В силу леммы 8 из неравенства (45) следует lim  gi j   0 , и с
j
учетом (52),
lim sup   g j   0 .
i 
Для каждого i  1, 2,
j i
выполняется
0  lim   g j   sup   g j  ,
i 
j i
и поэтому из (53) следует
lim   gi   0 .
i 
Теорема доказана.
В печать
На перевод на английский язык согласен
(53)
32
АНАЛИЗ АЛГОРИТМОВ ДИФФУЗИИ ДЛЯ РЕШЕНИЯ
ОПТИМИЗАЦИОННЫХ ЗАДАЧ СТРУКТУРНОГО
РАСПОЗНАВАНИЯ
М.И.Шлезингер, К.В.Антонюк
(Киев)
Аннотация
Выполнен формальный анализ алгоритма, известного под названием диффузии, который
используется в структурном распознавании изображений, хотя мало исследован
теоретически. Исследована пригодность алгоритма для оптимизации функции большого
количества дискретных аргументов, представленной в виде суммы слагаемых, зависящих
только от двух аргументов. Доказано, что при определенном условии останова алгоритма он
обеспечивает приближенное решение определенных подклассов задач указанного формата с
любой наперед заданной ненулевой погрешностью. Множество задач, приближенно
решаемых алгоритмом, включает в себя все так называемые ациклические задачи и
супермодулярные задачи, для которых сейчас известны алгоритмы решения, и некоторые
другие задачи, алгоритмы решения которых до настоящее времени не были известны.
Ключевые слова: структурное распознавание, разметки, дискретная оптимизация,
перестановочная супермодулярность.
АНАЛІЗ АЛГОРИТМІВ ДИФУЗІЇ ДЛЯ РОЗВ”ЯЗКУ
ОПТИМІЗАЦІЙНИХ ЗАДАЧ СТРУКТУРНОГО
РОЗПІЗНАВАННЯ
М.І.Шлезінгер, К.В.Антонюк
(Київ)
Анотація
Виконано формальний аналіз алгоритму, відомого у структурному розпізнаванні як алгоритм
дифузії, який мало досліджений теоретично. Досліджено придатність алгоритму для
оптимізації функції від багатьох дискретних аргументів, поданої як сума доданків, залежних
лише від двох аргументів. Доведено, що при певній умові зупинки алгоритм дає наближений
розв’язок певних підкласів задач вказаного формату з довільною заздалегідь заданою
ненульовою похибкою. Множина задач, що наближено розв’язується алгоритмом, містить у
собі всі так звані ациклічні задачі і супермодулярні задачі, для яких зараз відомі алгоритми
розв’язку, так і деякі інші задачі, для яких алгоритми розв’язку не були відомі.
Ключові слова: структурне розпізнавання, розмітки, дискретна оптимізація, перестановочна
супермодулярність.
33
DIFFUSION ALGORITHMS AND STRUCTURAL RECOGNITION
OPTIMIZATION PROBLEMS
М.І.Schlesinger, К.V.Antoniuk
(Кiev)
Summary
A formal analysis of so-called diffusion algorithms is performed, which are frequently used in
structural recognition. However, they are rather poorly theoretically studied. The algorithms are
analyzed from the viewpoint of their ability to optimize a function of many discrete variables,
which is presented as a sum of many terms, each of them depending only of two variables. It is
proved that at the certain stop condition the diffusion algorithm solves approximately certain
subclasses of mentioned optimization problems with any pre-defined non-zero inexactness. A
domain of problems, which are solvable with diffusion algorithms, includes all so-called acyclic or
supermodular optimization problems as well as some other problems, which solution algorithms
were not known for.
Key words: structural recognition, labeling, discrete optimization, permuted supermodularity.