Методы согласованного отбора признаков для классификации
advertisement
МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ РОССИЙСКОЙ ФЕДЕРАЦИИ ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ «САМАРСКИЙ ГОСУДАРСТВЕННЫЙ АЭРОКОСМИЧЕСКИЙ УНИВЕРСИТЕТ ИМЕНИ АКАДЕМИКА С.П. КОРОЛЁВА (НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ)» ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ УЧРЕЖДЕНИЕ НАУКИ ИНСТИТУТ СИСТЕМ ОБРАБОТКИ ИЗОБРАЖЕНИЙ РОССИЙСКОЙ АКАДЕМИИ НАУК На правах рукописи Гайдель Андрей Викторович Методы согласованного отбора признаков для классификации полутоновых диагностических изображений 05.13.17 – Теоретические основы информатики Диссертация на соискание ученой степени кандидата технических наук Научный руководитель д.т.н., доцент А. Г. Храмов Самара – 2015 2 Оглавление ВВЕДЕНИЕ .................................................................................................................. 4 ГЛАВА 1. Задача автоматического формирования признаков ............................ 18 1.1. Постановка задачи распознавания образов ............................................... 18 1.2. Критерии качества системы распознавания .............................................. 21 1.3. Постановка и подходы к решению задачи построения признаков ......... 35 1.4. Задачи анализа биомедицинских изображений ........................................ 39 1.5. Текстурные признаки на изображениях .................................................... 42 1.6. Оптимизация направления для текстурных признаков ........................... 53 1.7. Экспериментальное исследование оптимизации направления для текстурных признаков .............................................................................................. 58 1.8. Выводы .......................................................................................................... 66 ГЛАВА 2. Разработка методов построения полиномиальных признаков .......... 68 2.1. Полиномиальные признаки ......................................................................... 68 2.2. Ограничения на полиномиальные признаки ............................................. 70 2.3. Критерии качества полиномиальных признаков ...................................... 77 2.4. Экспериментальное исследование качества квадратичных признаков . 84 2.5. Устойчивость алгоритмов распознавания при автоматическом построении признаков .............................................................................................. 91 2.6. Выводы .......................................................................................................... 99 ГЛАВА 3. Модификации и приложения методов построения признаков ........ 101 3.1. Эффективный алгоритм вычисления признаков, основанных на длинах серий ............................................................................................................ 101 3 3.2. Метод случайного поиска для глобальной оптимизации сложных функций одной переменной ................................................................................... 105 3.3. Гибридный метод глобальной оптимизации сложных функций .......... 112 3.4. Выделение области интереса на биомедицинских изображениях........ 116 3.5. Программное средство для обработки и анализа биомедицинских изображений ............................................................................................................ 128 3.6. Выводы ........................................................................................................ 134 ЗАКЛЮЧЕНИЕ ....................................................................................................... 136 СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ .......................... 138 СПИСОК ЛИТЕРАТУРЫ....................................................................................... 142 Приложение А. Акт о внедрении результатов диссертации............................... 153 Приложение Б. Свидетельства о регистрации программы для ЭВМ ................ 154 4 ВВЕДЕНИЕ Работа посвящена созданию новых методов автоматического формирования информационных признаков, предназначенных для анализа и распознавания диагностических биомедицинских изображений. Актуальность темы. В настоящее время в отечественной медицинской практике для радиологической диагностики системных заболеваний затруднено распространение распространённых дорогостоящего оборудования, радиологических высококвалифицированные медицинские а изображений работники. для анализа привлекаются Это приводит к запоздалой постановке диагноза некоторых заболеваний, что осложняет дальнейшее лечение, в то время как существуют методы предупреждения развития этих заболеваний в случае постановки диагноза на ранних стадиях. Например, такие диагнозы, как остеопороз и остеопения, зачастую ставятся уже после переломов костей. Идея данной работы заключается в установлении зависимости между заболеваниями человека и диагностическими изображениями тканей его органов. Понимание такой зависимости позволит разработать соответствующие методы автоматизированной обработки, распознавания и анализа изображений, ориентированных на диагностические медицинские исследования. Для описания изображений традиционно используются информационные признаки, представляющие собой численные значения, измеряемые по цифровым изображениям и существенно различающиеся для изображений нормальных тканей и тканей с патологией. Очевидно, что для разных заболеваний эти признаки и способы их вычисления могут различаться, в зависимости от особенностей диагностируемой патологии. При этом какиелибо общие подходы к автоматическому построению признаков, учитывающие эти особенности, изучены не достаточно полно, так что обычно на практике эвристически выбираются уже известные признаки. 5 Множество общих способов обработки и анализа биомедицинских изображений, включая текстурный анализ и способы автоматической диагностики, можно найти в [1]. Описанные признаки включают моментные статистические характеристики, матрицы вхождений Харалика, впервые описанные в [2], а также спектрально-корреляционные характеристики, фрактальные признаки и т. д. Обширный спектр самых разных методов анализа биомедицинских изображений с подробным описанием подходов к решению конкретных практических задач также можно найти в [3]. Там же описана интересная модель описания изображения, называемая «полем направлений», которая учитывает локальные направления изменения яркости на изображении. Существует ряд работ, в которых текстурный анализ используется для решения задач диагностики радиологических изображений, в том числе непосредственно тех задач, которые решаются в настоящей работе. В [4] для диагностики остеопороза по рентгеновским изображениям шейки бедра используются маски Лавса [5] и аппарат математической морфологии, а в качестве референтной величины используется индекс Сингха, полученный путём экспертной оценки. Максимальное значение коэффициента корреляции с индексом Сингха для отдельных наборов признаков и отдельных областей интереса составило от 0,79 до 0,84. Похожим образом в [6] с индексом Сингха сравниваются текстурные признаки, основанные на дискретном вейвлет-преобразовании. Никакого численного анализа данных в этой работе не проводилось, однако авторами обнаружена тенденция падения энергии вейвлет-образов изображений патологии. Позже корреляция текстурных признаков, основанных на вейвлетах Хаара, с показателем минерализации костной ткани шейки бедра исследовалась в [7]. Были получены различные значения коэффициента корреляции вплоть до 0,80. В [8] для диагностики того же заболевания, но уже не только по рентгеновским изображениям шейки бедра, но также пяточной кости и 6 поясничных позвонков используется визуальный анализ геометрии Фурьеобразов этих изображений. Для анализа данных используются ROC-кривые, и площадь под кривой составляет от 0,62 до 0,77 для различных областей интереса. В [9] качество микроархитектоники костной ткани оценивается по рентгеновским изображениям позвонков с помощью простейших статистик первого и второго порядка. Наибольший коэффициент корреляции с минеральной плотностью костной ткани составил 0,86, а площадь под ROCкривой – 0,78. Ранее морфометрические параметры изображений позвонков, полученных в результате компьютерной томографии (КТ), исследовались в отечественной работе [10]. Коэффициенты корреляции между параметрами, полученными в результате цифровой обработки томографических изображений и гистоморфометрии трабекулярной части исследуемых образцов костной ткани составили от 0,71 до 0,76. В работе [11] рентгеновские изображения лучевой и большеберцовой костей описываются с помощью фрактального параметра H mean , связанного с фрактальной размерностью, и по этому описанию делается вывод о наличии хронических заболеваний почек. Коэффициент корреляции Пирсона параметра H mean с радиальным количеством трабекул составил 0,47. Более подробно использование этого параметра в качестве информационного признака для решения задач компьютерной диагностики радиограмм обосновано в [12]. Этот же фрактальный параметр сравнивается с текстурными признаками на основе матриц вхождений [2] и длин серий [13] в работе [14]. Наибольшая площадь под ROC-кривой в этом исследовании составила 0,72. В подавляющем большинстве описанных выше работ признаки выбирались исключительно эвристически без каких-либо обоснований, почему использовались именно такие признаки, и не использовались никакие другие. Выбор признаков по сути не осуществлялся вовсе: исследование заключалось в анализе применимости того или иного набора признаков для конкретной 7 прикладной задачи. Тем не менее, необходимость в отборе группы наиболее эффективных признаков, бесспорно, существует, ведь использование большого количества признаков вычислительно трудоёмко, а при исследовании небольшого числа признаков неизвестно, насколько эффективны для данной задачи другие признаки. Кроме того, известно, что такое преобразование признакового пространства, как отбор признаков, может приводить к улучшению качества классификации. К сожалению, имеются доказательства, подтверждающие NP-сложность задач отбора признаков в большинстве известных постановок [15]. В [16] предлагается эвристический метод отбора и упорядочения информационных признаков, основанный на критерии дисперсионного анализа. Метод позволяет существенно сократить количество признаков путём добавления в эффективную группу только признаков с высоким значением критерия дискриминантного анализа. В качестве приложения метода приводится система распознавания личности по изображениям. В [17] в процессе решения задачи диагностики нарушений ходьбы человека по измерениям специальных датчиках на ногах сравниваются 4 метода отбора признаков: — использующий в качестве целевой функции отношение сигнал-шум, — похожий на первый, но использующий также корреляционную матрицу, — использующий информацию об индивидуальной ошибке классификации для каждого признака в отдельности, — метод главных компонент. В качестве классификатора использовался метод опорных векторов. В результате экспериментов над реальными данными получены оценки вероятности правильной классификации от 0,79 до 0,94 для группы из четырёх лучших признаков. Гибридный алгоритм отбора признаков, сочетающий несколько разнородных этапов, рассматривается в [18]. В качестве целевой функции 8 используется площадь под ROC-кривой, но также учитывается коэффициент корреляции Пирсона между признаками. Для различных наборов данных площадь под ROC-кривой составляет от 0,77 до 1,00, что во всех случаях превосходит прямое использование компонентов алгоритма. В работе [19] для отбора информационных признаков предлагается использовать новый, во многом эвристический алгоритм, названный алгоритмом эффективной дальности. Для каждого признака индивидуально рассчитывается, насколько внутриклассовые распределения накладываются друг на друга, и, исходя из этого, принимается решение о включении этого признака в число эффективных признаков. Предложенный метод пробуется на реальных данных с информацией о человеческих генах для диагностики ряда генетических заболеваний и достигает достоверности распознавания в 0,99 на некоторых наборах данных. В [20] предлагается метод отбора информационных признаков для классификации событий в электрической сети. В этой работе с помощью алгоритма априори выбирается группа признаков, наиболее часто попадающих в один и тот же класс при кластеризации по методу k внутригрупповых средних. Доля правильных классификаций для этой задачи достигает 100 % и в среднем составляет 0,99. В работе [21] для отбора признаков с одновременной классификацией используется генетический алгоритм с целевой функцией, основанной на байесовской сети. Тестирование полученного алгоритма на стандартных наборах эталонных данных показало вероятность правильной классификации вплоть до 0,99, что, тем не менее, превосходит классификацию на полном наборе признаков лишь в вычислительной сложности, но не в достоверности распознавания. Специфический вариант метода дифференциальной эволюции для отбора информационных признаков предлагается и исследуется в [22]. В качестве целевой функции для минимизации используется обычная доля ошибок 9 классификации. Оценка вероятности правильной классификации для некоторых наборов данных достигает 1,00, причём конкурирующие алгоритмы, включающие муравьиный алгоритм и генетический алгоритм, незначительно уступают алгоритму, предложенному авторами работы. В описанных выше работах проводится отбор наилучшего подмножества из заданного множества признаков. Однако для некоторых задач, например, для задач обработки и анализа изображений, множество информационных признаков изначально вовсе не определено. Разумеется, на практике обычно подбирается ряд уже известных признаков, хорошо зарекомендовавших себя для решения подобных задач и, в лучшем случае, уже среди них производится отбор. Новые же признаки, как правило, строятся исключительно из эвристических соображений, опираясь на сведения о том, как эксперт производит визуальную оценку таких изображений. В этой связи возникает задача автоматического построения новых признаков, пригодных для решения конкретной задачи. Методы такого построения были бы ещё более общими, чем методы отбора признаков, и позволяли бы решать большинство прикладных задач распознавания образов без участия экспертов. К сожалению, даже формулировка задачи построения признаков уже вызывает определённые трудности, но, тем не менее, имеется ряд работ, посвящённых этой теме. В первую очередь можно использовать для построения признаков генетическое программирование, построив дерево вычислений из примитивных признаков и операций, как это сделано в [23]. В качестве целевой функции авторы работы используют внутриклассовую энтропию векторов признаков, отстающих от внутриклассового математического ожидания не более чем на три среднеквадратических отклонения, что позволяет строить признаковое пространство независимо от классификатора. Эксперименты на различных наборах данных показали среднее уменьшение размерности векторов признаков на 66 % и среднее уменьшение ошибки распознавания на 31 %. 10 Позже генетический алгоритм использовался в работе [24] для построения информационных признаков с целью оптимизации хранения информации в реляционных базах данных. Исследовались различные целевые функции, основанные на количестве информации и энтропии, а также специфическая мера качества кластеризации. Достоверность предсказания для различных наборов данных составила от 75 % до 87 %. В [25] предлагается комплексный алгоритм построения новых признаков путём применения различных операторов к уже имеющимся признакам. Алгоритм включает принцип «разделяй и властвуй», построение локальнооптимальных признаков для подзадач и взвешивание построенных признаков исходя из их собственной информации. В работе отмечено, что экспериментальная проверка показала превосходство предлагаемого алгоритма над классификацией по исходному набору признаков в достоверности распознавания на 9 % и в площади под ROC-кривой на 28 %. В работе [26] новые признаки строятся, как наборы последовательных преобразований области интереса исходного изображения, причём и сами преобразования, и искомая область выбираются генетическим алгоритмом. Целевая функция, которую оптимизирует генетический алгоритм, основана на доле правильных распознаваний, причём под правильным распознаванием понимается так же и правильный выбор области локализации распознаваемого объекта. Классификация осуществляется с помощью простейшего линейного перцептрона. Достоверность распознавания для построенных признаков на различных наборах реальных изображений составляет от 0,99 до 1,00. Построение признаков для классификатора, организованного по принципу голосования, рассматривается в [27]. Новые признаки строятся, как декартово произведение пар неэффективных с точки зрения индивидуальных голосов исходных признаков. Качество отдельного признака оценивается как разница между числом правильных и неправильных голосов этого признака. При тестировании на реальном наборе данных, представляющим собой 11 финансовые отчёты турецких банков, построенные признаки показали достоверность классификации в 0,91, что превосходит все рассмотренные авторами аналоги. В [28] разрабатываются и исследуются два не зависящих от классификатора алгоритма построения булевых информационных признаков из набора заранее заданных примитивных булевых признаков. В первом алгоритме на каждом шаге путём кластеризации в поисках максимальной внутриклассовой дисперсии строится дерево, узлами которого являются кластеры из признаков, после чего новые признаки получаются путём конъюнкции соседних листьев дерева. Во втором алгоритме также применяется жадная эвристика, отыскивающая наиболее коррелирующие признаки и заменяющая их на конкатенации этих признаков и их отрицаний. Авторы вводят два критерия качества набора признаков, один из которых основан на общей корреляции между признаками, а другой – на сложности уже построенного признакового пространства, и используют принцип эффективности по Парето, чтобы балансировать между этими критериями. Однако качество классификации реальных данных с помощью построенных признаков в работе не исследуется. Во всех описанных работах новые признаки строятся на основе уже имеющихся примитивных признаков путём применения различных операторов, как правило, случайным образом. Однако в случае обработки сложных объектов распознавания, таких как крупные изображения, примитивные признаки могут отсутствовать, так как затруднительно считать отдельными примитивными признаками миллионы отсчётов изображения в силу того, что работа с векторами признаков такой размерности представляет огромные вычислительные сложности. Поэтому необходимо разработать специфические для изображений методы построения признаков по обучающей выборке, не опирающиеся на уже имеющиеся признаки. 12 Таких работ не слишком много, но имеется цикл статей по построению эффективных линейных локальных признаков изображений под авторством В. В. Мясникова. Предпосылками для них послужили работы [29] и [30], в которых рассматривается общая задача синтеза эффективного алгоритма вычисления свёртки сигнала, а также её решения, порождаемые обобщёнными дискретными сплайнами. В работах представлены конкретные варианты алгоритмов и теоретически показана их наивысшая вычислительная эффективность в своём классе. В [31] разработанные алгоритмы вычисления свёртки используются для построения линейных локальных признаков изображений и других сигналов. В работе показано, что импульсная характеристика соответствующих линейных преобразований должна соответствовать определённой структуре, а также приведены некоторые частные случаи таких структур. Эффективность признаков опять же рассмотрена в основном в вычислительном смысле. Устойчивость предложенных алгоритмов исследуется двумя способами в работе [32]. Также в этой работе даны рекомендации по выбору параметров синтеза алгоритмов свёртки, обеспечивающие устойчивость построенных алгоритмов. В [33] авторы сравнивают эффективность численных методов оптимизации для решения задачи построения линейных локальных признаков эффективных не только с точки зрения вычислительной сложности, но так же и с точки зрения критерия качества прикладной задачи. Рассматриваются три численных метода оптимизации: псевдоградиентный алгоритм, генетический алгоритм и алгоритм имитации отжига, а в качестве целевой функции выступает гибридная величина, учитывающая коррелированность импульсных характеристик и точность представления сигналов с их помощью. Также для оценивания эффективности построенных признаков в работе используются различные критерии качества, такие как динамический диапазон импульсной характеристики, число обусловленности её корреляционной матрицы, норма 13 Гильберта-Шмидта, расстояние алгоритм существенное показал Махаланобиса и другие. превосходство над Генетический рассмотренными аналогами. В более поздней работе [34] сравнивается эффективность двух алгоритмов построения линейных локальных признаков: с отдельными алгоритмами вычисления каждого признака и с единым алгоритмом совместного вычисления всех признаков. В качестве критерия эффективности кроме вычислительной сложности используется так же целевая функция из работы [33]. Рассматриваемые алгоритмы показывают сравнимую эффективность в различных ситуациях. Тем не менее, в обозначенных работах исследуются лишь признаки, представляющие собой линейные преобразования исходных сигналов, тогда как взаимосвязь между отсчётами сигнала должны лучше описывать нелинейные преобразования, например, квадратичные. Также основной упор делается на вычислительную эффективность алгоритмов построения и расчёта признаков, а для обеспечения оптимальности критерия качества прикладной задачи предлагается использовать численные методы оптимизации. Таким образом, остаётся актуальной задача построения эффективных информационных признаков по обучающей выборке, обеспечивающих высокое качество распознавания признакового пространства. Целью работы является разработка и исследование математических методов автоматического отбора информационных признаков, согласованных с текстурными свойствами полутоновых диагностических изображений. В соответствии с поставленной целью сформулированы следующие основные задачи диссертации: 1. Разработать математический метод согласования направленных текстурных признаков с текстурными свойствами изображений по критерию качества признакового пространства и исследовать его эффективность для 14 прикладных задач распознавания полутоновых диагностических изображений. 2. Разработать полиномиальные информационные признаки и методы их согласования с текстурными свойствами полутоновых диагностических изображений. Исследовать эффективность распознавания с помощью таких признаков. 3. Исследовать вычислительную устойчивость оператора вычисления квадратичных признаков. Исследовать влияние шума на изображениях на вероятность их верного распознавания при использовании направленных текстурных признаков и при использовании квадратичных признаков. 4. Исследовать эффективность различных критериев качества признакового пространства для различных прикладных задач согласованной классификации полутоновых диагностических изображений. Определить наиболее эффективные алгоритмы оптимизации параметров информационных признаков. 5. Разработать метод автоматического выделения области интереса на полутоновых диагностических изображениях, использующий сведения о текстурных характеристиках областей интереса изображений из обучающей выборки. Научная новизна работы состоит в следующих впервые полученных результатах. 1. Предложен математический метод согласования направленных текстурных признаков с текстурными свойствами полутоновых изображений, заключающийся в оптимизации угла поворота изображения по критерию качества признакового пространства. 2. Разработан математический метод согласования квадратичных полиномиальных признаков, основанный на автоматической настройке коэффициентов при одночленах, обеспечивающих оптимум критерия качества признакового пространства. 15 3. Исследована устойчивость оператора вычисления квадратичных признаков для ограниченных сигналов. Показано, что оптимальные квадратичные признаки являются более устойчивыми к шумам на изображениях, чем оптимальные направленные признаки. 4. Для каждой прикладной задачи медицинской диагностики определены алгоритмы оптимизации и критерии качества признакового пространства, наилучшие по критерию достверности распознавания. 5. Предложен метод автоматического выделения области интереса на диагностических изображениях, основанный на последовательном наращивании области и отличающийся способностью одновременно учитывать её текстурные, топологические и геометрические характеристики. Практическая значимость работы состоит в возможности использовать разработанные математические методы и программные средства в клинической практике для автоматизации диагностики остеопороза и остеопении по рентгеновским изображениям костной ткани, различных нефрологических заболеваний по ультразвуковым изображениям почек, а также хронической обструктивной болезни лёгких по изображениям компьютерной томографии. Акт о внедрении результатов диссертационной работы приведён в приложении А. Достоверность корректностью полученных математических результатов выкладок и подтверждается использованием квалифицированных экспертных оценок для проведения вычислительных экспериментов. Для всех оценок вероятностей ошибочного распознавания приведены соответствующие доверительные интервалы с уровнем значимости 0,05. Авторский вклад в работу является определяющим. Все изложенные в работе результаты получены автором лично. 16 Методология и методы исследования. В диссертационной работе используются методы распознавания образов, математические методы обработки изображений, теория вероятностей и математическая статистика, методы оптимизации, теория алгоритмов. В ходе выполнения диссертации разработаны алгоритмы решения поставленных задач, а также информационные технологии и программные средства, реализующие эти алгоритмы. Все результаты подтверждены в ходе вычислительных экспериментов на наборах реальных биомедицинских изображений. Основные положения, выносимые на защиту: 1. Математический направленных метод согласования признаков с текстурными направления вычисления свойствами полутоновых изображений, основанный на оптимизации угла поворота по критерию качества признакового пространства, обеспечивает снижение вероятности ошибочного распознавания. 2. Квадратичные полиномиальные признаки, согласующиеся с текстурными свойствами полутоновых изображений, обеспечивают дополнительное снижение вероятности ошибочного распознавния по сравнению с использованием согласованных направленных признаков. 3. Оператор вычисления квадратичных признаков является вычислительно устойчивым для ограниченных сигналов. Достоверность распознавания диагностических изображений менее подвержена воздействию шумов при использовании квадратичных признаков, чем при использовании направленных признаков. 4. Алгоритм имитации отжига является наиболее эффективым алгоритмом оптимизации для согласования направленных признаков, а метод случайного поиска является наиболее эффективным для согласования квадратичных признаков. Наиболее эффективные критерии качества признакового пространства в среднем по всем задачам основаны на разделимости признакового пространства. 17 5. Метод автоматического выделения области интереса, согласующийся с текстурными, геометрическими и топологическими характеристиками областей интереса для заданной обучающей выборки полутоновых диагностических изображений, позволяет кроме дополнительной автоматизации процесса диагностики дополнительно снизить оценку вероятности неверного распознавания. Апробация работы. Результаты работы докладывались на 2 международных конференциях: 1. The 11th International Conference on Pattern Recognition and Image Analysis: New Information Technologies. Samara, Russia, September 23-28, 2013. 2. XII Королёвские чтения: Международная молодёжная научная конференция. Самара, 1-3 октября 2013 года. Публикации. Основные результаты диссертации опубликованы в 6 статьях в изданиях, рекомендованных ВАК РФ, а также в материалах 2 международных научных конференций. 18 ГЛАВА 1. Задача автоматического формирования признаков 1.1. Постановка задачи распознавания образов Пусть распознаванию подлежат объекты из множества Ω , разделённого на L классов с помощью разбиения Δ Ωl l 1,2,, L , которое отвечает обычным свойствам разбиения: L — Ω l Ω, l1 — i j : Ωi Ω j . Обозначим за : Ω Δ идеальный оператор распознавания, который отображает объект Ω l в его класс Ω l . Решить задачу распознавания, значит : Ω Δ , который также сопоставляет объекту его построить оператор класс, но использует при этом ограниченную информацию об объектах распознавания. В частности, он уже не владеет информацией о классе всех объектов Ω . В чуть более широком смысле эти операторы можно называть системами распознавания. По наличию априорной информации об объектах распознавания и их классах системы распознавания можно разделить на три группы [35]. 1. Системы без обучения – это системы, каким-то образом владеющие информацией (возможно, ошибочной) о классе всех возможных объектов распознавания. 1.1. Эвристические системы распознавания – системы, основанные не на математическом аппарате, а на опыте решения соответствующей задачи распознавания человеком. Обычно строятся на вычислении каких-нибудь специфических для объектов из данной предметной области свойств и принятии решений, исходя из этих свойств [36]. Нужно отметить, что такие системы находят широкое применение в обработке биомедицинских изображений. 19 1.2. Системы, располагающие полной информацией о вероятностном распределении объектов распознавания в их классах. Такие системы могут минимизировать вероятность ошибки или более гибкие величины, такие как риск или средние потери. 2. Обучающиеся системы – системы распознавания, располагающие ограниченным набором объектов распознавания, относительно которых известен их класс, но не располагающие полной информацией о вероятностном распределении или других характеристиках остальных объектов. Этот предопределённый набор объектов распознавания с известными классами называется обучающей выборкой. 2.1. Системы с предварительным обучением используют обучающую выборку на этапе проектирования системы, после чего уже не могут обучаться. Например, они могут оценивать с помощью неё какие-то вероятностные характеристики объектов распознавания и далее работать, как системы без обучения. 2.2. Системы с учителем (также их называют системами с обучением в реальном времени, с онлайн-обучением, с совмещённым обучением и распознаванием) более гибкие и могут дополнять имеющуюся у них информацию об объектах распознавания за счёт включения новых объектов в обучающую выборку прямо во время распознавания. Обычно объект включается в обучающую выборку в случае его заведомо неправильного распознавания системой. 3. Самообучающиеся системы (системы кластеризации) – системы, не владеющие даже информацией о количестве классов объектов распознавания, основывающиеся лишь на предположении, что объекты из одного класса обладают сходными характеристиками. При обработке биомедицинских изображений классы обычно известны (например, это может быть набор заболеваний, либо состояний одного заболевания, а также нормальное состояние организма), однако полная 20 информация о стохастической или другой связи исследуемых изображений с их классами отсутствует. Тем не менее, часто имеется набор эталонных изображений, класс которых оценен людьми-экспертами или другим способом, так что проектируемые системы распознавания в обозначенной выше классификации имеют второй тип, поэтому в данной работе акцент сделан именно на такие системы. Кроме того, если имеется 1 , L L 1 операторов распознавания ij 2 принимающих решение об отнесении объекта распознавания Ω только к одному из классов Ω i , либо Ω j , то существуют различные способы построения . Например, можно относить объект к и общего оператора распознавания тому классу, к которому его отнесли наибольшее количество операторов [37, 38, 39]. При таком подходе, однако, возникают распознавания ij определённые сложности в виде областей отказа, в которых решение не может отличаются друг от быть принято, а так же в случае, когда операторы ij друга по качеству распознавания, но все эти проблемы в том или ином виде решаются в указанных работах. Таким образом, в большинстве случаев без существенной потери общности можно рассматривать задачу распознавания с двумя классами. Поскольку пространство Ω чаще всего не является метрическим (например, в случае, если Ω – это множество цифровых изображений), но при этом его объекты всё же обладают некоторыми различимыми свойствами, строят общими для объектов из одного класса, оператор распознавания как суперпозицию двух операторов: C , (1.1) где : Ω Ξ измеряет информационные признаки объекта и переводит объект распознавания Ω в его вектор признаков x Ξ . При этом Ξ – это метрическое векторное пространство, в котором расстояние между векторами 21 уже имеет отношение к классам прообразов этих векторов в пространстве Ω . Оно называется признаковым пространством. Классы Ω l имеют свои образы Ξl в пространстве Ξ , но система множеств Ξl l 1,2,, L в общем случае уже не является разбиением множества Ξ , потому что отдельные пары таких множеств могут иметь непустые пересечения. Предполагается, что разработчик системы распознавания строит оператор таким образом, чтобы разброс образов объектов из каждого отдельного класса был в целом меньше, чем разброс образов объектов , взятых не зависимо от их класса [40]. Оператор C x : Ξ Δ называется классификатором и переводит вектор признаков в класс его прообраза. Он уже в меньшей степени зависит от проблемной области, а опирается на наличие и характер априорной информации о распределении векторов x в классах Ξl . Часто построение операторов и C проводится независимо. 1.2. Критерии качества системы распознавания В случае если для проверки качества системы распознавания используется лишь конечная контрольная выборка U , в которую входят объекты распознавания Ω с известными классами, то можно без каких либо дополнительных предположений определить критерий качества системы распознавания, как долю правильно распознанных объектов: 1 U | . J U (1.2) Здесь и далее в работе для конечных множеств оператор возвращает количество элементов в множестве. Пусть теперь имеется вероятностное пространство Ω, BΩ ,P , где Ω – уже определённое множество объектов распознавания, B Ω – сигма-алгебра подмножеств Ω , а P – вероятностная мера. Элементарными событиями в этом 22 пространстве являются предъявления объектов Ω системе распознавания. Тогда критерием качества системы распознавания можно считать вероятность верного распознавания объекта системой: P Ω | . J (1.3) В статистической теории распознавания образов этот критерий считается одним из наиболее адекватных. Прочие критерии стараются связать с этим [40]. Несложно заметить, что если для оценивания имеется лишь система и контрольная выборка U , то в предположении о том, что распознавания все объекты Ω могли оказаться в выборке U равновероятно, эффективной оценкой критерия (1.3) служит (1.2). Аналогичным образом можно построить чуть более гибкие критерии. Пусть имеется платёжная матрица C LL , элементы которой обозначают некоторую стоимость того или иного события при классификации. Так элемент C i, j условно означает прибыль в ситуации, когда объект Ω i был отнесён Ω . Отрицательная прибыль к классу Ω j , то есть когда Ωi j означает штраф. Здесь и далее в работе для обозначения элементов матриц и векторов будет использоваться нотация Голуба [41] вместо нижних индексов. Обозначим pij вероятность, что случайный объект Ω i будет к классу Ω : отнесён системой j P Ω | Ω | Ω . pij j i Критерием качества системы распознавания может служить средняя прибыль: L L . J R P Ωi C i, j pij i 1 j 1 (1.4) В литературе обычно C обозначается матрица штрафов, а J R называется риском. Классификаторы, минимизирующие риск, называются байесовскими 23 классификаторами или байесовскими решающими правилами [40]. В данной работе J R введён именно таким образом просто для сохранения общей тенденции максимизации всех критериев. В случае использования единичной платёжной матрицы C i, j ij , подразумевающей одинаковую прибыль в случае любого правильного распознавания и отсутствие прибыли в случае любой ошибки, критерий (1.4) просто обращается в (1.3): L L L P Ω p P Ω p J R i ij ij i ii i 1 j 1 i 1 L Ω | Ω P Ωi P Ω | i i i 1 L | Ω P Ωi P Ω | i i 1 J . P Ω | Здесь ij – это символ Кронекера: 1, i j; 0, i j. ij (1.5) Если для оценивания критерия J R используется лишь сама система распознавания и контрольная выборка U , то аналогично случаю с критерием (1.3) эффективной оценкой является Ω L U i J R U i 1 Ω U | Ωi j C i, j U Ω j j 1 L . (1.6) Нужно отметить, что на практике предположение о равной возможности попадания объектов распознавания Ω в контрольную выборку U практически никогда не выполняется, и опираться на него может быть большой ошибкой. Особенно это касается задач диагностики заболеваний по биомедицинским изображениям, так как для обучения и контроля обычно 24 используются примерно равное количество изображений нормы и патологии, а иногда изображений нормы даже меньше, хотя в процессе работы системы напротив нормальные изображения будут предъявляться ей чаще. Таким образом, оценивать априорные вероятности P Ωl появления объектов из отдельных классов как долю таких объектов в контрольной или обучающей выборке, как это сделано в формуле (1.6), не следует. Для решения этой проблемы можно считать априорные вероятности P Ωl неизвестными варьируемыми величинами, которые для фиксированных обеспечивают наименьшее значение критерия (1.4). Тогда вероятностей pij приемлемым критерием качества системы распознавания можно считать J min L . min P Ωi C i, j pij P Ωi i 1,2 ,, L i 1 j 1 L (1.7) не слишком сильно меняются при изменении Полагая, что вероятности pij варьируемых вероятностей P Ωl , значение критерия может быть найдено путём решения задачи линейного программирования: L L min; P Ωi C i, j pij P Ωi i 1,2 ,, L j 1 i 1 i 1,2, , L : 0 P Ωi 1; L P Ωi 1. i 1 Однако это не совсем справедливо, поскольку и априорные вероятности P Ωl , зависят от расположения областей Ω , а и вероятности распознавания pij l . значит, с изменением P Ωl неизбежно изменятся и pij В частном случае для двух классов и единичной платёжной матрицы C i, j ij критерий (1.7) известным образом достигает минимума при p , p12 21 25 то есть следует считать P Ωl такими, чтобы обеспечивалась одинаковая вероятность ошибок первого и второго рода [40]. В случае нормальных распределений векторов признаков , вероятности ошибочной и p могут быть рассчитаны аналитически и в классификации p12 21 критерии (1.7) следует считать P Ω1 P Ω2 1 , то есть худшим для 2 распознавания является случай равенства априорных вероятностей появления объектов из каждого класса [36]. Если же не учитывать распределение, то при произвольном варьировании областей Ω l в обычной ситуации, когда для каждого класса существует ненулевая вероятность ошибочного распознавания, то есть 1 , можно легко достичь J 0 . Для этого нужно l 1,2, , L : pll min просто задать новые области Ω \ Ω | Ω . Ω l' Ω l Ωl 1 | l 1 l l Здесь имеется в виду Ω 0 Ω L . Этот факт существенно затрудняет описанный подход к решению проблемы оценивания априорных вероятностей P Ωl по обучающей выборке. Пусть оператор распознавания построен в виде суперпозиции (1.1) оператора вычисления информационных признаков : Ω Ξ и классификатора C x : Ξ Δ , а признаковое пространство Ξ K , поскольку на практике признаками практически всегда выступают вещественные числа. Здесь K – количество признаков. Сложно представить себе ситуацию, в которой целесообразно использовать признаковое пространство, не гомоморфное пространству K . Векторы признаков X Ξ представляют собой случайные векторы, распределённые по некоторому закону. В дискретном случае можно говорить о 26 p x P X x , а в непрерывном – о плотности ряде распределения вероятности f x K K P X x . x k k 1 Здесь понимается, что k 1,2,, K : X k x k . Также X x , когда определим условные распределения векторов из определённого класса p x | Ωl и f x | Ωl . В дальнейшем положим, что классификация осуществляется в один из двух классов, а распределение векторов признаков непрерывно. Для оценивания эффективности оператора , прежде всего, логично использовать критерии, связанные с вероятностью верного распознавания (1.3), или их более гибкие аналоги вроде (1.4). Однако эти вероятности целиком зависят от закона распределения, который на практике обычно не известен. Разумеется, плотность вероятностей можно оценить по обучающей выборке U , используя, например, оценку Парзена [40], но поскольку плотность вероятностей многомерного случайного вектора несёт в себе очень много информации, её объективно сложно оценить с нужной точностью по небольшому набору векторов из обучающей выборки. Для решения этой проблемы можно использовать параметрические методы оценивания плотности вероятности. Другим частым приёмом является предположение о том, что векторы X Ξ распределены по многомерному гауссовскому закону и имеют плотность вероятности f x где 1 2 n /2 a E X – T 1 exp x a R 1 x a , 2 R это T R E X a X a – вектор математического корреляционная матрица. Это ожидания, а предположение 27 основано на центральной предельной теореме, из которой следует, что если на формирование признаков влияет множество слабо зависимых равномасштабных случайных факторов, то сами признаки распределены по гауссовскому закону. В этом случае удаётся получить много аналитических выражений для разного рода критериев. Тем не менее, на практике распределение построенных признаков может даже отдалённо не напоминать гауссовское. Обозначим общую вероятность ошибочного распознавания L L i 1 j 1 , P Ωi 1 ij pij (1.8) которая для двух классов принимает вид . P Ω1 p12 P Ω 2 p21 Известно, что для двух классов при использовании Байесовского классификатора вероятность ошибки ограничена сверху [40]: s 0;1 : P1 s Ω1 P s Ω 2 exp s , где s ln f 1 s x | Ω1 f s x | Ω 2 d x . Ξ Самая нижняя из таких верхних границ называется границей Чернова [40]. Чем она ниже, тем лучше для классификации распределены векторы в признаковом пространстве. Величина 1 / 2 называется расстоянием Бхатачария [40] характеризует разделимость векторов признаков между классами, хотя s и 1 2 может и не обеспечивать минимум границы Чернова. Чем больше расстояние Бхатачария между классами, тем выше качество классификации. Если считать, что векторы признаков распределены по нормальному закону, то расстояние Бхатачария может быть явно выражено через числовые характеристики распределения [40]: 28 T R R2 1 1 a1 a2 1 2 8 2 1 1 1 R1 R2 a1 a2 ln 2 2 R1 R2 , (1.9) где al – векторы математических ожиданий для соответствующих классов, а Rl – корреляционные матрицы соответствующих классов. В ещё более частной ситуации, когда классы отличаются лишь средним значением, вокруг которого распределены их векторы признаков, но не корреляционными матрицами, то есть когда R1 R2 R , расстояние Бхатачария (1.9) с точностью до постоянного множителя переписывается более компактно и называется расстоянием Махаланобиса [36]: T M a1 , a2 a1 a2 R 1 a1 a2 . (1.10) Оно предназначено для измерения расстояния между двумя реализациями одного случайного вектора или между реализацией случайного вектора и распределением. В данном случае оно, как и расстояние Бхатачария, служит мерой различия между классами. Чем оно больше, тем выше качество классификации. Важной характеристикой случайного вектора X Ξ , обладающего плотностью вероятности f x , является его собственная информация I X ln f X . В качестве меры различия двух распределений можно использовать разницу в собственной информации, которая ведёт себя так же, как и отношение правдоподобия: ij X ln f X | Ωi f X |Ωj . (1.11) В этих обозначениях критерием качества разделения классов векторов признаков в признаковом пространстве можно считать среднюю меру различия в собственной информации, которая называется дивергенцией [40]: div E ij X | Ω j E ji X | Ω i , 29 где E X | Ωi – условное математическое ожидание случайного вектора X (в данном случае, случайной величины ij X ), при условии, что он распределён в классе Ω i . Учитывая (1.11), можно получить явное выражение для расчёта дивергенции по плотностям вероятностей: div f x | Ω i f x | Ω j ln Ξ f X | Ωi f X |Ωj dx. (1.12) В случае гауссовского распределения векторов признаков дивергенция совпадает с расстоянием Бхатачария (1.9) с точностью до постоянного множителя [40]. В этом случае дивергенция явно связана с границами вероятности ошибочной классификации (1.8). Несмотря на связь с вероятностью правильного распознавания, все перечисленные критерии вычисляются через плотности вероятности распределений векторов признаков в соответствующих классах. Оно и понятно: вероятность ошибки напрямую зависит от этих распределений и может существенно меняться в зависимости от их характера. Однако в случае, когда распределения полностью известны, либо плотность вероятности уже удалось оценить, ничто не мешает использовать непосредственно критерии (1.3) и (1.4) вместо связанных с ними критериев (1.9) и (1.12). Другим подходом к численному оцениванию качества построенного признакового пространства служит дискриминантный анализ, опирающийся на разброс векторов признаков вокруг их математических ожиданий. Интуитивно ясно, что чем слабее разброс векторов признаков внутри их классов, и чем сильнее этот разброс между классами, тем лучше эти векторы сгруппированы, и тем проще проводить классификацию. При этом способ классификации вовсе не важен. Пусть векторы признаков X Ξ , как и прежде, распределены по неизвестному закону, причём математические ожидания векторов из класса Ξl соответственно равны 30 al E X | X Ξl , (1.13) а корреляционные матрицы соответственно равны T Rl E X al X al | X Ξl . (1.14) Тогда можно определить матрицу рассеяния внутри классов, как взвешенную сумму корреляционных матриц для отдельных классов: L S Rl P Ω l . (1.15) l 1 Аналогично можно определить вектор математического ожидания смеси распределений: L a al P Ω l . l 1 Матрицу рассеяния между классами можно определить по-разному. Несколько вариантов того, как это можно сделать [40]: L T S1 P Ωl al a al a ; (1.16) l 1 T S 2 a1 a2 a1 a2 ; (1.17) S3 R1 R2 S 2 . (1.18) Нужно отметить, что матрицы S2 и S3 имеют смысл только для случая с двумя классами. Кроме того, в качестве матрицы рассеяния между классами можно использовать корреляционную матрицу смеси распределений: S0 S S1 . (1.19) На основе этих матриц можно построить следующие критерии дискриминантного анализа [40]: J1 tr S1S j ; (1.20) J 2 ln S1S j ; (1.21) J 3 tr S j tr S c ; (1.22) J 4 tr 1 S tr S j . (1.23) 31 Здесь в качестве S j можно использовать различные матрицы рассеяния между классами (1.16), (1.17), (1.18) или (1.19). Для критерия J 2 следует использовать матрицу рассеяния смеси распределений (1.19), поскольку S1 S 2 0 . Из указанных четырёх критериев только J1 и J 2 инвариантны к сдвигам системы координат и другим невырожденным линейным преобразованиям [40]. Обоснование выбора именно таких критериев заключается в том, что след корреляционной матрицы R случайного вектора X определяет разброс между его независимыми копиями X 1 и X 2 . К примеру, если расстояние между двумя векторами определить, как сумму квадратов разностей между их компонентами, то получаем T E X1 X 2 X 1 X 2 E X 1T X 1 E X 1T X 2 E X 2T X 1 E X 2T X 2 tr R E X T E X E X T E X E X T E X tr R E X T E X 2 tr R . В некотором смысле эти критерии агрегируют двухкритериальную задачу об уменьшении внутриклассового разброса при одновременном увеличении разброса между классами. Критерии (1.20), (1.21) и (1.23) делают это за счёт составления отношения между величинами разбросов различными способами, а критерий (1.22) предполагает максимизацию разброса между классами при сохранении разброса между классами равным заранее выбранной постоянной c . При этом переменная выступает в качестве множителя Лагранжа. Существуют другие специфические способы задания критерия разделимости. Например, в качестве критерия разделимости двух классов можно использовать величину, основанную на отношении сигнал-шум, как это сделано в работе [17]: J SNR a1 a2 . tr R1 tr R2 (1.24) Этот критерий тем больше, чем дальше классы друг от друга и чем меньше внутриклассовая дисперсия. Это не будет работать в случае бимодальных 32 распределений признаков в своём классе, но в этом случае и многие алгоритмы классификации не справятся с задачей. Некоторые меры качества алгоритмов кластеризации также могут подойти в качестве мер разделимости классов. Например, существует так называемый индекс Девиса-Булдина, используемый для построения признаков в [24]: J DBI tr Ri tr R j 1 L max . n i 1 j1,2,, L\i K ai a j Видно, что для двух классов этот критерий с точностью до константы является обратным к (1.24). Несмотря на то что перечисленные критерии легко вычисляются через статистики второго порядка, они не имеют непосредственной связи с вероятностью правильного распознавания (1.3), которая зависит от вида распределения, а не только от его числовых характеристик. В этом смысле критерии (1.20)-(1.23) являются чисто эмпирическими. К тому же отсутствие информации о распределениях приводит к тому, что и вероятность правильной классификации уже вычисленных векторов признаков получается ниже байесовской. Для задач отбора признаков бывает нужно определить численные оценки качества одного отдельного признака, чтобы можно было принять решение о включении его в группу эффективных признаков или об исключении из неё. Большая часть таких критериев являются сугубо эвристическими, поскольку говорить о качестве признака в отдельности от остальных вообще не вполне корректно. Также некорректно жадное построение группы из эффективных признаков, несмотря на то, что оно неплохо работает и показывает приемлемые результаты. В первую очередь приходит в голову использовать имеющийся классификатор и выборку объектов распознавания для оценки отдельных признаков. Построим классификатор C x : Ξ Δ , так чтобы он использовал 33 для классификации только единственный признак X k из всего вектора, то есть будем считать, что оператор вычисления признаков отображает объекты распознавания в . Теперь можно считать любые критерии из предыдущих разделов настоящей работы, например, непосредственно (1.2). Вероятность успешного распознавания с использованием только одного признака X k называется предсказательной силой этого признака и может быть использована, как показатель его качества при отборе [17]. Одним из недостатков конкретно этого критерия является необходимость использования конкретного классификатора C x , который также влияет на качество распознавания. Если удаётся оценить законы распределения отдельного признака в различных классах, то можно использовать информационные характеристики, такие как (1.12). В [25] для взвешивания признаков используется именно дивергенция, заданная одним из способов. Для отдельных признаков этот критерий чуть более актуален, поскольку оценивание одномерного закона распределения представляет собой несколько более простую задачу, чем в случае многомерного закона. Логично использовать при оценивании качества признаков корреляционную матрицу R вектора признаков X . Чем больше коррелируют признаки, тем сильнее зависимость между ними и тем меньше они нужны оба в одной группе. Соответственно, отдельный признак может характеризоваться своей средней коррелированностью с другими признаками [18]: R j, k 1 K J cov k 1 . K j 1 R j , j R k , k (1.25) Другим способом задания качества признака может служить величина областей перекрытия классов. Для этого нужно для каждого класса вычислить отрезок на координатной прямой, в который попадает большая часть объектов распознавания: 34 l k al k 1 P Ωl Rl k , k , al k 1 P Ωl Rl k , k , где – это масштабирующее значение, подбираемое из неравенства Чебышева. В работе [19] использовалось значение 1,732 , которое обеспечивает попадание 2 / 3 объектов распознавания в интервал. Обозначим M A меру Жордана множества A . Критерием качества признака можно считать нормированную меру пересечений этих отрезков: L1 L M i k j k i 1 j i 1 . J OA k 1 L M l k l 1 Нужно отметить, что в силу общности меры Жордана, можно обобщить этот критерий, для измерения разделимости классов по группе признаков, но на практике вычисление меры Жордана и пересечений множеств в многомерном случае представляет собой непростую задачу. а) б) Рисунок 1.1 – Примеры несостоятельности критериев качества отдельных признаков: мультимодальное распределение (а), косая корреляция (б) Важно понимать, что плохое качество отдельных информационных признаков никак не характеризует качество группы из этих признаков, в каком бы смысле это качество ни понималось. На рисунке 1.1(а) показан простейший пример, когда проекции векторов признаков на каждую из осей показывают плохие значения для любых перечисленных выше критериев, в то время как 35 совместно группа из двух признаков отлично подходит для классификации векторов с использованием даже таких простых правил, как правило ближайшего соседа. Ясно, что в этом примере используется мультимодальное распределение, которое само по себе является неприятным примером для многих алгоритмов распознавания образов. Однако на рисунке 1.1(б) векторы признаков в каждом классе имеют обычное гауссовское распределение, но наблюдается такая же проблема: проекции векторов на оси, соответствующие отдельным признакам не обеспечивают хорошей разделимости классов, хотя для группы из двух признаков классы являются линейно разделимыми. Конечно, усреднённый по всем признакам критерий качества отдельных признаков можно считать критерием качества всей группы в целом, но, учитывая всю вышесказанную несостоятельность этих критериев, это более чем неразумно. 1.3. Постановка и подходы к решению задачи построения признаков Пусть, как и раньше, имеется множество объектов распознавания Ω , разбитое на L классов Ωl l 1,2,, L , и обучающая выборка U Ω , для объектов которой заранее известен их класс. Задача построения признаков заключается в выборе оператора вычисления признаков : Ω Ξ , который обеспечивает оптимум одного из описанных в предыдущих разделах критериев качества признакового пространства. Для оценивания критериев можно использовать обучающую выборку U . Понятно, что в такой общей постановке формально всегда можно выбрать , а затем C x x и так достичь нулевой ошибки распознавания, хотя на практике, конечно, этого сделать не получится в силу того, что идеальный оператор распознавания не известен, и выбор оператора всегда осуществляется из некоторого множества допустимых операторов Ψ . Также если элементы функционального пространства Ψ разнородны и не удовлетворяют никаким свойствам, то единственный способ осуществить 36 выбор лучшего из них – перебрать их все и для каждого вычислить критерий качества. Очевидно, если пространство Ψ содержит бесконечно много элементов, сделать это не удастся. Пусть тогда пространство содержит Ψ конечное множество параметрических семейств операторов, элементы каждого из которых отличаются значением некоторых параметров. Поскольку семейства операторов всё равно придётся перебирать, можно без потери общности считать, что Ψ вообще содержит только одно семейство операторов вычисления признаков , : Ω Θ Ξ , где Θ – множество допустимых значений параметров, каждое из которых задаёт некоторый оператор вычисления признаков. Теперь задача построения признаков состоит в выборе параметра ˆ Θ , обеспечивающего максимум некоторого критерия качества признакового пространства Jˆ ,U , который рассчитывается по оператору и обучающей выборке: ˆ ,arg max Jˆ , ,U . (1.26) Критерий качества Jˆ ,U следует выбирать таким образом, чтобы иметь возможность быстро и точно решить задачу оптимизации. Например, в зависимости от обстоятельств можно использовать те или иные критерии, описанные в предыдущих разделах настоящей работы. Поскольку при фиксированной обучающей выборке и фиксированном семействе операторов вычисления признаков , критерий Jˆ ,U зависит только от , то можно для удобства кратко записывать Jˆ Jˆ , ,U . В указанной постановке задача построения признаков превращается в обычную оптимизационную задачу, которая решается с использованием подходящих методов оптимизации. Можно привести некоторые соображения по классификации случаев, с которыми можно столкнуться, в зависимости от особенностей оператора Ĵ и множества параметров Θ . 37 — Если Θ , то есть множество допустимых значений параметров конечно или счётно, то речь идёт о дискретного задаче программирования, которая в некоторых случаях может быть сведена к динамического задаче программирования путём построения рекуррентного соотношения, но в большинстве случаев допускает лишь неполиномиальные решения вроде метода ветвей и границ [42]. — Если Θ n и функция Ĵ унимодальная и гладкая на Θ настолько, Jˆ что вычисление её Гессиана не составляет труда, i j i 1,n j 1,n например, может быть проделано аналитически или содержит много нулей, то можно применить метод Ньютона и его производные. Существуют модификации метода Ньютона для задач с ограничениями [43]. — Если Θ n и функция Ĵ непрерывная и выпуклая (в нашем случае, выпуклая вверх или вогнутая) на Θ , то есть 1 , 2 Θ t 0,1 : Jˆ t1 1 t 2 tJˆ 1 1 t Jˆ 2 , (1.27) — тогда задача решается с помощью выпуклого программирования. В случае, когда неравенство (1.27) строгое, функция кроме того унимодальная и достигает своего экстремума, так что для решения подойдут, например субградиентные методы, а также метод множителей Лагранжа в случае наличия явных ограничений [44]. — Если Θ n и единственная информация о функции Ĵ заключается в том, что она унимодальная, то можно использовать различные модифицированные методы наискорейшего спуска (в нашем случае, подъёма) с добавочной ошибкой, метод возможных направлений и прочие стохастические методы спуска [43]. 38 — Если Θ n , Ξ m , а критерий Jˆ ,U представляет собой некоторый интегральный функционал на Ψ вида 2 d , Jˆ ,U F , , , d , d 1 (1.28) — причём функции , дважды непрерывны на Θ , то решение может быть найдено с помощью аппарата вариационного исчисления из системы дифференциальных уравнений Эйлера-Лагранжа: n F d F k 1,2,, m : . k j 1 d j k j — Здесь предполагается, что интегрирование в (1.28) ведётся по некоторой гладкой кривой, соединяющей точки 1 и 2 в Θ . Во многих похожих случаях, когда , непрерывна на Θ , вариационное исчисление также может помочь отыскать нужный оператор вычисления признаков [45]. — В большинстве случаев про функцию Jˆ ,U не известно вообще ничего, и тогда приходится использовать наиболее общие во многом эвристические методы оптимизации [46], такие как различные методы Монте-Карло [47], псевдоградиентный алгоритм [48], эволюционные алгоритмы [49], имитация отжига [50]. Некоторые из них уже применялись для задачи построения локальных линейных признаков в работе [33]. Заметим, что совсем уж простых и хорошо известных постановок на практике никогда не получится. Например, совершенно исключён случай с задачей линейного программирования, поскольку оптимизируемый критерий должен характеризовать разделимость классов, а линейными функциями такие вещи обычно не описываются. 39 1.4. Задачи анализа биомедицинских изображений В данной работе рассматривается задача автоматической диагностики заболеваний по радиологическим изображениям различных тканей. Такие задачи часто возникают в медицине, а их решение позволяет ускорить и объективизировать процедуру медицинского обследования, а также экономить на услугах дорогостоящих специалистов в области диагностики. Конкретно в данной работе решаются три прикладные задачи из области радиологии. Первая задача – диагностика остеопороза и остеопении по рентгеновским снимкам шейки бедра. Традиционно эта задача решается опытными специалистами или с помощью дорогостоящих устройств. Изображение шейки бедра, поражённой остеопорозом, выглядит более прозрачным по сравнению с изображением здоровой шейки бедра, его структура трабекул (нитевидных трубочек, образующих остов кости) при этом более разреженная, волокнистая (рис. 1.2). В отличие от распространённого метода рентгеновской абсорбциометрии, визуальный анализ рентгеновских изображений костной ткани позволяет оценить не только минеральную плотность, но и трабекулярную структуру, которая так же нарушается при остеопорозе [51]. а) б) Рисунок 1.2 – Рентгеновские изображения шейки бедра: здорового человека (а), страдающего остеопорозом (б) 40 Вторая задача – диагностика хронического пиелонефрита и других хронических заболеваний почек по ультразвуковым изображениям почечной паренхимы. При наличии патологии изображение выглядит более светлым, менее однородным, а также на нём отсутствуют характерные тёмные участки мозгового слоя почечной ткани (рис. 1.3). Похожие изменения возникают также при некоторых патологических состояниях трансплантированной почки [52]. а) б) Рисунок 1.3 – Ультразвуковые изображения почек: здорового человека (а), страдающего пиелонефритом (б) Третья задача – диагностика различного рода диффузных лёгочных патологий по рентгеновским изображениям компьютерной томографии грудной клетки. Известно видимое нарушение в структуре лёгочной ткани, характеризующиеся специфическим матовым эффектом, характерными изменениями в рисунке сосудов и бронхов, наличием тёмных пятен, представляющих собой воздушные полости (рис. 1.4). Этот симптом может отражать самые разные патологии, среди которых эмфизема, алергический альвеолит, пневмонии, аспергиллёз, облитерирующий бронхиолит, бронхиальная астма, отёк лёгкого после трансплантации [53]. Как видно, все рассматриваемые изображения имеют один канал яркости – интенсивность излучения в конкретной точке. Ещё одной особенностью является тот факт, что рассмотрению всегда подвергается не всё прямоугольное изображение, а только некоторая область интереса, выбор который является отдельной задачей и может осуществляться как вручную, так 41 и автоматически. В случае с изображениями костной ткани выбирается участок шейки бедра (рис. 1.5(а)), на УЗИ почки выбирается верхняя доля паренхимы (рис. 1.5(б)), а на КТ лёгкого – внутренняя часть лёгкого (рис. 1.5(в)). а) б) Рисунок 1.4 – Компьютерная томография лёгких: здорового человека (а), страдающего альвеолитом (б) Итак, объектами распознавания являются дискретные цифровые изображения Ω , которые представляют собой функции, отображающие из некоторой области D 2 определения в набор уровней яркости Q 0, Q 1 . Эти изображения получаются из непрерывных физических изображений ˆ x, y : 2 , формируемых электромагнитными и ультразвуковыми волнами, путём дискретизации и квантования [54]: ˆ x, y 1 x m x , y n y m, n , 2 где x и y – это шаги дискретизации по соответствующим координатам, а – шаг квантования. Технически это может происходить при сканировании обычной рентгеновской плёнки траспарентным сканером, либо при работе с цифровыми радиологическими соответствующими датчиками. устройствами, оснащёнными 42 Текстура – это характерные изменения яркости на изображении, которые не изображают никаких объектов, но интересны для исследования сами по себе [55]. Биомедицинские изображения большинства тканей зачастую считаются текстурными [1]. Для медицины важными являются такие задачи текстурного анализа, как классификация текстуры, текстурная сегментация изображения, а также обнаружение объектов на фоне текстуры. б) а) в) Рисунок 1.5 – Области интереса на изображениях: рентгенограмма шейки бедра (а), УЗИ почки (б), КТ лёгких (в) 1.5. Текстурные признаки на изображениях Существует много известных подходов к построению оператора вычисления признаков в случае текстурных изображений [55]. Признаки, характеризующие текстуру, называются текстурными признаками. Многие такие признаки образуют крупные семейства в зависимости от различных параметров, правильный выбор которых определяет в некотором смысле оптимальный оператор вычисления признаков (1.26). Одними из простейших признаков на изображении m, n : D Q являются его моментные характеристики. Если предположить, что сами изображения являются реализациями некоторого эргодического стационарного случайного поля, то состоятельные несмещённые оценки моментов этого поля могут быть рассчитаны следующим образом [56]: k 1 D m ,n D k m, n , (1.29) 43 k 1 D Такие k m, n 1 k . (1.30) m ,n D называются начальными моментами, а k – центральными моментами. Наиболее важными моментными характеристиками являются: — средняя яркость (оценка математического ожидания) 1 , — средняя энергия (инвариант унитарных преобразований) s 2 , — среднеквадратическое отклонение (корень из выборочной дисперсии) 2 , — коэффициент асимметрии [57] 1 3 , 3 — коэффициент эксцесса [57] 2 4 3. 4 Строго говоря, эти признаки не являются текстурными, поскольку характеризуют лишь распределение набора уроней яркости, но не пространственные отношения между отсчётами изображения. Обычно их относят к гистограммным признакам [58]. Корреляционные характеристики уже являются текстурными признаками, поскольку описывают зависимости отсчётов друг от друга в пространстве. Сами по себе можно считать признаками отсчёты состоятельных оценок нормированной корреляционной функции R m, n 1 2 i, j i m, j n D m, n i , j D m,n или нормированной ковариационной функции (1.31) 44 Rcov m, n 1 s D m, n i, j i m, j n , (1.32) i , j D m ,n где D m, n i, j D | i m, j n D – множество таких отсчётов из области определения D , что и смещённые на m, n отсчёты также лежат в 0,1 , D . Значения (1.31) лежат на отрезке отличаются, хотя фактически это а значения (1.32) этим не нормированные оценки числовых характеристик случайного поля, отличающихся на постоянную величину, зависящую от средней яркости. В некоторых источниках для описания текстур рекомендуют использовать именно отсчёты нормированной ковариационной функции (1.32), потому что они содержат больше информации о колебаниях яркости [55]. Ещё одной группой признаков являются фрактальные признаки, связанные с размерностью Минковского, определённой для ограниченных множеств в метрическом пространстве [59]. Самым популярным таким признаком является показатель Хёрста, для которого существует довольно много нетривиальных алгоритмов оценки и специальных свойств [60]. С фрактальными характеристиками связывают так же лакунарность, которая характеризует неоднородность изображения [55]: Ls s 2 1. Существует обширная группа спектральных признаков, основанных на анализе Фурье-образа N1 1 N 2 1 n1m1 n2 m2 N N2 1 ˆ m1 , m2 n1 , n2 exp 2 i n1 0 n2 0 (1.33) обрезанного и дополненного нулями изображения n1 n1min , n2 n2min , n1 , n2 0, Здесь i 2 1 – мнимая единица, n n n n 1 min 1 , n2 n2min D ; 1 min 1 , n2 n2min D . (1.34) 45 n1min min n1 | n2 : n1 , n2 D , n2min min n2 | n1 : n1 , n2 D , n1max max n1 | n2 : n1 , n2 D , n2max max n2 | n1 : n1 , n2 D – стороны прямоугольника, ограничивающего область интереса D , а N1 n1max n1min 1 и N 2 n2max n2min 1 – размеры изображения n1 , n2 . Само изображение 0, N 1 n1 , n2 определено на множестве 1 0, N 2 1 2 , а его Фурье-образ ˆ m1 , m2 – на множестве N1 1 N1 1 N 2 1 N 2 1 2 , , . 2 2 2 2 Одним из способов описания Фурье-образа изображения являются признаки Габора. Непрерывная двумерная функция Габора имеет вид 2 t t 2 t t 1 1 2 2 i w1 t1 w2t2 , G t1 , t2 ; t1 , t2 , w1 , w2 , 1 , 2 exp 2 2 2 1 2 2 где t1 , t2 – пространственные координаты. Свёртку непрерывного двумерного сигнала с функцией Габора можно интерпретировать как поточечное умножение Фурье-образа этого сигнала 2 2 1 exp 12 w1 w1 22 w1 w1 2 с на Гауссовское последующим окно вида обратным преобразованием Фурье [55]. В дискретном случае это означает поточечное умножение Фурье-образа (1.33) на дискретизированные гауссовские окна 2 m m 2 m m 1 1 2 2 W m1 , m2 ; m1 , m2 , 1 , 2 exp 2 12 2 22 46 с центром в m ,m 1 2 и со среднеквадратическими отклонениями 1 , 2 . Результат фильтрации имеет вид yˆ m1 , m2 ˆ m1 , m2 W m1 , m2 ; m1 , m2 , 1 , 2 W m1 , m2 ; m1 , m2 , 1 , 2 . Второе окно гарантирует, что спектр останется симметричным и всё ещё будет соответствовать вещественному изображению. Признаками Габора можно считать, например, энергию отфильтрованных изображений: N 1 1 2 g N 1 2 2 1 yˆ m1 , m2 yˆ * m1 , m2 , N1 N 2 m N1 1 m N2 1 1 2 2 2 где yˆ * m1 , m2 – сопряжённое к yˆ m1 , m2 . Видно, что параметры m1 , m2 и 1, 2 образуют бесконечно большое семейство признаков Габора. а) б) Рисунок 1.6 – Результат преобразования Габора рентгеновских изображений шейки бедра: здорового человека (а), страдающего остеоорозом (б) Есть небольшой практический недостаток использования спектральных признаков для прикладных задач анализа биомедицинских изображений, состоящий в том, что двумерное дискретное преобразование Фурье традиционно определяется для прямоугольных сигналов, а на практике речь почти всегда идёт о произвольной области определения D . Дополнение 47 нулями (1.34) хотя и является одним из немногих способов решения этой проблемы, всё же оставляет определённые сложности с резким перепадом яркости на границе области интереса. На рисунке 1.6 показан результат одного преобразования Габора для нормального и патологического рентгеновских изображений костной ткани. Характерный всплеск яркости на границе области интереса можно связать с известным во многих областях знаний эффектом Гиббса [61]. Видно, что хотя внутренняя часть изображения патологии выглядит ярче, на общую энергию изображения также влияет форма области интереса, чего хотелось бы избежать. При текстурном анализе изображений в дополнение к предположению о том, что изображение является стационарным эргодическим случайным полем, также часто делают предположение, что оно является Марковским полем. Это означает, что яркость некоторого отсчёта m, n находится в статистической зависимости только от некоторого набора соседних отсчётов m, n : D 2D . Модель Марковского случайного поля характеризуется условными вероятностями p q | P m, n q | i, j m, n : i, j i m, j n , где обозначает значения яркостей соседних отсчётов. Эти вероятности не зависят от положения отсчёта m, n в силу стационарности поля и могут быть рассчитаны и использованы самыми разными способами [62]. Для текстурного анализа также хорошо себя показали признаки Харалика, основанные на матрице вхождений pm ,n i, j k , l D m, n | k , l , k m, l n i, j , D m, n (1.35) которая характеризует частоту, с которой уровни яркости i и j встречаются в заданной пространственной конфигурации [2]. По этим матрицам можно вычислить 14 признаков Харалика. 1. Второй угловой момент: 48 Q 1 Q 1 h1 m, n pm2 ,n i, j . i 0 j 0 2. Контраст Харалика: Q 1 h2 m, n k Q 1 2 pm,n i, j . k 0 i 0 j: i j k 3. Корреляция Харалика: 1 Q1 Q1 h3 m, n ijp i, j x y , x y i 0 j 0 Q 1 Q 1 где x ip x i и y jp y j – оценки математических ожиданий, а j 0 i 0 Q 1 x i x 2 Q 1 px i y и j y 2 py j – оценки j 0 i 0 среднеквадратических отклонений, Q 1 рассчитанные для вероятностей Q 1 p x i pm , n i , j и p y j p m , n i , j . j 0 i 0 4. Дисперсия Харалика: Q 1 Q 1 2 h4 m, n i x pm,n i, j . i 0 j 0 5. Обратный разностный момент: pm , n i , j Q 1 Q 1 h5 m, n i 0 j 0 1 i j 2 . 6. Средняя сумма уровней яркости: 2 Q 1 h6 m, n kp k , x y k 0 mink ,Q 1 где px y k pm ,n i, k i – частота встречаемости суммы уровней i max0,k Q 1 яркости, равной k . 7. Дисперсия суммы уровней яркости: 49 2 Q 1 h7 m, n k h m, n 6 2 px y k . k 0 8. Энтропия суммы уровней яркости: 2 Q 1 h8 m, n px y k log px y k , (1.36) k 0 где – маленькое добавочное число, необходимое на практике на случай px y k 0 , а логарифм обычно берётся двоичный, хотя это и не принципиально. 9. Энтропия: Q 1 Q 1 h9 m, n pm ,n i, j log pm,n i, j . i 0 j 0 10. Дисперсия разности уровней яркости: Q 1 2 h10 m, n k x y px y k , k 0 Q 1 где x y kp x y k – оценка математического ожидания разности уровней k 0 Q 1 яркости, а px y k pm,n i, j – частота встречаемости уровней яркости, i 0 j: i j k отличающихся на величину k . 11. Энтропия разности уровней яркости: Q 1 h11 m, n p x y k log p x y k . k 0 12. Первая информационная мера корреляции: h12 m, n h9 m, n H XY 1 , max H X , HY Q 1 Q 1 где H XY 1 pm,n i, j log px i p y j , i 0 j 0 Q 1 H X px i log px i , i 0 50 Q 1 HY p y j log p y j . j 0 13. Вторая информационная мера корреляции: h13 m, n 1 exp 2 h9 m, n H XY 2 , Q 1 Q 1 где H XY 2 px i p y j log px i p y j . i 0 j 0 14. Максимальный коэффициент корреляции: h14 m, n 2 , где 2 – это второе по абсолютной величине собственное число матрицы Q 1 pm ,n i, k pm,n j, k . p i p k k 0 i 0,1, , Q 1 x y j 0,1,,Q1 Похожий подход используется в признаках на основе длин серий. Для начала определяется матрица длин серий r i, j m, n D | k , l | k , l S m, n, j i , (1.37) где S m, n, j m t cos 0,5 , n t sin 0,5 | T 0 : t 0, T S m, n, j j S m, n, j D – серия из j последовательных отсчётов, начиная с m, n , в направлении . Таким образом, r i, j – это количество серий отсчётов длины j в направлении , целиком имеющих уровень яркости i . Традиционно рассматривается 11 признаков на основе длин серий [63]. 1. Резкость коротких серий: Q 1 j s1 2 r i, j i 0 j 1 Q 1 . r i, j i 0 j 1 2. Резкость длинных серий: 51 Q 1 j s2 2 r i, j i 0 j 1 Q 1 . r i, j i 0 j 1 3. Неоднородность яркости: 2 Q 1 r i, j i 0 j 1 . s3 Q1 r i, j i 0 j 1 4. Неоднородность длины: 2 Q 1 r i, j . s4 j 1Q1i 0 r i, j i 0 j 1 5. Доля серий: s5 1 D Q 1 r i, j . i 0 j 1 6. Резкость низкой яркости: Q 1 i s6 2 r i, j i 0 j 1 Q 1 . r i, j i 0 j 1 7. Резкость высокой яркости: Q 1 i s7 2 r i, j i 0 j 1 Q 1 . r i, j i 0 j 1 8. Резкость коротких серий и низкой яркости: 52 Q 1 i s8 2 j 2 r i, j i 0 j 1 Q 1 . r i, j i 0 j 1 9. Резкость коротких серий и высокой яркости: Q 1 i s9 2 j 2 r i, j i 0 j 1 Q 1 . r i, j i 0 j 1 10. Резкость длинных серий и низкой яркости: Q 1 i s10 2 j 2 r i, j i 0 j 1 Q 1 . r i, j i 0 j 1 11. Резкость длинных серий и высокой яркости: Q 1 i s11 2 j 2 r i, j i 0 j 1 Q 1 . r i, j i 0 j 1 Признаки на основе длин серий превосходят другие признаки по эффективности в задаче диагностики эмфиземы по изображениям компьютерной томографии лёгких, пример которых приведён на рисунке 1.4. Они позволяют достичь вероятности ошибочного распознавания в 0,11 [64*], как и другой подход, также основанный на текстурном анализе, приведённый в работе [65]. Существуют другие текстурные признаки, некоторые из которых вводятся эвристически или на основе данных о принципах человеческого восприятия. Например, существуют признаки Тамуры, впервые описанные в [66] и признанные наиболее существенными при визуальном анализе изображения человеком. 53 Отсчёты корреляционной функции (1.31), признаки Харалика, основанные на матрице вхождений (1.35), и признаки, основанные на длинах серий (1.37), используются в следующем разделе в процедуре согласования угла поворота изображения с текстурными свойствами изображений. Были выбраны именно эти признаки, поскольку в работах [67*] и [68*] было показано, что они эффективнее других проявляют себя при решении задач распознавания диагностических изображений костей и почек. 1.6. Оптимизация направления для текстурных признаков Одним из простейших параметров текстурных признаков является направление. Хотя гистограммные признаки, основанные на моментах (1.29) и (1.30), инвариантны к сдвигу и повороту, большинство других характеристик, таких как корреляционные признаки (1.31) и (1.32), а также признаки Харалика и признаки, основанные на длинах серий, изменяются в зависимости от направления. Все эти признаки зависят от некоторого координатного сдвига m, n , который означает сдвиг на расстояние m2 n2 в направлении arctg n / m . В работах [67*] и [68*] отбор производится из четырёх семейств признаков в горизонтальном, вертикальном и двух диагональных направлениях. В угоду универсальности метода, чтобы не менять способ вычисления признаков, будем изменять не направление для признака, а угол поворота изображения, в то время как признаки всегда будем вычислять в горизонтальном направлении. Так для всех изображений m, n будем выполнять одно и то же преобразование поворота m' m A n' , n где A – это матрица Гивенса, поворачивающая систему координат на угол : cos A sin sin . cos (1.38) 54 Поскольку для перечисленных признаков противоположные направления не различаются, то множество возможных направлений, из которого следует выбрать оптимальное, Θ 0; . Требуется из всех углов 0; выбрать тот угол ˆ , который обеспечивает максимум некоторого критерия качества признакового пространства J . Для этого необходимо воспользоваться некоторой процедурой предлагаемый метод, оптимизации определим (1.7). подходящие Чтобы конкретизировать критерии и процедуры оптимизации, а затем исследуем их эффективность для решения прикладных задач. Наиболее очевидным критерием является непосредственно оценка вероятности верной классификации (1.3) с использованием признаков, вычисленных для повёрнутого на заданный угол изображения. Недостатками этого критерия являются его зависимость от качества классификатора и необходимость разбиения обучающей выборки ещё на две части, чтобы по одной настраивать угол и использовать её для обучения, а на второй производить вычисление доли правильно распознанных векторов по формуле (1.2). Обычно на практике это нецелесообразно, поскольку объём обучающей выборки не слишком велик. Последнюю проблему можно решить использованием специальной процедуры обучения и классификации. Для этого возьмём обучающую выборку U U uk k 1 и проведём U шагов обучения и классификации, на k -ом из которых используем в качестве новой обучающей выборки множество U \ uk , а распознаванию подвергнем объект uk . Так можно извлечь довольно много информации о качестве распознавания из одной небольшой выборки объектов, не разделяя её на обучающую и контрольную. Такой подход известен, как метод исключения одного объекта [40]. Его недостатком является высокая длительность процедуры, поскольку приходится синтезировать U 55 классификаторов. Для оценки доли верно распознанных объектов будем использовать именно его. Кроме этого, воспользуемся такими критериями качества признакового пространства, как расстояние Бхатачария (1.9) и критерии дискриминантного анализа (1.20), (1.21), (1.23) и (1.24), которые могут быть вычислены с использованием оценок внутриклассовых средних (1.13) и внутриклассовых корреляционных матриц (1.14) признаков. Эти критерии уже не зависят от классификатора, но все они, кроме (1.9), не связаны напрямую с вероятностью ошибочной классификации. Критерий (1.22) было решено не использовать, поскольку выбор параметра c в нём, а также оптимизация относительно множителя представляют собой отдельные задачи. В силу сложности формул вычисления признаков в зависимости от угла поворота изображения выявить прямую зависимость J между значениями критериев оптимальности и углом поворота не представляется возможным. Также нет никаких оснований утверждать о выпуклости или унимодальности этих критериев по углу поворота. Поэтому для решения задачи оптимизации остаётся лишь использовать достаточно общие методы стохастической оптимизации. Для удобства сравнения их эффективности ограничимся вычислением значений критериев в N opt точках 0; . Первый и самый простой алгоритм оптимизации – это метод случайного поиска. Возьмём N opt случайных точек j отрезке 0; , вычислим значения J j Nopt j1 N opt j 1 , равномерно распределённых на и выберем из них максимальное. Этот алгоритм вообще никак не учитывает предыдущие найденные значения критерия, однако, учитывая, что нет никаких данных о характере функции J , такой подход не является существенно проигрышным по сравнению с более сложными. 56 Генетический оптимизации, алгоритм – работающий также для довольно произвольных популярный целевых алгоритм функций. Его параметрами являются размер популяции 2 N pop N opt и доля мутирующих особей 0 pmut 1 . В начале работы алгоритма генерируется начальная популяция точек j N pop j1 . Это можно сделать, например, случайно с помощью предыдущего алгоритма, или же выбрать их как узлы равномерной сетки. Далее на каждом шаге алгоритма происходит три этапа: скрещивание, мутация и отбор [49]. Оператор скрещивания должен из нескольких точек получить одну, в некотором смысле сочетающую их свойства. В одномерном случае можно задать оператор скрещивания двух точек, как среднее между ними c 1 , 2 1 2 / 2 , либо как случайную величину, каким-нибудь образом распределённую на интервале 1, 2 . На этапе скрещивания из старой популяции отбираются некоторое количество (например, N pop ) различных пар точек j , 1 N pop 2 j j 1 и формируется новая популяция c 1 j , 2 j N pop j 1 . На этапе мутации pmut от всех точек подвергаются мутации посредством оператора мутации , который должен каким-то образом изменять точку . Например, можно выбрать , как значение случайной величины , распределённой по гауссовскому закону с математическим ожиданием и дисперсией 2 / 36 . Дисперсия выбрана из правила трёх сигм, чтобы полный интервал длиной в представлял собой 6 среднеквадратических отклонений случайной величины. Если значение не лежит на отрезке 0; , то в качестве значения выбирается такой угол mut 0; , что существует k , такое что mut k . В различных вариациях алгоритма точки для мутации можно выбирать как из новой популяции, полученной после скрещивания, так и из старой. 57 На последнем этапе очередного шага происходит отбор. Среди всех точек старой и новой популяции остаются только те N pop штук, для которых целевая функция J максимальна. Они используются в качестве старой популяции на следующем шаге. Алгоритм останавливается, когда функция J вычислена уже для N opt точек. После этого из текущей популяции выбирается точка ˆ , в которой целевая функция J максимальна. Эта точка и считается точкой максимума. Заметим, что эта точка обеспечивает максимум функции J не только среди точек последней популяции, но и вообще среди всех, для которых на протяжении всего алгоритма вычислялась функция J , поскольку для каждого поколения такая лучшая точка всегда переходит в следующее. Ещё один не менее популярный алгоритм глобальной оптимизации – имитация отжига. Он характеризуется убывающей последовательностью температур начальной tk k 1 , температурой t0 , а также оператором изменения текущей точки , например, таким же, как оператор мутации для генетического алгоритма. Последовательность температур должна отвечать требованию lim tk 0 , так что подходит, например, гармонический ряд tk t0 / k k [50]. Сам алгоритм хранит некоторую текущую точку curr , которая изначально может выбираться произвольным образом, например, curr 0 . На k -ом шаге рассматривается новая точка next curr . Если J curr J next , то вполне закономерно на следующем шаге полагается curr next . Если же J curr J next , то на следующем шаге всё равно с вероятностью J curr J next psa exp tk (1.39) полагается, что curr next , иначе текущая точка остаётся прежней. Это нужно, чтобы выводить алгоритм из локальных экстремумов, даже когда следующая 58 точка кажется менее полезной. При этом на первых шагах алгоритма переход к худшей точке происходит с большей вероятностью, чем в последующем. Алгоритм останавливается на N opt -ом шаге. В качестве результата работы алгоритма из всех точек , для которых на одном из шагов вычислялось значение целевой функции, выдаётся та точка , для которой J принимает максимальное значение. Эта точка не обязательно была рассмотрена на одном из последних шагов алгоритма. 1.7. Экспериментальное исследование оптимизации направления для текстурных признаков Исследование качества описанной процедуры оптимизации направления поворота изображения для повышения качества его текстурного признакового описания проводилось экспериментально на четырёх наборах данных. Во всех четырёх случаях задача состояла в классификации изображений в один из двух классов. а) б) Рисунок 1.7 – Изображения риса из Kylberg Texture Dataset: обычный белый рис (а), рис сорта арборио (б) 1. Изображения риса (наборы «rice1» и «rice2») из открытой базы текстурных изображений Kylberg Texture Dataset [69]. В набор входит 160 изображений обычного белого риса и 160 изображений короткозернового риса сорта 59 арборио, использующегося для приготовления ризотто. Размер каждого изображения – 576×576 отсчётов. Разумеется, это не биомедицинские изображения, но они достаточно слабо отличаются друг от друга, находятся в открытом доступе и подходят, чтобы проверить имеющийся алгоритм распознавания. На рисунке 1.7 приведены примеры изображений из этого набора. 2. Рентгеновские изображения шейки бедра, полученные в клиниках Самарского государственного медицинского университета в ходе исследования пациентов с подозрением на остеопороз. Примеры таких изображений приведены на рисунке 1.2. Общее количество изображений – 95. Средний размер изображений –1040×860. 3. Ультразвуковые изображения почек, полученные в клиниках Самарского государственного медицинского университета в ходе нефрологических исследований. Примеры таких изображений приведены на рисунке 1.3. Общее количество изображений – 84. Средний размер изображений – 640×480. 4. Двумерные срезы рентгеновских изображений компьютерной томографии лёгких, полученные в клиниках Самарского государственного медицинского университета. Примеры таких изображений приведены на рисунке 1.4. Общее количество изображений – 160. Средний размер изображений – 140×200. Все наборы изображений были случайным образом разделены на две выборки одинакового объёма: обучающую и контрольную. После этого для различных сочетаний критериев качества и алгоритмов оптимизации производилась настройка угла поворота изображений, в результате чего для полученного оптимального угла также оказывались посчитанными значения признаков. Затем значения признаков также рассчитывались для контрольной выборки, и производилась проверка качества классификации полученных векторов признаков по критерию (1.2). При этом для отбора эффективной группы признаков использовалась процедура, основанная на критерии дискриминантного анализа J 4 [67*]. Наглядная схема экспериментальных 60 исследований, проведённых для каждого набора данных в отдельности, представлена на рисунке 1.8. Рисунок 1.8 – Схема экспериментальных исследований В качестве допустимых критериев качества использовались оценка вероятности правильной классификации J (1.2), расстояние Бхатачария 1 / 2 (1.9), три критерия дискриминантного анализа: J1 (1.20), J 2 (1.21) и J 4 (1.23), а также критерий, основанный на отношении расстояния между распределениями к разбросу их значений J SNR (1.24). В качестве допустимых процедур оптимизации использовались алгоритмы случайного поиска, генетический алгоритм и алгоритм имитации отжига. В качестве параметров выбирались количество итераций N opt 20 , размер популяции генетического алгоритма N pop 5 , вероятность генетической мутации pmut 0,1 , начальная температура в имитации отжига t0 10 . В качестве направленных информационных признаков использовались ковариации (1.32), вычисленные через 1 и через 5 отсчётов, признаки Харалика, основанные на матрицах вхождений (1.35), а также признаки, основанные на длинах серий (1.37), – всего 61 40 уникальных признаков. В качестве алгоритма классификации использовался метод ближайшего соседа, но расстояние между векторами признаков вычислялось по стандартизованным признакам, нормированным на дисперсию. В качестве матрицы S j рассеяния смеси распределений используется матрица S 0 (1.19). Таблица 1.1 – Результаты оптимизации угла поворота для задачи анализа изображений риса J 1 / 2 J1 J2 J4 J SNR K 1 K 1 K 1 K 1 K 1 K 1 0,0 0,0 K 1 K 1 алгоритм 0,0 0,0 Имитация K 1 K 1 0,0 0,0 Случайный поиск Генетический отжига 0,0 0,0 0,0 0,0 K 1 K 1 K 1 K 1 0,0 0,0 0,0 0,0 K 1 K 1 K 1 K 1 0,0 0,0 0,0 0,0 В таблице 1.1 приведены результаты отбора признаков для задачи распознавания изображений риса. В этой и последующих подобных таблицах указаны значения минимального количества признаков в наиболее K эффективной с точки зрения ошибки классификации группе, а также собственно наименьшая ошибка классификации изображений из контрольной выборки, обеспечиваемая этой группой признаков. Очевидно, что задача распознавания сорта риса по его изображению является очень простой для предложенного подхода, и даже один признак обеспечивает безошибочное распознавание всех изображений из контрольной выборки. Следует отметить, что в процессе отбора во всех случаях лучшим по критерию (1.24) признаком оказалась энтропия суммы уровней яркости Харалика (1.36). В таблице экспериментов для 1.2 аналогичным рентгеновских образом изображений приведены шейки результаты бедра. Среди алгоритмов оптимизации здесь чуть привлекательнее остальных выглядит алгоритм имитации отжига, а среди критериев качества в лучшую сторону 62 выделяется критерий дискриминантного анализа J 4 . В целом результаты распознавания в значительной мере превосходят аналогичные результаты, полученные без использования процедуры оптимизации направления. Это вполне ожидаемо, поскольку на изображениях шейки бедра важными для диагностики элементами являются трабекулы, которые представляют собой длинные нитевидные трубочки, протянутые в определённом направлении. Кроме того, в работах [70*] и [71*] показано, что корреляция отдельных использованных признаков с показателями минеральной плотности костной ткани и наличием перелома может достигать 0,77, что выше, чем соответствующие значения в работе [11]. Таблица 1.2 – Результаты оптимизации угла поворота для задачи анализа рентгеновских изображений шейки бедра Случайный J 1 / 2 J1 J2 J4 J SNR K 6 K 7 K 22 K 8 K 6 K 8 0,14 0,12 0,12 поиск Генетический K 7 алгоритм 0,12 Имитация K 7 K 6 K 10 K 24 0,12 0,14 0,12 K 36 K 6 0,12 0,12 0,12 отжига 0,12 K 7 0,12 0,12 0,10 K 6 K 22 0,12 0,12 K 6 K 24 0,10 0,12 Таблица 1.3 – Результаты оптимизации угла поворота для задачи анализа ультразуковых изображений почек J 1 / 2 J1 J2 J4 J SNR Случайный K 27 K 7 K 8 K 7 K 39 K 24 поиск 0,16 0,16 0,16 0,16 0,16 0,16 Генетический K 27 алгоритм 0,16 0,16 0,20 0,16 0,18 0,18 Имитация K 27 отжига 0,16 0,18 0,16 0,16 0,18 0,18 K 7 K 29 K 26 K 7 K 7 K 7 K 26 K 27 K 32 K 40 63 В таблице 1.3 приведены результаты экспериментальных исследований предложенного подхода к задаче распознавания ультразвуковых изображений почек. Для этой задачи наилучшим по значению ошибки распознавания критерием качества выглядит J 2 , а наилучшим алгоритмом оптимизации – обыкновенный случайный поиск. Общее качество распознавания уступает значениям, полученным ранее для другого набора изображений почек без согласования с текстурными свойствами обучающей выборки, что, прежде всего, свидетельствует о плохой повторяемости результатов для данной задачи, поскольку даже при использовании обычной процедуры отбора из большого числа признаков вероятность ошибочной классификации всё равно составляет 0,16. При этом в работе [68*] показано, что признаки на основе регрессии, описанные в [72] способны обеспечивать для этой задачи вероятность ошибочной классификации лишь в 0,21. Таблица 1.4 – Результаты оптимизации угла поворота для задачи анализа изображений компьютерной томографии лёгких Случайный J 1 / 2 J1 J2 J4 J SNR K 16 K 24 K 22 K 23 K 19 K 24 0,11 0,07 0,07 0,09 0,10 0,07 поиск Генетический K 6 K 24 K 6 K 29 K 24 K 24 алгоритм 0,07 0,07 0,09 0,07 0,07 0,07 Имитация K 29 отжига 0,07 0,07 0,07 0,06 0,10 0,07 K 24 K 30 K 27 K 16 K 24 В таблице 1.4 приведены результаты экспериментальных исследований изображений компьютерной томографии лёгких. Генетический алгоритм и алгоритм имитации отжига здесь показывают незначительно лучшие результаты оптимизации, чем метод случайного поиска. Критерии качества не особо отличаются эффективностью, но нужно отметить, что только 64 оптимизация критерия J 2 позволяет достичь наименьшего значения оценки вероятности ошибочного распознавания в 0,06 . В среднем для всех трёх осмысленных задач алгоритм случайного поиска обеспечивает оценку вероятности ошибочной классификации 0,122 при среднем размере эффективной группы признаков K 16,5 , генетический алгоритм – 0,123 при K 17, 4 , а алгоритм имитации отжига – 0,120 при K 20,7 . Это означает, что в случае оптимизации одного параметра, изменяющегося на небольшом промежутке, нет принципиальной разницы, какой алгоритм оптимизации использовать, хотя нужно отметить, что алгоритм имитации отжига незначительно превосходит своих конкурентов, поскольку обеспечивает в среднем более низкую вероятность ошибочного распознавания. Ожидаемо меньшая ошибка распознавания достигается использованием большей группы признаков. Рисунок 1.9 – Зависимость достоверности классификации от угла поворота изображения для различных практических задач Среди критериев качества признакового пространства наиболее эффективным в среднем по всем задачам является критерий J 2 (1.21). Он 65 обеспечивает среднюю оценку вероятности ошибочной классификации 0,118 при среднем размере эффективной группы признаков K 15, 44 , что совсем незначительно лучше аналогичных показателей у других критериев качества. Следует отметить, что при вычислении критериев J1 и J 2 на практике могут возникнуть проблемы реализации, связанные с высокой коррелированностью между различными признаками, которая при увеличении размера группы признаков только увеличивается, в результате чего с увеличением размера группы признаков определитель матрицы S приближается к нулю, так что поиск обратной матрицы становится вычислительно некорректной задачей. В этом случае следует выбрать лишь часть вектора признаков, чтобы уменьшить размер матрицы S и увеличить её определитель. На рисунке 1.9 изображены графики зависимости достоверности классификации (1.2), рассчитанной по обучающей выборке методом исключения одного объекта, от угла поворота изображения. Кривые соответствуют различным наборам биомедицинских изображений. Точки, по которым построен график, были получены в ходе процедуры оптимизации, основанной на алгоритме имитации отжига. Заметно, что для ультразвуковых изображений почек достоверность классификации меняется довольно хаотично, в то время как для рентгеновских изображений шейки бедра и для изображений компьютерной томографии лёгких зависимость выглядит плавной. Что касается наилучших углов поворота для различных задач, то в таблицах 1.2, 1.3 и 1.4 выделены ячейки, соответствующие лучшему сочетанию алгоритма и критерия оптимизации для данного набора данных. Выберем наилучший угол поворота, полученный в результате этих процедур оптимизации. Для рентгеновских изображений шейки бедра получается наилучший угол поворота b 2,492 , для ультразвуковых изображений почек – k 0 , для изображений компьютерной томографии лёгких – l 1,012 . В 66 очередной раз видно, что поворот ультразвуковых нефрологических изображений не улучшает качество диагностики. Большая часть результатов, приведённых в этом разделе, опубликована в работе [73*]. Наконец вычислим доверительные интервалы Агрести-Коула [74] для полученных наилучших оценок вероятности ошибочного распознавания. С вероятностью 0,95 вероятность ошибочного распознавания рентгеновских изображений костной ткани лежит на интервале 0,05;0,21 , ошибочного почек – распознавания изображений УЗИ вероятность на интервале 0,09;0,29 , а вероятность ошибочного распознавания изображений КТ почек – 0,02;0,14 . Был использован именно доверительный интервал Агрести-Коула, поскольку в работе [75] показано его преимущество перед стандартным интервалом Вальда при более чем 40 испытаниях. 1.8. Выводы 1. Разработка алгоритмов автоматической диагностики биомедицинских изображений и в частности построение и отбор информационных признаков являются трудноформализуемыми задачами, которые в большинстве случаев решаются эвристически. Между тем обобщённые математические методы формирования информационных признаков, автоматически настраивающиеся под конкретную задачу по обучающей выборке, способны значительно повысить достоверность распознавания и диагностики. 2. Параметрическая математическая модель признакового описания изображения, предполагающая оптимизацию параметров при использовании критерия качества признакового пространства в качестве целевой функции, позволяет унифицированно решать различные задачи распознавания, в том числе задачи текстурного анализа биомедицинских изображений. Конкретизация такой модели приводит к построению математических методов автоматического построения информационных признаков, учитывающих особенности конкретной задачи диагностики. 67 3. Использование оптимизации направления вычисления направленных текстурных признаков в качестве простейшего подхода к автоматическому построению информационных признаков обеспечивает снижение оценки вероятности ошибочного распознавания для задачи диагностики рентгеновских изображений костной ткани с 0,20 до 0,10, а также для задачи диагностики изображений компьютерной томографии лёгких с 0,11 до 0,06 в сравнении с использованием обычной процедуры отбора из большого числа разнородных признаков. 68 ГЛАВА 2. Разработка методов построения полиномиальных признаков 2.1. Полиномиальные признаки Будем строить информационные признаки, как многочлены на Ω . Определим мультииндекс [76] порядка q 0 , как вектор 1 2 D T , такой что k 1; D : k 0 и D k q . k 1 Кроме этого, введём на области интереса D отношение линейного порядка m , n m , n m 1 1 2 2 1 m2 m1 m2 n1 n2 и занумеруем все отсчёты m, n D в соответствии с ним, в результате чего D получим конечную последовательность отсчётов mk , nk k 1 , такую что i, j 1, 2,, D : i j mi , ni m j , n j . Обозначим I q множество всех мультииндексов порядка q . Тогда многочлен порядка q определяется как q D k P , mk , nk p 1 I p . (2.1) k 1 Здесь : I q – это коэффициенты перед соответствующими членами с мультииндексом . Таким образом, многочлены P , определены на множестве изображений Ω и образуют коммутативное кольцо над полем вещественных чисел [77]. Количество членов в одном многочлене порядка q 69 очевидно равно числу способов разбить число q на не более чем D целых неотрицательных слагаемых, то есть [78] q D 1 I q C p D 1 . (2.2) p 1 Заметно, что это число очень быстро растёт с увеличением q . Признаки из семейства (2.1) могут быть вычислены для заданного набора изображений и использованы в задаче обучения и классификации. В зависимости от выбранных коэффициентов при фиксированном классификаторе качество распознавания может быть лучше или хуже, так что закономерно, что задача построения полиномиальных признаков заключается в выборе , коэффициентов обеспечивающих наилучшее качество образует линейное распознавания. Кроме того, множество таких многочленов пространство над полем вещественных чисел, что означает, что любая линейная комбинация L q L D , m , n j P j 1 j j 1 k k p 1 I p k k 1 L D k j mk , nk p 1 I p j 1 k 1 q также является многочленом того же порядка. Это в свою очередь означает, что если набор полиномиальных признаков является оптимальным в некотором смысле, то нет смысла улучшать его с помощью метода главных компонент, дискриминантного анализа или другими способами, выполняющими линейное преобразование признакового пространства, поскольку в результате получатся признаки из этого же семейства, которые уже очевидно не являются оптимальными. Другим интересным замечанием является тот факт, что поскольку множество допустимых цифровых изображений Ω с конечной областью 70 интереса D конечно, существует многочлен достаточно большого порядка, который для всех допустимых изображений принимает в качестве значения номер класса соответствующего изображения [79]. Иными словами, одного полиномиального признака 1, 2, ˆ l , L, Ω1; Ω2 ; Ωl ; ΩL ; достаточно, чтобы идеально разделить все допустимые изображения Ω на классы. Классификатору же останется лишь вернуть класс с соответствующим номером: C x Ω x . Такая система распознавания эквивалентна идеальной системе распознавания . Другое дело, что построить её, используя при этом лишь обучающую выборку, не представляется возможным: для этого нужно располагать информацией о классе всех допустимых изображений. 2.2. Ограничения на полиномиальные признаки Разумеется, использовать признаки (2.1) в общем виде по многим причинам не удастся. В этом разделе на них будут наложены определённые ограничения с целью повышения их пригодности для применения на практике. Выделим 6 основных ограничений. 1. Ограничение размерности. Мы можем оценить лишь конечное количество неизвестных параметров информационного признака, не превышающее объём обучающей выборки. 2. Инвариантность к сдвигу. Признаки не должны меняться от сдвига координатного пространства, поскольку положение отсчёта в глобальной системе координат не несёт никакой информации о классе изображения. 71 3. Инвариантность к сдвигу яркости. Увеличение или уменьшение яркости всех отсчётов изображения на одну и ту же величину не должно влиять на признаки. 4. Инвариантность к размеру области интереса. Это не означает инвариантность к масштабу, но расширение области интереса на однородном текстурном изображении не должно приводить к существенным изменениям значений признаков. 5. Локальность. Признаки должны агрегировать локальные свойства текстуры на изображении, а не глобальные её изменения, поскольку далеко стоящие отсчёты никак не связаны друг с другом. 6. Ограниченность. Пространство параметров должно быть ограничено, в случае если процедура оптимизации не работает без ограничений. Первое существенное ограничение вытекает из размерности оптимизационной задачи. Для полинома порядка q требуется подобрать (2.2) неизвестных параметров, что грубо оценивается как q Iq C p 1 p D 1! 1 p! p ! D 1! q D 1 p D 1 p 1 q p 1 p D 1 k D q k p 1 p q D D . p! q! Учитывая, что на практике размеры изображений обычно D 105 , уже для полиномов второй степени имеем более 1010 / 2 неизвестных параметров. Для их оценки необходимо иметь как минимум столько же соотношений, каждое из которых вытекает из одного элемента обучающей выборки, однако на практике объём обучающей выборки обычно составляет порядка сотни изображений. Отсюда можно заключить, что мы не только ограничены в использовании многочленов низких степеней, но даже для них не можем использовать все без исключения коэффициенты. Другим логичным требованием является требование инвариантности к сдвигу изображения в пространстве, то есть к преобразованию вида m, n m m, n n . 72 Для линейной части полинома (2.1) D D k P1 , mk m, nk n I1 k mk m, nk n . k 1 k 1 Очевидно, что эта часть не зависит от сдвига, только если все соответствующие коэффициенты k const . Для квадратичной части полинома (2.1) D k P 2 , mk m, nk n I 2 k 1 D D i, j mi m, ni n m j m, n j n i 1 j 1 m1 , n1 , m2 , n2 m1 m, n1 n m2 m, n2 n . m1 ,n1 D m2 ,n2 D Рассмотрим дополненное нулями изображение m, n , ˆ m, n 0, m, n D ; m, n D . Коэффициенты также доопределим за пределы D . Если потребовать m , n , m , n ˆ m m, n n ˆ m 1 1 2 2 1 1 2 m, n2 n m1 n1 m2 n2 m , n , m , n ˆ m , n ˆ m , n , 1 1 2 2 1 1 2 2 m1 n1 m2 n2 то закономерно выходит m m, n n, m 1 1 2 m, n2 n ˆ m1 , n1 ˆ m2 , n2 m1 n1 m2 n2 m , n , m , n ˆ m , n ˆ m , n . 1 1 2 2 1 1 2 2 m1 n1 m2 n2 Это выполняется, например, когда при сдвиге координат коэффициенты не меняются, то есть m1 , n1 , m2 , n2 m1 m, n1 n, m2 m, n2 n m, n . 73 Последнее означает, что коэффициенты при квадратичных членах зависят только от сдвига между отсчётами, а не от расположения одного из них в глобальной системе координат. Таким образом, квадратичная часть многочлена может быть переписана в виде P 2 , 2 m , n m , n m , n m m , n n , (2.3) m ,n D m ,n где D m, n m, n D | m m, n n D – множество отсчётов из D , таких что сдвинутые на m, n отсчёты также лежат в D . Очевидно, количество имеющих смысл коэффициентов m, n составляет порядка D 2 штук, что всё ещё не позволяет осмысленно их подбирать. Третье ограничение на сдвиг яркости предполагает инвариантность к добавлению некоторой константы ко всем значениям яркости, то есть к преобразованию вида m, n m, n . Это преобразование соответствует общему засвечиванию или затемнению изображения, которое проявляется на практике, например, при неправильной настройке экспонирования регистрирующего оборудования. Для обеспечения инвариантности любого признака к такому сдвигу яркости целесообразнее всего выполнить предварительное нормализирующее преобразование изображения, заключающееся в вычитании среднего значения яркости: m, n 1 D m, n m, n m ,n D m, n 1 D m ,n D 1 D m, n m ,n D m, n m, n 1 D m, n . m ,n D В некоторых задачах среднее значение яркости само по себе может нести некоторую информацию о классе изображения, но и в этом случае имеет смысл просто использовать его в качестве отдельного признака, а все остальные 74 признаки высчитывать по нормализованным центрированным изображениям. В дальнейшем предполагается, что полиномиальные признаки вычисляются именно по таким изображениям. В этом случае линейная часть многочлена P1 , 1 D m ,n D m, n 1 D m, n 1 D m,nD m ,n D m,nD m, n m, n 0 . m ,n D m,nD Это означает, что в условиях второго и третьего ограничений глобальные линейные признаки вообще не имеют никакого смысла. Информацию о текстуре на изображении несут как минимум квадратичные признаки. Теперь добьёмся независимости признаков (2.3) от размера области интереса D . Для этого нормируем все суммы по отсчётам изображения на количество слагаемых в них: m, n m, n m m, n n P 2 , m ,n D m ,n D m, n 2 m ,n . (2.4) Теперь коэффициент при каждом слагаемом зависит от размера области интереса, но это обеспечивает общую инвариантность построенных признаков к изменениям размера этой области. Осталось только наложить пятое ограничение и тем самым ещё снизить количество неизвестных параметров. Для текстурных изображений характерно, что яркость отсчёта зависит только от яркости некоторых соседних с ним отсчётов, и значительно меньше зависит от яркости далеко стоящих отсчётов. Если считать изображения реализациями некоторых стационарных эргодических случайных полей, то это свойство означает, что речь идёт о Марковском поле [62]. 75 Для каждого m, n D отсчёта определим его окрестность m, n : D 2 D . Будем считать, что яркость m, n зависит только от яркостей отсчётов из его окрестности m, n . Квадратичные полиномиальные признаки в форме (2.3) представляют собой суммирование произведений признаков, стоящих друг относительно друга в определённых конфигурациях, причём коэффициент при яркостях отсчётов, стоящий в одинаковой конфигурации, также одинаков. Это означает, что часть суммы для фиксированной пространственной конфигурации m, n характеризует взаимосвязь между отсчётами, находящимися на расстоянии m по одной координате и n по другой. Поскольку нас интересует только взаимосвязь между соседними отсчётами, то нет смысла учитывать большие значения m и n . Определим на множестве метрику D m1 , n1 , m2 , n2 и все окрестности определим одинаково: m, n i, j D | m, n , i, j d . (2.5) В этом случае если ввести на множестве D m, n 2 | m1 , n1 , m2 , n2 D : m1 m2 m n1 n2 n норму m1 m2 , n1 n2 m1, n1 , m2 , n2 , то квадратичные признаки (2.4) можно переписать в виде P 2 , 2 m ,n D m ,n m , n m , n d учитывая, что m, n 0 для Логично m , n определить D m, n m, n метрику и m, n m m, n n , (2.6) d. норму, так чтобы окрестности представляли собой прямоугольные окна: m1 , n1 , m2 , n2 m1 m2 , n1 n2 max m1 m2 , n1 n2 . 76 В этом случае квадратичные признаки (2.6) окончательно примут вид P 2 , m ,n Wd m, n D m, n m, n m m, n n , (2.7) m ,n D m ,n где Wd – окно размера 2d 1 2d 1 : Wd d ; d 2 . 2 (2.8) Ограничив так зависимость между отсчётами изображения, удалось добиться сокращения количества неизвестных коэффициентов, поскольку большую часть из них мы положили равными нулю. В признаке (2.7) количество неизвестных параметров оценивается как 2 Wd 2d 1 2 Iq Od 2 2 и не зависит от размера изображения. Размер окна делится пополам, поскольку противоположные направления неотличимы, то есть m, n Wd : m, n m, n . (2.9) Остаётся лишь выбрать радиус окна d исходя из объёма обучающей выборки U , так чтобы 2d 12 U , 2 ведь иначе количество неизвестных параметров превысит количество измерений. Например, для обычной выборки из 100 изображений, нельзя брать окно размерами более чем 13 13 . При этом желательно всё же выбирать окно меньших размеров, чтобы уменьшить число степеней свободы в процедуре оптимизации и повысить тем самым её качество. В случае использования общих итеративных процедур глобальной оптимизации, пространство, из которого выбираются неизвестные коэффициенты, также должно быть ограничено, поскольку такие процедуры должны выбирать точку оптимума из ограниченной области. В случае если 77 удобнее решать задачу оптимизации с ограничениями, то можно положить, 2 d 12 например, Θ 1; 1 2 , а иначе Θ 2 d 1 . Обозначим Rˆ m, n 1 D m, n m, n m m, n n – (2.10) m ,n D m ,n оценка ковариационной функции изображения, но не нормированной, как (1.32), а обычной. Тогда квадратичные признаки (2.7) запишутся более коротко, как линейная комбинация отсчётов таких ковариационных функций: P 2 , m, n Rˆ m, n . (2.11) m ,n Wd 2.3. Критерии качества полиномиальных признаков Сначала найдём способ выбора оптимальных параметров для одного квадратичного признака (2.11). Поскольку доля правильных распознаваний (1.2) зависит от закона распределения, а расстояние Бхатачария (1.9) предполагает, что распределение нормальное, и само по себе сложно для аналитического исследования, остановимся на критериях дискриминантного анализа. Поскольку, признак всего один, а многочлены принимают значения из множества вещественных чисел, то признаковое пространство Ξ . В этом случае внутриклассовые математические ожидания (1.13) также являются вещественными числами, а корреляционные матрицы (1.14) вырождаются в соответствующие дисперсии. Так S 0; – средняя внутриклассовая дисперсия (1.15), а S0 – дисперсия смеси распределений. Тогда критерии (1.20), (1.21) и (1.23) перепишутся проще: J1 J 4 S0 , S J 2 ln J1 ln J 4 ln S0 . S 78 Очевидно, что все эти критерии достигают максимума в одной и той же точке Θ , поскольку x, y 0 : x y ln x ln y . Если S 0 , то объекты распознавания идеально разделяются построенным признаком в случае S0 0 , либо вообще неотличимы в случае S0 0 . Если выписать ковариации (2.10) в вектор с учётом (2.9) k d 1 k d 1 x k Rˆ , k 2d 1 1 2d 1 2d 1 k d 1 k d 1 Rˆ , k 2 d 1 2d 1 1 2 d 1 (2.12) и рассмотреть образованное ими признаковое пространство, то решение задачи об оптимальном выборе коэффициентов Θ сводится к известной процедуре, описанной в [40]. Для этого рассмотрим матрицы рассеяния смеси распределений (1.19) и матрицы среднего внутриклассового рассеяния (1.15) для векторов признаков x . Решим задачу о поиске собственных чисел и собственных векторов матрицы S1S j . Допустим j – это собственные числа такой матрицы, упорядоченные по невозрастанию, то есть i j i j , а v j – это соответствующие им собственные векторы. Тогда следует выбрать m, n v1 m 1 2d 1 n , то есть просто выбрать в качестве коэффициентов компоненты собственного вектора матрицы S1S j , соответствующего её наибольшему собственному числу. Это обеспечивает максимум критериев (1.20), (1.21) и (1.23) для получившегося признака. Аналогичным образом, если требуется выбрать лучшую группу из 2 1 k 2d 1 / 2 признаков (2.11), для этого можно выбрать k собственных векторов v j матрицы S1S j , соответствующих k наибольшим собственным числам, и использовать в качестве признаков j vTj x . Однако такой подход 79 обеспечивает максимум лишь критериев (1.20) и (1.21). Такой подход называется методом главных компонент. Рассмотрим другой критерий качества группы квадратичных признаков (2.11), построенный не как отношение рассеяний S0 и S , а как их разность: J diff tr S0 S tr S 0 tr S . (2.13) Как и прочие критерии дискриминантного анализа, он увеличивается с увеличением рассеяния между классами и уменьшением рассеяния внутри классов. Для одного признака он принимает вид J diff S0 S , поскольку матрицы вырождаются до обычных вещественных чисел. Кроме того, этот критерий обладает свойством аддитивности, то есть его значение для некоторого набора признаков равно сумме значений этого же критерия для отдельных признаков: J diff n J n j j 1 j 1 diff . j Обозначим U 0 U . Тогда с учётом (2.11) для одного признака и двух классов объектов распознавания можно записать 1 Sl Ul 1 Ul 1 P 2 , Ul U l U l 2 , P 2 U l m, n Rˆ m, n m ,n Wd 2 1 Ul 1 Ul ˆ m , n R m , n U l m ,n Wd m, n Rˆ m, n U l m ,n Wd 2 1 m, n Ul m ,n Wd Rˆ m, n U l 80 1 Ul ˆ m, n 1 m , n R Ul U l m ,n Wd 2 ˆ R m , n , U l а сам критерий 1 1 J diff S0 S1 S2 . 2 2 (2.14) Необходимое условие экстремума функции многих переменных [80]: m, n Wd : J diff m, n 0, что в силу линейности оператора дифференцирования означает m, n Wd : S0 1 S1 1 S2 0. m, n 2 m, n 2 m, n 2 Обозначим центрированные ковариации 1 Rl m, n | Rˆ m, n Ul Rˆ m, n u uU l и рассмотрим отдельно Sl 1 m, n U l 1 Ul 2 m , n R m , n | l U l m, n m ,n Wd 2 R m , n m , n R m , n | l l m U l , n W d m, n m ,n Wd 2 Ul R m, n | R m, n | . l l U l Подставим это в (2.14): J diff m, n 1 U1 m ,n Wd 2 U0 m, n R m, n | R m, n | 0 R1 m, n | R1 m, n | U1 0 U 0 1 U2 Обозначим оператор переиндексации R m , n | R m , n | . 2 2 U 2 81 k d 1 k d 1 , k 2d 1 1 2d 1 2d 1 и снова рассмотрим вектор параметров k k , где k (2.15) 2d 12 k 1; . 2 Задача о поиске вектора параметров , максимизирующего критерий (2.13) заключается в решении однородной системы линейных алгебраических уравнений вида A 0 , (2.16) где A i, j 1 U2 2 U0 1 R i | R j | U R i | R j | 0 0 1 U 0 1 1 U1 R i | R j | . 2 2 U 2 Такая матрица на практике всегда невырожденная, так что существует единственное тривиальное решение СЛАУ (2.16) m, n 0 , при котором J diff 0 , что очевидно является минимумом критерия, а не максимумом. Других экстремальных точек у функции (2.13) нет, так что её можно бесконечно увеличивать, увеличивая рассеяние между классами. Это означает, что описанный признак никак не характеризует разделимость классов, ведь для фиксированных разделимостей между классами и внутри классов можно до бесконечности увеличить значение критерия, увеличивая оба значения разделимостей одновременно. Тем не менее, задача оптимизации такого критерия всё же может иметь смысл в случае наличия ограничений на параметры , при которых множество их возможных значений Θ ограничено. Ещё одним подходом к попыткам разработать простой критерий качества признакового оптимальные пространства, значения позволяющий параметров, является аналитически требование получить определённых 82 значений признаков для определённых классов объектов. Например, будем строить признаки (2.13) так, чтобы для объектов из класса Ω l они принимали значения как можно более близкие к l . Тогда критерием качества признакового пространства можно считать L J l 1 1 Ul P 2 , l U l 2 . (2.17) По сути, такой критерий отличается от предыдущего критерия (2.13) тем, что середины классов в признаковом пространстве заданы явно, а не выбираются в ходе процедуры оптимизации. А сама задача об оптимизации этого критерия представляет собой задачу аппроксимации заданной дискретной функции l полиномами (2.10) с помощью метода наименьших квадратов. В качестве требуемых значений признаков можно использовать, например, l l , или в случае двух классов 1 1 и 2 1 . Для решения задачи оптимизации критерия (2.17) снова рассмотрим его производные: L J 1 d , l m, n l 1 U l d m, n Ul P 2 2 2 1 d ˆ m , n R m , n l l 1 U l d m, n U l m ,n Wd L L l 1 1 Ul L 1 l 1 U l ˆ ˆ R m , n m , n R m , n l m, U l n W d Rˆ m, n U l L ˆ m, n R m, n l l 1 U l m ,n Wd L m ,n Wd m, n l 1 1 Ul L l ˆ ˆ R m , n R m , n U l l 1 U l Rˆ m, n U l Rˆ m, n . U l Необходимое условие экстремума такой функции имеет вид L 1 m, n l 1 U l m ,n Wd L ˆ ˆ R m, n R m, n l U l l 1 U l Rˆ m, n . U l 83 Оно также представляет собой СЛАУ, но уже неоднородную, то есть в виде A b , (2.18) где L A i, j l 1 1 Ul Rˆ i Rˆ j U l и L b i l 1 l Ul Rˆ i . U l Поскольку матрица A на практике всегда невырожденная, такая задача имеет единственное решение. Для решения можно воспользоваться, например, LU-разложением матрицы A , как это реализовано в LAPACK [81]. Задача о построении группы признаков (2.11), эффективной по критерию (2.17), не имеет смысла, поскольку признаки тем эффективнее, чем ближе вектор параметров к оптимальному вектору параметров ˆ , полученному в результате решения задачи (2.18), однако слишком близкие векторы параметров порождают сильно коррелированные признаки, которые не несут никакой новой информации об изображении. Что касается остальных критериев, использующихся в предыдущем разделе, аналитически получить для них процедуру оптимизации не представляется возможным, так использование итерационных критерий (1.2) как наиболее что единственным численных связанный методов. с выходом Особенно вероятностью видится интересен ошибочной классификации, а также родственный ему критерий (1.9). Для полноты картины также предлагается использовать те же общие процедуры оптимизации для критерия (1.24). Однако теперь речь идёт о выборе вектора Θ 1; 1 K а не одного числа, так что нужно переопределить некоторые параметры алгоритмов оптимизации для этого случая. Здесь имеется в виду 84 2d 12 K – 2 размерность признакового пространства. Нужно также отметить, что для этих алгоритмов имеет смысл выбирать параметры только с ограничениями, поскольку они не работают для задачи безусловной оптимизации. Для генетического алгоритма следует определить операторы скрещивания и мутации. В предыдущей главе уже описаны подходы к построению операторов скрещивания c 1 , 2 для скалярных величин 1 , 2 , а это значит, что можно определить оператор скрещивания для векторов покомпонентно: c 1 , 2 c 1 k , 2 k k 1,2,, K . Оператор мутации также можно определить похожим образом. Для этого нужно определить непрерывное многомерное вероятностное распределение на 1; 1 K , такое что его плотность вероятности тем больше, чем ближе точка к заданной точке , мутация которой осуществляется. Для алгоритма имитации отжига требуется определить оператор выбора очередной точки, в качестве которого, как и прежде, можно использовать оператор мутации из генетического алгоритма. 2.4. Экспериментальное исследование качества квадратичных признаков Для экспериментального исследования эффективности предложенного подхода к построению признаков были проведены серии экспериментов, подобные тем, что проводились для исследования автоматической настройки угла поворота в предыдущей главе. Использовались те же 4 набора изображений: изображения риса из Kylberg Texture Dataset [69], а также рентгеновские изображения шейки бедра, ультразвуковые изображения почек и изображения компьютерной томографии лёгких. Схема экспериментов также аналогична схеме, изображённой на рисунке 1.8, только вместо настройки угла 85 поворота производилась настройка коэффициентов m, n квадратичных признаков (2.11). Эта настройка в каждой серии экспериментов представляла собой решение оптимизационной задачи с различными критериями качества системы распознавания в качестве целевой функции и с различными алгоритмами оптимизации. Таким образом, одна серия экспериментов характеризовалась тремя параметрами: набор изображений, критерий качества и алгоритм оптимизации. Для каждой серии экспериментов по контрольной выборке оценивалась вероятность ошибочного распознавания, а также в процессе отбора признаков определялось оптимальное количество признаков. В качестве критериев качества, как и ранее, оценка вероятности правильной классификации J (1.2), расстояние Бхатачария 1 / 2 (1.9), три критерия дискриминантного анализа: J1 (1.20), J 2 (1.21) и J 4 (1.23), а также критерий, основанный на отношении расстояния между распределениями к разбросу их значений J SNR (1.24). Кроме этого использовались два новых критерия: критерий, основанный на разности рассеяний J diff (2.13), и основанный на аппроксимации по методу наименьших квадратов критерий J (2.17). В качестве итерационных процедур глобальной оптимизации, как и ранее, использовались метод случайного поиска, генетический алгоритм и алгоритм имитации отжига. Ранее было показано, что существует единственный набор параметров m, n , порождающий квадратичный признак (2.11), оптимальный по критерию J (2.17), причём для вычисления этого набора параметров не нужно применять итерационную процедуру оптимизации. Поэтому для оптимизации этого критерия использовался исключительно метод наименьших квадратов, приводящий к решению СЛАУ. Чтобы провести сравнение критерия J с другими, были проведены отдельные серии экспериментов по получению единственного оптимального признака для других сочетаний критериев и 86 процедур оптимизации. В случае единственного признака критерии J1 , J 2 и J 4 ведут себя абсолютно одинаково, поэтому в экспериментах использовался только критерий J1 . Между тем отбор группы из нескольких квадратичных признаков может повысить количество извлекаемой информации о классе изображения и повысить качество распознавания. Для определённости во всех сериях экспериментов строилась группа из 13 квадратичных признаков (2.11). В этом случае для оптимизации критериев J1 и J 2 использовалась описанная ранее процедура дисперсионного анализа, основанная на методе главных компонент. Эти критерии ведут себя одинаково, так что на практике использовался только критерий J1 . Количество итераций для всех итерационных алгоритмов во всех экспериментах составляло N opt 200 . Это в 10 раз больше, чем использовалось для настройки угла поворота, поскольку при настройке параметров квадратичных признаков для вычисления значения целевой функции требуется примерно в столько раз меньше времени. Параметрами оптимизационных процедур были выбраны размер популяции генетического алгоритма N pop 10 , вероятность генетической мутации pmut 0,1 , начальная температура в имитации отжига t0 10 . Выбранные ограничения на искомые коэффициенты для итерационных процедур оптимизации составили 1 m, n 1 . В остальном параметры экспериментов не отличались от случая оптимизации угла поворота, описанного в первой главе. В таблице 2.1 выписаны ошибки распознавания, полученные в ходе различных процедур оптимизации единственного квадратичного признака для набора изображений рисовых зёрен, примеры которых показаны на рисунке 1.7. Видно, что даже на такой простой задаче одного признака может быть недостаточно для эффективного распознавания. В таблице 2.2 выписаны соответствующие ошибки распознавания, полученные в ходе различных 87 процедур оптимизации единственного квадратичного признака для набора рентгеновских изображений костной ткани, примеры которых показаны на рисунке 1.2. Разумеется, эффективность системы распознавания для этой задачи не такая высокая, как для зёрен риса. Таблица 2.1 – Результаты оптимизации единственного признака при анализе изображений риса J 1 / 2 J SNR J diff Случайный поиск 0,01 0,01 0,02 0,01 Генетический алгоритм 0,03 0,01 0,01 0,01 Имитация отжига 0,01 0,00 0,01 0,01 Таблица 2.2 – Результаты оптимизации единственного признака при анализе рентгеновских изображений шейки бедра J 1 / 2 J SNR J diff Случайный поиск 0,18 0, 24 0, 22 0, 24 Генетический алгоритм 0,16 0,10 0, 22 0,34 Имитация отжига 0, 24 0,30 0,18 0,32 Таблица 2.3 – Результаты оптимизации единственного признака при анализе ультразвуковых изображений почек J 1 / 2 J SNR J diff Случайный поиск 0,38 0, 42 0, 49 0, 40 Генетический алгоритм 0, 40 0,36 0, 42 0,64 Имитация отжига 0, 40 0, 44 0,38 0,33 В таблице 2.3 выписаны соответствующие ошибки распознавания полученные в квадратичного ходе различных признака для процедур набора оптимизации ультразвуковых единственного нефрологических изображений, примеры которых изображены на рисунке 1.3. К сожалению, эффективность построенной системы распознавания для этой задачи оставляет желать лучшего. В таблице 2.4 выписаны соответствующие ошибки 88 распознавания полученные в ходе различных процедур оптимизации единственного квадратичного признака для набора изображений компьютерной томографии лёгких, примеры которых изображены на рисунке 1.4. Можно заметить, что одного квадратичного признака не достаточно для данной задачи. Таблица 2.4 – Результаты оптимизации единственного признака при анализе изображений компьютерной томографии лёгких J 1 / 2 J SNR J diff Случайный поиск 0,38 0, 23 0,32 0,34 Генетический алгоритм 0,38 0, 26 0,30 0,35 Имитация отжига 0,30 0,35 0, 24 0,38 Таблица 2.5 – Результаты оптимизации группы признаков при анализе изображений риса J Алгоритм оптимизации 1 / 2 K K J diff J SNR K J4 K K Случайный поиск 0,00 1 0,00 7 0,00 2 0,00 4 0,00 5 Генетический алгоритм 0,00 7 0,00 4 0,00 1 0,00 2 0,01 1 Имитация отжига 0,00 1 0,00 2 0,00 4 0,00 13 0,00 3 Таблица 2.6 – Результаты оптимизации группы признаков при анализе рентгеновских изображений шейки бедра J Алгоритм оптимизации 1 / 2 K K J diff J SNR K J4 K K Случайный поиск 0,18 1 0,14 2 0,24 5 0,20 5 0,16 3 Генетический алгоритм 0,16 1 0,10 1 0,22 2 0,10 3 0,06 5 Имитация отжига 0,24 1 0,14 2 0,12 2 0,10 5 0,06 4 В таблице 2.5 записаны результаты построения группы квадратичных признаков для изображений риса. Подразумевается, что – это минимальная оценка вероятности ошибочного распознавания по всем группам признаков, полученных в ходе процедуры, основанной на критерии дискриминантного 89 анализа, подобная которой была описана в работе [67*], а K – это минимальное количество признаков, которое обеспечивают эту вероятность ошибочного распознавания. В очередной раз заметно, что задача распознавания сортов риса по изображению является весьма простой и успешно решается любым способом. Таблица 2.7 – Результаты оптимизации группы признаков при анализе ультразвуковых изображений почек J Алгоритм оптимизации 1 / 2 K K J diff J SNR K Случайный поиск 0,22 9 0,23 13 0,16 8 Генетический алгоритм 0,26 3 Имитация отжига 0,26 3 J4 K K 0,26 2 0,26 7 0,28 5 0,28 10 0,30 3 0,26 2 0,26 4 0,26 12 0,26 13 0,30 2 Таблица 2.8 – Результаты оптимизации группы признаков при анализе изображений компьютерной томографии лёгких J Алгоритм оптимизации 1 / 2 K K J diff J SNR K J4 K K Случайный поиск 0,20 7 0,06 6 0,17 12 0,16 10 0,13 7 Генетический алгоритм 0,15 4 0,23 7 0,18 13 0,20 11 0,12 4 Имитация отжига 0,23 9 0,17 4 0,16 5 0,16 13 0,15 7 Таблица 2.9 – Результаты исследования эффективности критерия качества J1 для K 1 для K 13 Набор данных J1 Изображения риса 1,09 0,00 0,00 1 Рентген шейки бедра 0,91 0,26 0,18 11 УЗИ почек 0,98 0,58 0,14 7 КТ лёгких 0,90 0,40 0,20 13 K В таблице 2.6 аналогичным образом представлены результаты для задачи диагностики остеопороза по изображениям костной ткани. Оценка вероятности ошибочного распознавания более чем обнадёживает. Никакой другой метод не 90 показывал таких хороших результатов на этом наборе данных. В таблице 2.7 таким же образом представлены результаты для задачи диагностики пиелонефрита по ультразвуковым изображениям почек, а в таблице 2.8 – результаты для задачи диагностики эмфиземы на изображениях компьютерной томографии лёгких. К сожалению, для этих задач результаты не настолько оптимистичны. Они совпадают с результатами для оптимизации угла поворота из предыдущей главы. Между тем, для задачи диагностики эмфиземы по изображениям компьютерной томографии лёгких результаты всё равно превосходят описанные в предыдущих работах. Таблица 2.10 – Результаты исследования эффективности критерия качества J Набор данных J Изображения риса -0,35 0,00 Рентген шейки бедра -8,38 0,18 УЗИ почек -3,83 0,38 КТ лёгких -3,18 0,34 В таблице 2.9 отдельно представлены все результаты для критерия качества J1 , поскольку для его оптимизации используются не итеративные процедуры, а дискриминантный анализ, описанный в [40]. Столбцы в таблице обозначают соответственно решаемую задачу, наилучшее значение критерия для отдельного признака, оценка вероятности ошибочного распознавания при выборе отдельного признака, наилучшая оценка вероятности ошибочного распознавания для группы признаков и минимальный размер группы признаков, при котором достигается эта оценка. Следует отметить, что этот критерий оказался лучшим для имеющегося набора изображений УЗИ почек, поскольку никакими другими способами не удавалось получить такую низкую оценку для вероятности ошибочного распознавания. Похожим образом в таблице 2.10 представлены результаты для критерия J , но для него оптимальным является только один признак, так что построение группы признаков по этому критерию лишено смысла. Результаты 91 выглядят сравнимыми с результатами итерационных процедур оптимизации. Одного признака явно не достаточно для прикладных задач, однако полученный этим способом признак может использоваться вместе с другими. Доверительные интервалы Агрести-Коула для наилучших оценок вероятностей ошибочного распознавания составляют для рентгеновских изображений шейки бедра – 0,06;0,28 , 0,01;0,17 , для изображений УЗИ почек – для изображений КТ лёгких – 0,02;0,14 . Все доверительные интервалы приведены для уровня значимости 0,05 . 2.5. Устойчивость алгоритмов распознавания при автоматическом реальных биомедицинских построении признаков Не самой приятной особенностью изображений является наличие шумов, возникающих при регистрации этих изображений с помощью различного рода оптических систем и датчиков. В результате вместо реального дискретизированного изображения m, n наблюдается искажённое изображение m, n Vnoise m, n , которое так же может принадлежать множеству объектов распознавания Ω , но относиться к другому классу m, n m, n . Из-за этого качество распознавания даже у идеальной системы может значительно снижаться. Для неидеальной построенной системы распознавания шумы на изображении вносят вклад в ошибку распознавания в дополнение к ошибке из-за качества самой системы. Обычно для вычислительной задачи y A x , состоящей в нахождении значения функции A x , которая отображает заданный элемент x некоторого нормированного векторного нормированного векторного пространства пространства X в Y, элемент под y другого вычислительной устойчивостью понимается непрерывность функции A x . Иными словами, вычислительная задача y A x называется вычислительно устойчивой, если для любой наперёд заданной абсолютной погрешности 0 результата 92 вычислений можно подобрать такую зависящую от неё погрешность входных данных, что для всех точных входных данных x X и всех их искажённых вариантов x X из ограниченности ошибки входных данных x, x следует ограниченность ошибки результата вычислений A x , A x [82]. Формально 0 x, x X : x , x A x , A x . Понятно, что для задачи распознавания образов такое определение устойчивости не вполне подходит, поскольку сам оператор распознавания отображает в конечное множество значений, что означает, что расстояние между ними всегда ограничено. Ошибка распознавания (1.8), которую можно оценить по заданной контрольной выборке, также ограничена единицей, так как представляет собой вероятность ошибочного распознавания. Большинство критериев качества системы распознавания, описанных в предыдущих разделах, также всегда ограничено. Так формально рассматриваемые задачи всегда устойчивы, однако существенное изменение значений признаков, ошибки распознавания или определяемых классов объектов при незначительных шумах на изображениях свидетельствует о низком качестве системы распознавания. Для анализа устойчивости алгоритмов распознавания уже использовалось исследование устойчивости вычисления признаков и оценивание максимального отклонения погрешности распознавания [32]. То есть вместо фактически вычислительной устойчивости оператора распознавания исследуется вычислительная устойчивость оператора вычисления признаков , а также оценивается величина отклонения погрешности распознавания . Это выглядит логично, поскольку если для ограниченного зашумления изображения признаки могут неограниченно меняться, то задача распознавания полученных векторов и вовсе некорректна. При этом в условиях устойчивости 93 оператора вычисления признаков разумные ограничения на погрешность распознавания дают определённые гарантии качества системы распознавания. Как на обычных рентгеновских изображениях, так и на изображениях компьютерной томографии шумы возникают в результате неравномерной интенсивности рентгеновского излучения, загрязнений и повреждений приёмника, а также дискретизации при оцифровке изображения [83]. На искажения ультразвуковых изображений кроме схожих факторов влияет также трудноподавляемый спекл-шум, возникающий из-за интерференции ультразвуковых волн, отражённых от различных тканей [84]. Учёт спекл-шума довольно сложен и представляет собой отдельную задачу, а все остальные искажения могут быть хорошо описаны простейшей моделью аддитивного гауссовского белого шума: m, n m, n v m, n , (2.19) где v m, n – это независмые случайные величины, распределённые по гауссовскому закону с нулевым математическим ожиданием и некоторой дисперсией v2 . Также шум считается статистически не зависящим от сигнала. В нашем случае оператор вычисления квадратичных признаков (2.11) является вычислительно устойчивым, поскольку P 2 , P 2 , m, n Rˆ m, n m, n Rˆ m, n Rˆ m, n m, n Rˆ m, n Rˆ m, n . m ,n Wd m, n Rˆ m, n m ,n Wd m ,n Wd m ,n Wd Таким образом, вопрос об устойчивости оператора вычисления признаков (2.11) сводится к вопросу об устойчивости вычисления корреляционной функции сигнала. 94 Однако обыкновенный алгоритм оценивания корреляционной функции сигнала является вычислительно неустойчивым, что легко продемонстрировать на примере сигнала, состоящего всего из двух элементов: x 1 и x 2 . Оценка корреляционной функции такого сигнала в точке 1 R2 1 x 1 x 2 2 1 x 1 x 2 . 4 Зададимся заранее величиной 0 , на которую допустимо отклонение корреляционной функции и предположим x 1 / 2 , x 1 / 2 , x 2 a и x 2 a . Абсолютная погрешность вычисления корреляционной функции составляет x 1 x 2 2 2 1 1 x 1 x 2 x 1 x 2 x 1 x 2 4 4 2 2 a 1 1 a a a 2 4 2 4 2 2 2 2 1 1 2 a a a 4 2 4 2 2 a 2 a 2 a 2 a 2 2 a 2 a a . 4 4 16 4 4 16 2 2 2 2 Видно, что какую бы маленькую мы не выбрали, всё равно найдётся сигнал с настолько большим значением a , что погрешность вычисления корреляционной функции будет превышать заранее заданный . Это означает, что для произвольного сигнала x n задача вычисления корреляционной функции является вычислительно неустойчивой, а значит, некорректной. Тем не менее, на практике такая задача всё же является вычислительно устойчивой в силу ограниченности сигнала. Цифровое изображение m, n может принимать значения яркости из конечного множества Q 0, Q 1 , то же верно и для его зашумлённой версии, что означает, что 95 m, n D : m, n Q m, n Q , так что погрешность вычисления корреляционной функции (2.10) Rˆ m, n Rˆ m, n 1 D m, n m, n m m, n n m ,n D m ,n m, n m m, n n m ,n D m ,n 1 D m, n m, n m m, n n m ,n D m ,n m, n m m, n n 1 D m, n m, n m m, n n m ,n D m ,n m, n m m, n n m, n m m, n n m, n m m, n n 1 D m, n m, n m m, n n m m, n n m ,n D m ,n m, n m, n m m, n n m ,n D m ,n 1 D m, n m, n m m, n n m m, n n m, n m, n m m, n n Q D m, n m ,n D m ,n m, n m, n . Выбрав m m, n n m m, n n 96 , 2Q и учитывая, что m, n m, n и m m, n n m m, n n , получаем Rˆ m, n Rˆ m, n Q D m, n . 2Q m ,n D m ,n 2Q То есть для ограниченных сигналов задача оценивания корреляционной функции, а, следовательно, и задача вычисления квадратичных признаков (2.7) является устойчивой. Однако устойчивость оператора вычисления признаков не вполне характеризует эффективность работы всей системы распознавания в условиях наличия шумов. Для анализа этого аспекта работы системы распознавания целесообразно оценивать общую погрешность результатов обработки изображений такой системой, как это сделано в работе [32]. К сожалению, получить аналитическое выражение для каких-либо погрешностей в случае квадратичных признаков и уж тем более в случае оптимизации угла поворота не представляется экспериментально возможным, оценить так что вместо зависимость этого вероятности предлагается ошибочного распознавания (1.8) от уровня шума, как в работе [85]. Уровень аддитивного гауссовского белого шума, описываемого моделью (2.19), определяется отношением сигнал-шум [86] RSNR где 2 2, v 2 – исследования дисперсия исходного зависимости незашумлённого вероятности ошибочной изображения. классификации Для от 97 соотношения сигнал-шум используем лучшие значения параметров операторов вычисления признаков для конкретной задачи, проведём обучение системы распознавания на обучающей выборке U Ω , а контрольную выборку U Ω составим из зашумлённых изображений m, n , искусственно внося аддитивный гауссовский белый шум согласно модели (2.19). Изображения обучающей выборки будем считать не подверженными шумовым искажениям, поскольку на этапе разработки системы получить изображения высокого качества проще, чем на этапе эксплуатации. Если же качественные изображения в принципе отсутствуют для прикладной задаче даже для целей обучения системы, имеет смысл задуматься о восстановлении изображений перед их обработкой и распознаванием. Дисперсию исходного изображения 2 будем оценивать перед добавлением шума исходя из предположения, что входное изображение является реализацией стационарного эргодического случайного поля. На рисунке 2.1 показана зависимость ошибки распознавания от отношения сигнал-шум для различных задач. На верхнем графике изображены результаты, полученные при использовании оптимальных для соответствующей задачи направленных признаков из первой главы, а на нижнем – при использовании оптимальных квадратичных признаков (2.11). Графики выполнены в логарифмичекой шкале, что довольно обыкновенно для изображения подобного рода зависимостей. Для изображений почек на рисунке 2.1(б) значение вероятности ошибочного распознавания получилось больше 0,5, поскольку для этого набора данных не одинаковое количество изображений нормы и патологии, а добавление шума систематически изменяет значения признаков, как будет показано ниже, так что все изображения контрольной выборки просто были классифицированы в один и тот же класс. Самый очевидный вывод, который можно сделать из рисунка 2.1, – квадратичные признаки являются значительно более устойчивыми к шуму, чем направленные, несмотря на то, что последние также включают в себя 98 некоторые отсчёты корреляционной функции. Особенно хорошо это заметно на кривой, построенной для задачи распознавания изображений риса. Эта кривая является наиболее показательной, поскольку никакие внешние шумы и особенности самой задачи не вносят дополнительный вклад в ошибку распознавания: все незашумлённые изображения для этой задачи распознаются правильно. Также можно судить, что разработанные в настоящей работе системы распознавания не уступают в устойчивости системам, исследуемым в работе [85]. а) б) Рисунок 2.1 – Зависимость ошибки распознавания от отношения сигнал-шум: при использовании оптимальных направленных признаков (а), при использовании оптимальных квадратичных признаков (б) 99 Ещё одним соображением относительно устойчивости квадратичных признаков (2.11) является особенность поведения отсчётов ковариационной функции (2.10) при добавлении независимых отсчётов шума к отсчётам изображения согласно модели (2.19). Учитывая, что изображения m, n центрированы в силу введённых ограничений, истинная автоковариационная функция зашумлённых изображений m, n R m, n E m, n m m, n n E m, n E m m, n n E m, n v m, n m m, n n v m m, n n E m, n v m, n E m m, n n v m m, n n E m, n m m, n n E m, n v m m, n n E v m, n m m, n n E v m, n v m m, n n R m, n v2 m, n , где E – оператор математического ожидания, а 1, m 0 n 0; 0, m 0 n 0. m, n Это означает, что добавление шума влияет только на один из отсчётов ковариационной признаков функции, то пропорционально существенным фактором, есть систематически 0,0 . коэффициенту вносящим вклад изменяет в Это неустойчивость значение является системы распознавания. Для его исключения можно не включать этот отсчёт в формулу для признаков (2.11). 2.6. Выводы 1. Описание изображения с помощью параметрических полиномиальных признаков является наиболее общим в своём классе, и при должном наборе 100 параметров способно обеспечивать точное распознавание всех объектов за счёт неограниченного увеличения сложности и при условии отсутствия шумов. 2. Автоматическое снизить вероятность построение неверного квадратичных распознавания признаков при позволяет диагностике по рентгеновским изображениям костной ткани c 0,10 до 0,06 в сравнении с использованием оптимизации направления вычисления направленных признаков. Также квадратичные признаки обеспечивают незначительное превосходство в достоверности распознавания для задач распознавания ультразвуковых изображений почек и изображений компьютерной томографии лёгких. 3. Вероятность ошибочного распознавания менее подвержена воздействию шума на изображениях при использовании квадратичных признаков, чем при использовании набора оптимальных гетерогенных направленных признаков. 101 ГЛАВА 3. Модификации и приложения методов построения признаков 3.1. Эффективный алгоритм вычисления признаков, основанных на длинах серий В этом разделе описывается быстрый способ вычисления матриц длин серий (1.37), которые используются для вычисления соответствующих признаков. Пусть имеется цифровое изображение m, n : D 0, Q 1 , по которому требуется вычислить матрицу r i, j – количество серий длины j из подряд идущих в некотором направлении отсчётов изображения, имеющих один и тот же уровень яркости i . Дальнейшее вычисление признаков по этой матрице уже не представляет сложности. Для начала за время O D можно развернуть изображение на угол , чтобы всегда вычислять матрицу r i, j в горизонтальном направлении, не зависимо от требуемого направления, в котором должны располагаться серии. Это можно сделать геометрическим преобразованием координат, заданным матрицей Гивенса (1.38). Такой подход решает проблему анизотропности квадратного растра, хотя и создаёт определённые искажения из-за дискретизации. После этого введём на новой повёрнутой области интереса D' отношение линейного порядка m , n m , n m m m 1 1 2 2 1 2 1 m2 n1 n2 и перепишем значения отсчётов изображения в отдельный вектор с сохранением порядка. Для этого занумеруем множество M m | n : m, n D' и рассмотрим конечную последовательность слоёв изображения M M k k 1 mk ,: | mk Mk 1 . Далее нужный вектор 102 a (k ) 1 1 2 1 1 M T . Иными словами, просто выпишем отсчёты изображения, попадающие в область интереса, в длинный одномерный вектор в Z-развёртке, вставляя между элементами, находящимися на разных строчках некоторый элемент, который не может быть значением яркости на изображении. Последнее нужно, чтобы отсчёты с одинаковой яркостью на разных строчках изображения не считались находящимися в одной серии. Очевидно, длина вектора a составляет l D max ' m min ' m O D . Теперь задача о построении матрицы m ,n D m ,n D (1.37) по двумерному изображению m, n свелась к такой же задаче построения матрицы по одномерному вектору, длина которого того же порядка, что и площадь исходного изображения. Далее последовательно просмотрим каждый элемент вектора a и построим матрицу B i, j – количество серий длины j из подряд идущих элементов, имеющих значение i , но без учёта того факта, что длинная серия одинаковых элементов содержит также некоторое количество более коротких T серий. Иными словами, разобьём вектор на блоки a a1 a2 al l1 , l2 ,, ll , такие что длиной k 1,2,, l i, j 1,2,, lk : ak i ak j и k 2,, l : ak 1 1 ak 1 , после чего положим A i, j k 1, 2, , l | ak 1 i lk j . Нужно отметить, что для прямоугольного изображения размера M N максимальная длина серии может составлять N M N при направлении / 4 , хотя при этом D MN . Осталось лишь учесть, что каждая серия длины j содержит также j n 1 серий длины n, которые получаются просто сдвигом соответствующей серии подряд идущих отсчётов на один отсчёт. Заметим, что 103 каждая строчка матрицы A , по сути, может рассматриваться отдельно, поскольку нет никакой взаимосвязи между сериями разных яркостей. Итак, окончательный ответ на задачу может быть получен, как N r i, j n j 1 A i, n AB , n j где 0 0 1 2 1 0 B i, j 3 2 1 N N 1 N 2 0 0 i j 1, i j; 0 i j. 0, 1 Однако умножение на нижнетреугольную матрицу всё ещё не слишком вычислительно эффективно. Вместо этого можно заметить, что N N N r i, j n j 1 A i, n n j A i, n A i, n n j n j N n j N N n j A i, n A i, n r i, j 1 A i, n . n j 1 n j (3.1) n j Для j N очевидным образом r i, j A i, j . Допустим, что для j N верно, что r i, j – это просто суффиксная сумма суффиксных сумм: N N r i, j A i, m . n j mn Проверим это предположение по индукции для j 1 , воспользовавшись рекуррентным соотношением (3.1): N r i, j 1 r i, j N N N N N A i, n A i, m A i, n A i, m , n j 1 n j mn n j 1 n j 1 m n что и требовалось показать. Таким образом, каждая строчка матрицы длин серий может быть вычислена на месте путём последовательного построения вектора постфиксных сумм дважды. 104 Окончательно оформим предложенный подход в виде алгоритма, написанного на псевдокоде, подобном языку, использующемуся в [87]. вычислить_матрицу_длин_серий( , D , ) 1 повернуть_изображение( , ) 2 D повернуть_множество( D , ) 3 a 4 для i min i : max i i , j D i , j D для j min j : max j 5 i , j D i , j D a. добавить_в_конец( i, j ) 6 a. добавить_в_конец( 1 ) 7 8 M max m, n 9 N max n min n 1 10 K D max n min n 11 r 0 i 0,2,,M 12 j 1 13 m ,n D m ,n D m ,n D m,n D m ,n D j 1,2,, N для k 2 : K 14 если a k a k 1 15 j j 1 16 17 иначе если a k 1 1 r a k 1 , j r a k 1 , j 1 18 19 20 21 j 1 для i 0 : M для j 1: N 1 105 r i, N j r i, N j r i, N j 1 22 для j 1: N 1 23 r i, N j r i, N j r i, N j 1 24 25 вернуть r Полная вычислительная сложность представленного алгоритма складывается из сложности поворотов O D , сложности одного прохода по области D' с последовательным наращиванием длины вектора a , которая также составляет O D , сложности одного прохода по вектору a , который состоит из O D элементов, а также сложности двух проходов по каждой строчке искомой матрицы длин серий, которая составляет O Q max m1 ,n1 D m2 ,n2 D Если m1 m2 исходное 2 n1 n2 цифровое прямоугольной сетке размера вычислительная сложность 2 . изображение M N , то алгоритма было определено на D MN , и окончательная составляет O MN Q M N . Очевидно, существенно улучшить эту асимптотику невозможно, поскольку для вычисления искомой матрицы длин серий требуется хотя бы один раз просмотреть каждый отсчёт изображения, что может занять до MN операций, и хотя бы один раз просмотреть каждый отсчёт искомой матрицы, чтобы записать в него результат, что может занять до Q M N , если на изображении присутствует каждый из Q уровней яркости. 3.2. Метод случайного поиска для глобальной оптимизации сложных функций одной переменной Выбор наилучших параметров оператора вычисления признаков, максимизирующих некоторый критерий качества системы распознавания, представляет собой обычную задачу оптимизации в самой общей постановке, 106 поскольку в большинстве случаев нельзя гарантировать даже непрерывность целевой функции, не говоря уже о каких-либо условиях на выпуклость или экстремумы. В таких условиях одним из немногих способов решения задачи является использование одного из общих методов оптимизации, любой из которых всё равно теоретически не может быть лучше, чем алгоритм простого случайного поиска, который независимо выбирает случайным образом заданное количество точек, вычисляет в них значения целевой функции и выбирает наибольшее. Пусть задача оптимизации состоит в выборе точки ˆ из топологического пространства Θ , так чтобы обеспечить максимум функции J : Θ . Для процедуры оптимизации функция J работает, как чёрный ящик, то есть для заданной точки Θ есть возможность вычислить значение функции J в этой точке, но не более того. Всякая дополнительная информация о поведении функции отсутствует. Что касается пространства параметров Θ , то будем считать, что на нём определена сигма-алгебра B Θ и мера Лебега M : Θ . Очевидно задача оптимизации в настолько общей формулировке не решается для неограниченных пространств Θ , так что будем считать, что мера M Θ пространства параметров положительна и ограничена. В силу этого ограничения пространство с мерой Θ, BΘ , M можно обратить в вероятностное пространство Θ, BΘ ,P , если положить P M . M Θ Отдельная сложность состоит в том, что вычисление значения функции J довольно-таки вычислительно затратно, из-за чего число таких операций не может быть слишком большим. Как и в предыдущих главах, будем предполагать, что число итераций процедуры оптимизации задано и равно 107 N opt и на каждой такой итерации вычисляется ровно одно значение функции J k . После всех итераций логично выбрать в качестве ответа ˆ arg max J k , N k k k opt 1 то есть просто одну из посчитанных точек, для которой вычисленное значение целевой функции максимально. Простейшая процедура случайного поиска независимо равновероятно выбирает N opt точек из всего пространства Θ . Это эквивалентно обычному вероятностному эксперименту, в котором Θ – это пространство элементарных событий. Однако обычно делают дополнительное предположение о том, что глобальный максимум вероятнее лежит рядом с точками, в которых функция принимает высокие значения, чем рядом с точками, в которых функция принимает низкие значения. На этом предположении основано большинство методов случайного поиска, которые в качестве очередной точки выбирают, например, точку, распределённую по гауссовскому закону с центром в точке предыдущего максимума целевой функции и такой дисперсией, чтобы выход за границы области Θ был крайне маловероятен. Подобный подход был использован в алгоритмах случайного поиска из предыдущих двух глав настоящей работы. Однако такой подход использует информацию только об одной из предыдущих посчитанных точек, игнорируя все остальные. Использование всей доступной информации, полученной на предыдущих итерациях, может повысить скорость и качество оптимизации. Пусть за k итераций уже вычислены значения функции J в k различных точках очередной итерации построим интегрируемую на Θ j k j1 . На ограниченную k интерполяцию J функции J по имеющимся k точкам j , считая, j1 что таким образом мы получаем некоторую оценку неизвестной функции J 108 [88]. После этого, исходя из предположения о том, что максимум реальной целевой функции J вероятнее лежит в областях, где построенная интерполяция J принимает большие значения, чем в областях, где она принимает меньшие значения, выберем очередную точку k 1 , как реализацию случайного вектора с плотностью вероятности f x J x inf J J x inf J . J inf J d J d M Θ inf J Θ Θ Это действительно плотность вероятности некоторого случайного вектора, поскольку J x inf J 0 , откуда J inf J d 0 , а также Θ J x inf J d x f x d x J inf J d 1 . Θ Θ Θ Используем предложенный подход на практике для выбора угла поворота согласно методу, предложенному в первой главе. В этом случае Θ 0; , а функция J представляет собой обычную числовую функцию одного аргумента. Для построения J воспользуемся линейной интерполяцией [89], k то есть, имея значения функции J в точках j , кусочно зададим j1 1 J J J , 1 2 1 2 1 2 J 2 J 3 J 2 , 3 2 J , k 1 J J J , k 1 k k 1 k k 1 1 2 ; 2 3 ; ; k 1 k . Здесь без потери общности считается, что 1 i j k i j , поскольку на практике все полученные значения функции J можно хранить 109 отсортированными по углу поворота, используя для этого такие структуры данных, как красно-чёрное дерево [87]. На первой итерации, когда k 0 , имеет смысл вычислить значения J 0 J , чтобы изначально знать значения целевой функции в крайних точках 1 0 и k . Если этого не делать, то задача интерполяции теряет смысл. Продолжая рассуждения, обозначим 1 k 1 S J J x inf J d x J j 1 J j j 1 j Θ 2 j 1 min J j . j 1,2,,k Функция распределения случайной величины, значения которой требуется генерировать, имеет вид x F x 0; 0, x f d f d , 0 ; 0 1, . Для точки j x j 1 F x F j 1 J j x j J j j min 1,2,, k SJ 2 x j . 1 J j 1 J j 2S J j 1 j Для моделирования случайной величины k 1 с такой функцией распределения можно воспользоваться методом обратного преобразования [90], то есть получить k 1 из имеющейся случайной величины X , равномерно распределённой на отрезке 0;1 , как k 1 F 1 X , что всегда можно сделать, поскольку функция распределения F x является непрерывной и монотонной функцией. После генерации значения случайной 110 величины X требуется бинарным поиском определить номер j отрезка, для которого F j X F j 1 , а затем для соответствующего участка функции F x вычислить значение обратной функции k 1 j j 1 j J j min J j j 1,2,, k J j 1 J j 2 j 1 j J min J j j 1,2,,k j 2 S J F j F X . J j 1 J j Из двух возможных вещественных значений k 1 следует выбрать то единственное, которое лежит на отрезке j ; j1 . Рисунок 3.1 – Глобальная оптимизация многоэкстремальной функции с помощью модифицированного алгоритма случайного поиска На практике для быстрой реализации описанной процедуры оптимизации необходима структура данных, реализующая следующие операции: — добавить очередную точку со значением целевой функции J , — получить значение J по ранее добавленной точке , 111 — получить j -е по величине значение точки , — вычислить значение F в одной из уже имеющихся в структуре данных точек , — для заданного X найти наибольшее значение , такое что F X . Каждую из этих операций при наличии k точек в структуре можно выполнять за O log k , если использовать в качестве структуры данных декартово дерево [91] с ключом и сохранением значений J и F . Таблица 3.1 – Результаты исследования модифицированного метода случайного поиска в задаче оптимизации направления для направленных признаков Критерий Рис J Рентген костей K J K УЗИ Почек J K КТ лёгких J K J 1,00 0,00 1 0,89 0,14 6 0,90 0,16 27 0,94 0,07 29 1 / 2 6,68 0,00 1 5,06 0,10 6 2,34 0,16 7 0,06 25 J1 20,13 0,00 1 11,71 0,12 22 9,52 0,18 36 10,85 0,09 6 J2 2,49 0,00 1 2,57 0,12 24 0,76 0,16 7 2,07 0,10 10 J4 2,45 0,00 1 1,40 0,12 22 1,06 0,20 31 1,38 0,10 16 J SNR 0,30 0,00 1 0,08 0,10 6 0,05 0,18 30 0,08 0,07 24 J corr 0,38 0,00 1 0,44 0,12 7 0,53 0,18 8 0,09 9 3,49 0,44 В качестве примера на рисунке 3.1 изображены точки, выбранные предложенной модифицированной процедурой случайного поиска в процессе оптимизации функции J sin 2 x 2x на отрезке 0; . Видно, что окрестность глобального максимума достаточно хорошо исследована. Для экспериментального исследования эффективности предложенного метода была проведена серия экспериментов по схеме, изображённой на 112 рисунке 1.8. Поскольку описанная простейшая реализация метода, приведённая выше, предполагает возможность оптимизации только функций одного аргумента, имеет смысл применять её только для оптимизации угла поворота, описанной в первой главе. В таблице 3.1 представлены результаты оптимизации различных критериев качества признакового пространства для различных наборов изображений. В каждом эксперименте по обучающей выборке вычислялось значение критерия контрольной J выборке для выбранной группы признаков, а также по минимальная оценка вероятности ошибочного распознавания и наименьшее количество признаков K , которого достаточно для достижения этой оценки. Видно, что для всех задач описанный метод обеспечивает те же результаты, что и лучшие из методов, использованных в первой главе. Наилучшим критерием качества, оптимизация которого обеспечивает наименьшую ошибку распознавания во всех задачах, является расстояние Бхатачария. В целом для задач оптимизации сложной функции одного вещественного аргумента можно рекомендовать использовать именно этот подход. 3.3. Гибридный метод глобальной оптимизации сложных функций Если задуматься об общих принципах работы большинства итерационных алгоритмов глобальной оптимизации, можно заметить, что все они занимаются вычислением значений целевой функции в некоторых точках, а затем просто выбирают точку, для которой вычисленное значение целевой функции было оптимально. Существенные отличия между ними заключаются лишь в способе, которым они выбирают точки для вычисления значений целевой функции. Алгоритм случайного поиска выбирает точку, как реализацию случайного вектора с заданным распределением, возможно основанном на ранее вычисленных значениях функции. Генетический алгоритм некоторым образом скрещивает пару ранее обработанных точек, для которых значения целевой функции были достаточно велики. А алгоритм имитации отжига отличается от 113 обычного случайного поиска тем, что иногда выбирает следующую точку близко к не самой лучшей из ранее обработанных точек. В силу отсутствия какой-либо полезной информации о поведении целевой функции, построение в любом смысле оптимального алгоритма оптимизации представляет существенные трудности. Каждый из имеющихся итерационных алгоритмов обладает своими преимуществами и недостатками. Так алгоритмы случайного поиска лишены проблем с зацикливанием на локальном максимуме, но зато мало используют информацию о предыдущих вычисленных значениях функции. Генетический алгоритм и алгоритм имитации отжига значительно более осмысленно осуществляют выбор точки, что повышает точность метода оптимизации, но могут остановиться в локальном максимуме, хотя у них и имеются средства для выхода из него в виде процедуры мутации у генетического алгоритма и перехода к менее оптимальной точке с высокой температурой у алгоритма имитации отжига. Общая схема итерационного алгоритма глобальной оптимизации целевой функции J в ограничениях Θ с заданным количеством итераций N opt выглядит следующим образом. оптимизировать_функцию( J , Θ , N opt ) 1 A 2 для i 1: N opt 3 получить_следующую_точку( A , Θ ) 4 A A , J 5 вернуть arg max y x , y A Варьируя способ выбора следующей точки, можно получать различные итерационные алгоритмы глобальной оптимизации. Например, если всегда равновероятно выбирать случайную точку из множества Θ , или же выбирать точку, каким-либо образом распределённую на множестве Θ , например, в 114 окрестности самой лучшей из ранее выбранных точек, то получится алгоритм случайного поиска. Если случайно выбрать пару из N pop лучших вычисленных точек, а затем с помощью некоторого оператора скрещивания получить из них следующую точку, то получится генетический алгоритм. Если же получить следующую точку с помощью алгоритма случайного поиска, но даже если она не является лучшей, всё равно считать её таковой с вероятностью (1.39), то получится алгоритм имитации отжига. К похожей схеме можно привести и многие другие распространённые алгоритмы оптимизации, в том числе и детерминированные. Таблица 3.2 – Результаты исследования гибридного метода оптимизации направления для направленных признаков Критерий Рис J Рентген костей K J K УЗИ Почек J КТ лёгких J K K J 1,00 0,00 1 0,89 0,12 34 0,90 0,16 27 0,94 0,07 29 1 / 2 6,70 0,00 1 4,91 0,12 6 0,06 25 J1 20,13 0,00 1 11,75 0,12 36 9,70 0,16 10 10,85 0,09 22 J2 2,49 0,00 1 2,55 0,12 7 0,73 0,16 7 2,06 0,10 20 J4 2,44 0,00 1 1,40 0,12 6 1,06 0,18 22 1,39 0,09 10 J SNR 0,30 0,00 1 0,08 0,14 6 0,05 0,16 40 0,08 0,07 24 J corr 0,38 0,00 1 0,44 0,12 7 0,53 0,16 7 0,07 11 2,34 0,16 7 3,49 0,44 Идея гибридного алгоритма оптимизации состоит в том, что поскольку разные алгоритмы глобальной оптимизации обладают различными преимуществами и недостатками, то совмещение их способов выбора следующей точки могло бы повысить качество оптимизации. Для этого n зададимся набором из n алгоритмов оптимизации A k A, Θ k 1 , каждый из которых характеризуется именно способом выбора следующей точки, исходя из ранее обработанных точек A и ограничений Θ . На каждой итерации 115 гибридного алгоритма равновероятно выберем один из n алгоритмов k A, Θ и используем его для получения следующей точки. Похожий подход ранее был предложен в работе [46] для других алгоритмов оптимизации. В настоящей работе исследуется алгоритма для эффективность задачи оптимизации конкретной реализации критериев качества гибридного признакового пространства. В таблице 3.2 приведены результаты исследования глобального метода оптимизации направления для направленных признаков из первой главы, аналогично тому, как соответствующие результаты для модифицированного метода случайного поиска приведены в таблице 3.1. Для каждого критерия качества и для каждого набора данных приведены значение этого критерия J , наименьшая оценка вероятности ошибочного распознавания и наименьшее количество признаков K , которое обеспечивает такую ошибку. В качестве алгоритмов оптимизации, над которыми строился гибридный алгоритм, использовались метод случайного поиска, генетический алгоритм, алгоритм имитации отжига и модифицированный метод случайного поиска. Видно, что результаты в целом стабильнее, чем для других алгоритмов оптимизации, но они не превосходят результатов, полученных при использовании модифицированного метода случайного поиска. Средний прирост оптимальных значений признаков при использовании гибридного метода оптимизации по сравнению с модифицированным методом случайного поиска составил -0,19 %, так что для оптимизации функций одного аргумента рекомендуется всё же использовать модифицированный метод случайного поиска из предыдущего раздела. В таблице 3.3 аналогичным образом представлены результаты для квадратичных признаков, описанных во второй главе. В этом случае наилучшие результаты достигаются не столь стабильно и при разных критериях качества, но всё же этот метод можно рекомендовать к использованию, поскольку недостатки различных алгоритмов оптимизации при таком подходе могут 116 нивелироваться. Несмотря на кажущуюся неэффективность для этих признаков, средняя оценка вероятности ошибочного распознавания для различных критериев и методов оптимизации в среднем на 17,23 % выше, чем средняя ошибка при использовании гибридного метода оптимизации. Это означает, что вместо использования какого-то конкретного метода оптимизации для построения оптимальных квадратичных признаков (2.11) можно порекомендовать использовать предложенный гибридный метод. Таблица 3.3 – Результаты исследования гибридного метода оптимизации коэффициентов квадратичных признаков Критерий Рис J Рентген костей K J K УЗИ Почек J K КТ лёгких J K J 1,00 0,00 1 0,89 0,22 1 0,80 0,14 13 0,78 0,20 2 1 / 2 1,88 0,00 1 0,40 0,18 2 0,29 0,18 10 0,25 0,06 6 J4 4,34 0,00 4 1,43 0,06 4 1,36 0,20 4 1,32 0,15 4 J diff 0,76 0,02 3 0,17 0,16 2 0,10 0,29 6 0,29 0,17 13 J SNR 3,82 0,01 3 0,80 0,14 1 0,38 0,20 2 0,63 0,17 9 J corr 0,36 0,00 12 0,37 0,20 1 0,31 0,31 8 0,38 0,21 13 3.4. Выделение области интереса на биомедицинских изображениях Построенные по обучающей выборке признаки достаточно содержательно описывают изображение, что позволяет использовать их не только для решения задачи классификации изображений, но и для других сходных задач. Распространёнными задачами в теории компьютерной обработки изображений являются задачи локализации объекта и сегментации. Они широко распространены и в анализе биомедицинских изображений. Во всех описанных исследованиях обработке подвергалось не всё изображение целиком, а выделенная вручную область интереса, на которой изображена важная для рассмотрения биологическая ткань. Ясно, что для ручного выделения области интереса требуется затратить время специалиста, а 117 сама процедура компьютерной диагностики при этом является лишь автоматизированной, то есть всё равно требует участия оператора. Чтобы ещё больше автоматизировать её, закономерно было бы решить задачу автоматического выбора области интереса на изображении. Пусть имеется цифровое изображение Ω , определённое на области Dˆ 0; M 1 0; N 1 2 , при этом нас интересует лишь часть этого изображения, изображённая на области интереса определить процедуру, выбирающую, исходя D Dˆ . из яркостей Требуется отсчётов изображения, некоторую область D Dˆ , как можно более совпадающую с D , при условии, что сама область D не известна. На вход этой процедуре также подаётся конечная обучающая выборка U Ω , в которой для изображений известны области интереса D . Для автоматического выбора области интереса требуется для каждого отсчёта получить его описание, позволяющее определить, относится ли он к области интереса D , или же к фону Z Dˆ \ D . Это описание, очевидно, зависит не только от яркости самого этого отсчёта, но и от яркости соседних с ним отсчётов. Такая задача скорее родственна задаче текстурной сегментации [92] на две области: область интереса и фон, нежели задаче локализации объекта с определёнными текстурными характеристиками. Определим, как и ранее, для каждого отсчёта m, n Dˆ его окрестность (2.5), с яркостями отсчётов которой, предположительно, может быть связана яркость отсчёта m, n . Если вычислить для каждого отсчёта m, n признаки, описанные в предыдущих разделах, используя в качестве области интереса лишь его небольшую окрестность m, n , то можно получить новую функцию u m, n : Dˆ Ξ , описывающую текстурные характеристики для каждого отсчёта в отдельности: u m, n m , n , (3.2) 118 где m,n – это изображение , определённое на области m, n Dˆ . Наличие обучающей выборки U , из которой можно черпать информацию о текстурных характеристиках искомой области интереса, существенно отличает задачу от описанных в литературе [92]. Обычные процедуры сегментации, основанные на алгоритмах кластеризации, не учитывают априорную информацию, так что могут быть не столь эффективны в данном случае. По смыслу задачи построенная область интереса D должна отвечать следующим требованиям (в некоторых задачах не всем из перечисленных). 1. Линейная связность. Между любыми двумя отсчётами искомой области интереса существует путь из отсчётов, соседних по четырёхсвязной области, таких, что они также лежат внутри этой области интереса: m0 , n0 , mK , nK D k 1; K : m k mk , nk k 0,1,, K : mk 1 nk nk 1 1 k 0; K : mk , nk D . Если для конкретной задачи область может быть несвязной, то иногда имеет смысл разбить изображение на части, в каждой из которых присутствует связная область, и исследовать каждую из частей по отдельности. Например, такой подход можно использовать при исследовании изображений компьютерной томографии лёгких. Диагноз будет поставлен для каждого лёгкого в отдельности. 2. Односвязность. Внутри области D не должно содержаться дыр. Чтобы строго определить это требование, введём несколько дополнительных понятий. Назовём кривой длины L в области D конечную последовательность отсчётов m , n l l l 1,2,, L , в которой соседние отсчёты связаны по четырёхсвязной области: l 2; L : ml ml 1 nl nl 1 1 . Кривая называется простой, если все отсчёты в ней различны: l1 , l2 1; L : l1 l2 m1 , n1 m2 , n2 . 119 Кривая длины L называется замкнутой, если первый отсчёт в ней совпадает с последним, то есть m1, n1 mL , nL . последовательность из единственного отсчёта Следует отметить, что m, n D также является простой замкнутой кривой в области D . Две кривые из области D называются соседними, если для каждого отсчёта m1 , n1 одной из них существует отсчёт m2 , n2 другой, связанный с ним по четырёхсвязной области, то есть m1 m2 n1 n2 1 . Назовём конечную последовательность простых замкнутых кривых в D непрерывно стягивающейся, если соответствующая последовательность их длин убывает, и кривые с соседними индексами в ней являются соседними. Стягивающаяся последовательность простых замкнутых кривых в D стягивается к точке m, n D , если её последним элементом является кривая, состоящая только из этой точки. Окончательно будем говорить, что область D является односвязной, если для любой простой замкнутой кривой в D существует последовательность простых замкнутых кривых в D , начинающаяся с этой кривой и непрерывно стягивающаяся к некоторой точке из D [93]. Выбранная область D должна быть именно такой. 3. Согласованность текстурных характеристик. Значения локальных текстурных характеристик отсчётов из выбранной области D должны соответствовать текстурным характеристикам областей интереса изображений из обучающей выборки. Сравнивать же значения текстурных признаков фона, как правило, не имеет смысла в силу его неоднородности. Допустим, векторы признаков Ξ | Ω являются случайными векторами, распределёнными некоторым образом, а векторы признаков X | U , вычисленные по изображениям из обучающей выборки U , являются имеющимися в наличии реализациями этих случайных векторов. 120 Тогда известной мерой близости некоторого вектора признаков u к распределению Ξ является расстояние Махаланобиса (1.10), которое в данном случае имеет вид T M u , X u x R 1 u x , (3.3) где x 1 X x – (3.4) xX среднее значение текстурных признаков в области интереса, рассчитанное по векторам из обучающей выборки, а R 1 X T x x x x – (3.5) xX оценка корреляционной матрицы случайного вектора x Ξ . Расстояние Махаланобиса (3.3) можно рассчитать для всех векторов u m, n , в результате чего для каждого отсчёта m, n Dˆ будет определено, насколько он походит на отсчёт из области интереса D : m, n M u m, n , X . Известно, что расстояние Махаланобиса от случайного вектора x Ξ до его собственного K -мерного гауссовского распределения M x, Ξ само по себе является случайной величиной, распределённой по закону 2 с K степенями свободы [94]. Таким образом, вероятность того, что заданный вектор u m, n уклонится от математического ожидания x на расстояние Махаланобиса, не превышающее m, n , определяется как p m, n P M x, Ξ m, n F 2 2 m, n , K где F 2 x – функция распределения 2 с K степенями свободы. Задавшись K небольшим уровнем значимости 0 1 , можно потребовать, чтобы в 121 построенную область интереса D по возможности входили только отсчёты, для которых p m, n 1 : m, n D : F 2 2 m, n 1 . (3.6) K 4. Соответствие размера. Построенная область интереса должна не слишком отличаться по размеру от областей интереса на изображениях обучающей выборки. Определив меру конечного множества M D , как количество элементов в нём, можно также рассматривать размер M D построенного множества, как случайную величину. Это осмысленно, если полагать изображения Ω элементарными событиями из вероятностного пространства Ω, BΩ ,P , однако закон распределения размера области интереса неизвестен. Тем не менее, по обучающей выборке можно оценить математическое ожидание этой случайной величины M 1 U M D , (3.7) U а также её среднеквадратическое отклонение 1 U M M D M 2 . (3.8) U В силу неравенства Чебышёва [95] k 0 : P M D M k M 1 , k2 откуда для заданного небольшого уровня значимости 0 1 можно потребовать, чтобы M D M 2 M 2 1 . 1 (3.9) В качестве альтернативы для сохранения инвариантности к разрешению изображения можно определить 122 M D D . ˆ D 5. Соответствие формы. Построенная область интереса D должна походить на области интереса изображений из обучающей выборки не только по размеру, но и по форме. Глупо было бы совсем никак не использовать информацию о геометрических характеристиках, содержащуюся в обучающей выборке, однако подгонять построенную область под большое количество критериев довольно тяжело, поэтому используем только один самый распространённый фактор формы – отношение квадрата периметра к площади [96]. Назовём отсчёт m, n внутренней точкой конечного множества D 2 , если все отсчёты, соседние с ним по четырёхсвязной области также лежат в D : i , j 2 : m i n j 1 i, j D . Граница конечного множества D – это множество точек, принадлежащих множеству D , но не являющихся внутренними. Периметр множества p D определим, как меру его границы, то есть количество отсчётов в ней. В этих обозначениях фактор формы, который определяет округлость области интереса, определяется, как p2 D . FS D M D (3.10) Как и в предыдущем случае, значение FS D можно считать случайной величиной, зависящей от выбора исходного изображения . В этом случае, как и прежде, безотносительно закона распределения можно потребовать, чтобы FS D FS 2 S 2 1 , 1 (3.11) где D – построенная область интереса, FS – среднее значение признака (3.10) среди изображений из обучающей выборки, S – оценка 123 среднеквадратического отклонения значения признака (3.10), рассчитанное по обучающей выборке подобно (3.8), а – заданный уровень значимости. Ограничившись указанными выше пятью требованиями, из которых два топологических, одно текстурное и два геометрических, можно предложить следующий во многом эвристический алгоритм сегментации изображения, основанный на наращивании области [92]. Входными данными этого алгоритма являются уровень значимости 0 1 , конечная обучающая выборка U Ω , для изображений которой известны области интереса D , оператор вычисления признаков : Ω Ξ , а также собственно изображение Ω , для которого требуется построить область интереса. 1. В порядке предварительного подсчёта по изображениям из обучающей выборки U вычислить оценки для математического ожидания (3.4) и корреляционной матрицы (3.5) текстурных признаков, оценки математического ожидания (3.7) и среднеквадратического отклонения (3.8) размера областей, а также аналогичным образом оценки математического ожидания FS и среднеквадратического отклонения S формы областей. Поскольку обучающая выборка редко меняется в процессе работы системы, эти значения можно вычислить один раз и затем использовать для обработки множества изображений . 2. Для каждого отсчёта изображения m, n вычислить вектор локальных текстурных признаков (3.2). 3. Для каждого отсчёта изображения m, n вычислить расстояние Махаланобиса (3.3) до предполагаемого распределения вектора признаков, параметры которого были оценены на первом шаге алгоритма. 4. Выбрать первый отсчёт, который попадёт в область интереса, как отсчёт с минимальным расстоянием Махаланобиса m, n . Положить 0 D arg min m, n . m ,n Dˆ 124 5. Циклически наращивать текущую область D k для k 1, 2, , каждый раз добавляя в неё отсчёт с минимальным расстоянием Махаланобиса m, n , граничный по четырёхсвязной области с одним из уже имеющихся в ней отсчётов: k 1 k D D arg min m, n . ˆ | k ,l D k : i k j l 1 m , n i , j D , если Вычислительная сложность каждой итерации составляет O log Dˆ воспользоваться какой-нибудь сильной структурой данных, такой как очередь с приоритетами или красно-чёрное дерево [87]. Условие останова наращивания области связано с выполнением условий (3.6) и (3.9). К сожалению, нет гарантии, что для данного изображения оба условия вообще могут выполняться одновременно, поэтому имеет смысл остановить наращивание области в некоторых специальных случаях. Нужно заметить, что в силу последовательного наращивания области, если одно из условий выполнялось и перестало выполняться для некоторого значения k , то оно уже не начнёт выполняться снова. При этом если условие (3.6) не выполнялось с самого начала, то оно и не начнёт выполняться никогда. Во всех этих случаях следует остановить наращивание области. Очевидно, что полученная таким образом область D k будет связной. 6. Обеспечить соответствие формы (3.11) с помощью математической морфологии. Рассмотрим функцию операций I D m, n : 2 0;1 , являющуюся индикатором вхождения элементов в множество D , то есть 1, I D m, n 0, m, n D ; m, n D . Такая функция, по сути, является бинарным изображением, на котором определены следующие морфологические операторы [96]. Эрозия бинарного изображения: 125 B I D m, n min I D m m, n n . m ,n Wd Дилатация бинарного изображения: B I D m, n max I D m m, n n . m ,n Wd Все операции производятся в окне Wd , подобном (2.8). Открытие бинарного изображения: I D m, n B B I D m, n . Закрытие бинарного изображения: I D m, n B B I D m, n . Для выравнивания границ выбранной области D попеременно применять операции открытия и закрытия бинарного изображения, каждый раз I D m, n k получая новое бинарное изображение и полагая очередное изображение D k m, n 2 | I Dk m, n 1 . Продолжать до тех пор, пока не выполнится условие (3.11). 7. Обеспечить выполнение условия односвязности путём заполнения дыр в области k D . Для этого пометить все отсчёты текущего фона Z , последовательно запуская поиск в ширину или поиск в глубину [87] из ещё непомеченных отсчётов края изображения, не лежащих в области D k , то есть из отсчётов m, n для которых m 0 n 0 m M 1 n N 1 , и помечая ещё не помеченные отсчёты, не лежащие в области D k . После этого положить D Dˆ \ Z . Общая вычислительная сложность этого шага алгоритма составляет O Dˆ , поскольку один и тот же отсчёт не проверяется поисками более четырёх раз. Заполнение дыр следует выполнять после сглаживания границ, поскольку операция закрытия может приводить к образованию новых дыр, а заполнение дыр не приводит к изменению формы внешних границ. 126 Полученная после этих семи шагов область D , возможно, не удовлетворяет всем описанным требованиям одновременно, и не является оптимальной ни в каком смысле, но она построена из правильных соображений и с учётом обучающей выборки. Общая вычислительная сложность алгоритма , что весьма построения области интереса составляет O d 2 Dˆ Dˆ log Dˆ приемлемо даже для крупных изображений. В качестве текстурных признаков следует использовать оптимальные с точки зрения информационного описания текстуры изображений для данной задачи признаки, полученные в одном из предыдущих разделов. Сами по себе описанные критерии в меньшей степени говорят о качестве построенной области, чем непосредственная экспериментальная проверка работы алгоритма на контрольной выборке U Ω . Определим критерий качества выбранной области интереса, как меру различия между двумя измеримыми множествами, принадлежащими одной сигма-алгебре. Чем больше у этих множеств совпадающих элементов, тем эта мера должна быть меньше. Например, можно определить её так: ρ A, B M A \ B M B \ A . M A M B (3.12) Окончательно критерий качества алгоритма построения области интереса определим, как среднюю меру различия (3.12) между реальной и построенной областями интереса, рассчитанную по изображениям из контрольной выборки U : Jρ 1 U ρ D , D . (3.13) U Для анализа эффективности предложенного метода выделения области интереса были проведены три серии экспериментов на описанных в предыдущих разделах наборах реальных медицинских изображений. В качестве текстурных характеристик использовались оптимальные для данной задачи 127 квадратичные признаки (2.11). Для каждой серии экспериментов вычислялось значение критерия (3.13) и оценка вероятности ошибочного распознавания изображений из контрольной выборки при автоматическом выборе области интереса. Из таблицы 3.4 видно, что для рентгеновских изображений костной ткани достоверность классификации снижается совсем незначительно (оценка вероятности ошибки 0,07 против 0,06 для ручного выделения области интереса). Для задачи распознавания ультразвуковых изображений почек наблюдается ухудшение качества распознавания (оценка вероятности ошибки 0,21 против 0,14 для ручного выделения области интереса). Не слишком высокая эффективность предложенной процедуры для этого случая объясняется наличием на этих изображениях спекл-шумов и других тканей с похожими текстурными характеристиками. Также в таблице 3.4 приведены соответствующие значения доверительных интервалов Агрести-Коула для значений оценок вероятностей ошибочного распознавания с уровнем значимости 0,05 . Таблица 3.4 – Результаты исследования метода автоматического выделения области интереса Набор данных Jρ Доверительный интервал Рентгенограммы костей 0,08 0,07 0,01;0,19 УЗИ почек 0,23 0,21 0,11;0,35 КТ лёгких 0,17 0,03 0,00;0,10 На рисунке 3.2 изображён результат работы алгоритма атоматического выделения области интереса для изображения компьютерной томографии лёгкого. Синим специалистом, пунктиром а прозрачной показана красной область интереса, штриховкой – выделенная область интереса, выделенная автоматически. Видно, что хотя область формально является односвязной, её граница весьма негладкая и имеются участки лёгкого, не выделенные алгоритмом. Причиной этого, например, может быть наличие на 128 этих участках сосудов или других нехарактерных для областей интереса текстурных особенностей. Интересный результат был получен для задачи распознавания изображений компьютерной томографии лёгких. Несмотря на высокое значение меры отличия автоматически выделенных областей интереса от областей, выделенных вручную, наблюдается значительное улучшение качества распознавания (оценка вероятности ошибки 0,03 против 0,06 для ручного выделения области). Это объясняется тем, что алгоритм автоматического выделения области интереса выделяет лишь статистически значимые области на изображении, которые содержат больше всего диагностической информации. Рисунок 3.9 – Автоматическое выделение области интереса на изображении компьютерной томографии лёгкого 3.5. Программное средство для обработки и анализа биомедицинских изображений В комплект с современным радиологическим регистрирующим оборудованием входит программное обеспечение для обработки и анализа получаемых изображений. Оно позволяет выполнять простейшие операции 129 преобразования, такие как контрастирование изображения, а в некоторых случаях и автоматически предлагает заключение в виде диагноза. К сожалению, зачастую оно не позволяет производить более сложные преобразования, вычислять текстурные признаки и производить их анализ, не допускает доработки и дополнения пользовательскими программными модулями. Например, программное обеспечение, поставляющееся вместе с рентгеновским костным денситометром Norland Excell-XR-46, позволяет автоматически диагностировать остеопороз и остеопению по оценке средней минеральной плотности костной ткани, но при этом не учитывает её микроархитектонику [67*]. Также стоит отметить, что в российских клиниках такого рода аппараты пока ещё слабо распространены. В этой связи в ходе выполнения диссертации было разработано новое программное средство, предназначенное как для исследования эффективности предложенных методов, так и для возможного использования в клинической практике. Разработанное программное средство отвечает следующим требованиям. 1. Возможность файлового ввода и вывода изображений распространённых форматов, включая BMP, JPEG, PNG, TIFF. 2. Реализация настраиваемых контрастирование, эквализация, преобразований сглаживание, изображения, зашумление таких и т. д., как с возможностью выбора параметров преобразования. 3. Наличие инструментария для выделения области интереса на изображении с последующей обработкой только выделенной области. 4. Возможность вычисления выбранного множества признаков на выделенной области интереса открытого изображения. 5. Реализация работы с обучающей выборкой: сохранение значений признаков текущего изображения в обучающую выборку, редактирование уже имеющихся в выборке векторов признаков, удаление лишних векторов признаков из выборки. 130 6. Возможность автоматической классификации вычисленного вектора признаков по обучающей выборке выбранным алгоритмом классификации, а также возможность ручного проставления требуемого класса для сохранения в обучающую выборку. 7. Реализация пакетной обработки заданного автоматическое обучение, классификация, набора настройка изображений: признаков, отбор признаков, составление отчёта. 8. Персистентность областей интереса для изображений, обучающей выборки, параметров преобразований, характеристик изображений. Персистентность в данном случае означает автоматическое сохранение требуемых значений между запусками программы. 9. Организация осуществлять графического интерактивное интерфейса пользователя, взаимодействие со всеми позволяющего возможностями программного средства. Обеспечение интуитивной понятности интерфейса, его визуального соответствия графическим интерфейсам подобных программных средств. 10. Обеспечение приемлемой производительности, подходящей для работы в клинической практике: для построения оптимальных признаков и обучения системы распознавания допускается время работы в 1-2 часа, но время обработки одного вновь поступившего изображения из контрольной выборки не должно превышать 1 минуты. 11. Возможность расширения имеющегося программного средства дополнительными модулями, а также расширения имеющихся модулей новыми признаками, классификаторами, преобразованиями, возможностями обработки и анализа данных. Программное средство написано на высокоуровневом языке программирования Python 2.7. Такой выбор языка программирования связан с его ориентацией на кроссплатформенность, высокую производительность, читабельность исходного кода, минималистичный синтаксис, широкие 131 возможности стандартной библиотеки [97], а также наличие открытых математических библиотек. В частности для работы с матрицами и для решения задач линейной алгебры использовалась библиотека NumPy 1.8, для выполнения высокоуровневых математических операций, таких как преобразование Фурье или вычисление значений специальных функций, – библиотека SciPy 0.14, а для графического представления данных – библиотека Matplotlib 1.3. Такая связка библиотек обеспечивает большую часть функциональности коммерческих математических пакетов с дополнительным преимуществом в виде полноценного языка программирования Python [98]. Рисунок 3.3 – Графический интерфейс пользователя программного средства для обработки и анализа биомедицинских изображений Графический интерфейс пользователя выполнен с использованием фреймворка PyQt 4, предоставляющего привязку к инструментам библиотеки Qt [99]. Этот фреймворк также обеспечивает файловый ввод и вывод изображений. Элементы графического интерфейса декларативно описываются в XML-файле, который вычитывается в процессе работы программы, что позволяет легко добавлять, удалять и изменять элементы интерфейса, а также обеспечивает высокую расширяемость приложения, поскольку добавление 132 доступа к функциональности вновь разработанных модулей не вызывает затруднений. На рисунке 3.3 изображён графический интерфейс разработанного программного средства. Видно, что он выполнен в обычном стиле, характерном для подобных программ. Текущее открытое изображение отображается в главном окне программы, а для работы со всеми доступными возможностями используются соответствующие пункты меню, некоторые из которых вынесены на панель инструментов. Сложная функциональность реализована в виде диалоговых окон, пример одного из которых показан на рисунке 3.4. Рисунок 3.4 – Диалоговое окно вычисления признаков и классификации На рисунке разработанного 3.5 схематично программного изображена средства модульная архитектура Модули физически [100]. располагаются отдельно и фактически разрабатывались независимо. Стрелки на рисунке показывают Основным одностороннее управляющим элементом взаимодействие программного между средства модулями. является пользователь, который взаимодействует с программой через графический интерфейс. Для открытых изображений имеются агрегаторы, которые кроме собственно изображений хранят также дополнительную информацию о них, 133 такую как вычисленные значения признаков, результаты промежуточных вычислений, необходимую для ускорения дальнейшей работы с изображением, информацию о пациенте и т. д. Пользователь Графический интерфейс пользователя Модуль вычисления признаков Агрегаторы изображений Модуль эффектов и преобразований Модуль построения признаков Модуль контроля качества Классификатор Хранилище данных Рисунок 3.5 – Архитектура программы Модуль вычисления признаков содержит внутренние модули для вычисления различных групп признаков. Для вычисления настраиваемых признаков, исследуемых в работе, используется предварительная процедура их настройки, которую реализует отдельный модуль. Модуль контроля качества 134 реализует вычисление различных критериев качества, которые кроме прочего используются в процедурах оптимизации при построении признаков. Классификацию изображения по вычисленным признакам также обеспечивает соответствующий модуль. На всех уровнях архитектуры использовалась схема проектирования Model-View-Controller [101], заключающаяся в отделении данных, их представления и действий с ними. Подобная архитектура обеспечивает существенную расширяемость программного средства, так что добавление новой функциональности не требует переписывания крупных участков имеющегося исходного кода. По результатам разработки программного комплекса получены 3 свидетельства о государственной регистрации программ для ЭВМ, которые приведены в приложении Б: • «Программа обработки и анализа рентгенографических изображений костной ткани», свидетельство № 2012614654 от 24.03.2012; • «Программа для прогнозирования риска остеопоротического перелома бедра на основе текстурного анализа рентгенограмм», свидетельство № 2014615365 от 26.05.2014; • «Программа для анализа компьютерных томограмм лёгких», свидетельство № 2015612523 от 19.02.2015. Проблемно-ориентированные варианты разработанного программного комплекса успешно прошли внедрение в клиническую практику Самарского государственного медицинского университета. Акт внедрения приведён в приложении А. 3.6. Выводы 1. Предложенный алгоритм вычисления признаков, основанных на длинах серий, по изображению размера M N с глубиной яркости Q позволяет снизить вычислительную сложность до O MN Q M N , которая является теоретическим минимумом для этой задачи. Это ниже 135 вычислительной сложности обычно используемого алгоритма, составляющей O QM 2 N 2 . 2. Модифицированный алгоритм случайного поиска достигает наилучших результатов в оптимизации направления вычисления направленных признаков, если использовать в качестве целевой функции расстояние Бхаттачария. Для одномерной оптимизации информационных признаков рекомендуется использовать именно эту связку алгоритма оптимизации и критерия качества признакового пространства. 3. Предложенный гибридный метод оптимизации обеспечивает снижение средней оценки вероятности ошибочного распознавания c 0,14 до 0,13 в сравнении со средней оценкой для различных критериев и методов оптимизации, так что для произвольных задач многомерной оптимизации признакового пространства рекомендуется использовать именно его. 4. Автоматическое выделение области интереса на изображениях обеспечивает снижение вероятности неверного распознавания при диагностике заболеваний по изображениям компьютерной томографии лёгких с 0,06 до 0,03 в сравнении с ручным выделением области интереса за счёт более точного рассмотрения только диагностически значимых участков изображения. 136 ЗАКЛЮЧЕНИЕ В работе согласования разработаны и информационных исследованы признаков с математические текстурными методы свойствами полутоновых диагностических изображений. Основные результаты работы следующие. 1. Предложен метод согласования направленных текстурных признаков с текстурными свойствами полутоновых диагностических изображений. Экспериментально показана эффективность такого подхода при решении прикладных задач медицинской диагностики, проявляющаяся в снижении вероятности ошибочного распознавания с 0,20 до 0,10 для задачи диагностики остеопороза по рентгеновским изображениям шейки бедра. 2. Разработаны полиномиальные признаки, допускающие согласование с текстурными свойствами полутоновых диагностических изображений. При введении естественных ограничений на физическую реализуемость получены практически значимые квадратичные признаки, использование которых позволяет дополнительно снизить оценку вероятности неверного распознавания для задачи диагностики рентгеновских изображений костной ткани с 0,10 до 0,06 по сравнению с автоматической настройкой направления вычисления направленных признаков. 3. Теоретически показана вычислительная устойчивость оператора вычисления квадратичных признаков. Также в ходе вычислительных экспериментов продемонстрировано, что ошибка распознавания менее подвержена квадратичных воздействию признаков, шума при использовании оптимальных чем при использовании оптимальных направленных признаков. 4. В ходе экспериментальных исследований было установлено, что для согласования направленных признаков в среднем по всем задачам наиболее эффективым алгоритмом оптимизации является алгоритм имитации отжига, 137 а для согласования квадратичных признаков – метод случайного поиска. Наиболее эффективные критерии качества признакового пространства в среднем по всем задачам основаны на разделимости признакового пространства. 5. Предложен метод автоматического выделения области интереса на диагностических изображениях, основанный на алгоритме сегментации с наращиванием области. Его использование позволяет кроме дополнительной автоматизации процесса диагностики снизить вероятность неверного распознавания для задачи диагностики изображений компьютерной томографии лёгких с 0,06 до 0,03 за счёт рассмотрения только диагностически значимых участков изображения. 138 СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ al – математическое ожидание векторов признаков объектов из класса Ωl . a – вектор математического ожидания смеси распределений. B – оператор эрозии бинарного изображения. B – оператор дилатации бинарного изображения. B Ω – сигма-алгебра подмножемств множества Ω . c 1 , 2 – оператор скрещивания в генетическом алгоритме. C x – классификатор, переводящий вектор признаков в один из классов. C i, j – платёжная матрица, определяющая прибыль при отнесении объекта Ω i к классу Ω j . div – дивергенция случайного вектора. D – область интереса на изображении m, n . D – автоматически построенная область интереса. E – оператор математического ожидания. f x – плотность вероятности. F x – функция распределения. i – мнимая единица. I q – множество мультииндексов порядка q . J – критерий качества признакового пространства при использовании оператора вычисления признаков с параметром ; целевая функция. J – достоверность распознавания, доля правильно распознанных объектов. J1 , J 2 , J 3 и J 4 , J diff , J SNR – критерии разделимости дискриминантного анализа. 139 J cov k — критерий коррелированности отдельного признака. J DBI – индекс Девиса-Булдина. – средняя прибыль при использовании системы распознавания J R . J – критерий отличия от требуемых значений признаков по МНК. J ρ – критерий качества автоматического выделения области интереса. K – количество признаков. L – число классов, на которые следует производить классификацию. Ls – лакунарность. M A – мера множества A . N opt – число итераций алгоритма оптимизации. N pop – размер популяции в генетическом алгоритме. pm,n i, j – матрица вхождений, на которой основаны признаки Харалика. – вероятность отнесения объекта Ω к классу Ω j системой pij i . распознавания P – вероятность, вероятностная мера события. Q – количество уровней яркости, которые могут присутствовать на изображении. Q – множество уровней яркости, которые могут присутствовать на изображении. r i, j – матрица длин серий. Rl – корреляционная матрица векторов признаков объектов из класса Ωl . R m, n – нормированная корреляционная функция изображения. Rcov m, n – нормированная ковариационная функция изображения. s – средняя энергия случайного поля. 140 S – матрица рассеяния внутри классов. u m, n – вектор локальных текстурных признаков для отсчёта m, n . U – обучающая выборка объектов, для которых известен их класс. U – контрольная выборка объектов, для которых известен их класс. v m, n – аддитивный белый гауссовский шум. Vnoise – оператор наложения шума. Wd – прямоугольное окно радиуса d . k – мультииндекс. ij – символ Кронекера. Δ – множество классов объектов, на которые следует производить классификацию. – вероятность ошибочного распознавания, доля неверно распознанных объектов. – оператор мутации, изменения вектора параметров. – параметры оператора вычисления признаков: угол поворота изображения или коэффициенты при одночленах в полиномиальных признаках. Θ – множество допустимых значений параметров. k – оператор переиндексации. k – центральные моменты порядка k некоторого случайного вектора. 1 / 2 – расстояние Бхатачария. k – начальные моменты порядка k некоторого случайного вектора. Ξ – признаковое пространство. Ξl – множество векторов признаков, соответствующих объектам из l -го класса. ρ A, B – мера различия между множествами. M a1 , a2 – расстояние Махаланобиса. 141 – среднеквадратическое отклонение. A, Θ – оператор выбора следующей точки в алгоритмах оптимизации. – идеальный оператор распознавания, ставящий в соответствие объекту его класс. – построенный оператор распознавания. – оператор вычисления признаков. P , – полиномиальные признаки. P 2 , – квадратичные признаки. Ψ – множество допустимых операторов вычисления признаков. – объект, подлежащий распозанаванию. – средняя яркость изображения m, n . m, n – цифровое изображение, подлежащее распознаванию. m, n – зашумлённое изображение m, n . n1 , n2 – обрезанное и дополненное нулями изображение m, n . Ω – множество объектов, подлежащих распознаванию. Ωl – l -ый класс объектов, подлежащих распознаванию. ВАК – высшая аттестационная комиссия. КТ – компьютерная томография. УЗИ – ультразвуковое исследование. 142 СПИСОК ЛИТЕРАТУРЫ 1. Rangayyan, R. M. Biomedical image analysis [Текст] / R. M. Rangayyan. – Calgary, Alberta, Canada: CRC Press, 2005. – 1312 p. 2. Haralick, R. M. Textural features for image classification [Текст] / R. M. Haralick, K. Shanmugam, I. Dinstein, // IEEE Transactions on Systems, Man, and Cybernetics. – 1973. – November. Vol. SMC-3. – P. 610-621. 3. Ильясова, Н. Ю. Информационные технологии анализа изображений в задачах медицинской диагностики [Текст] / Н. Ю. Ильясова, А. В. Куприянов, А. Г. Храмов. – М.: Радио и связь, 2012. – 424 с. 4. Smyth, P. P. Application of computer texture analysis to the Singh Index [Текст] / P. P. Smyth, J. E. Adams, R. W. Whitehouse, C. J. Taylor // British Journal of Radiology. – 1997. – Vol. 70, Issue MAR. – P. 242-247. 5. Laws, K. Textured Image Segmentation [Текст] / K. Laws // Technical Report USCIP Report 940. – Los Angeles: University of Southern California, 1980. 6. Mengko, T. R. Texture analysis of radiographs in the assessment of osteoporosis [Текст] / T. R. Mengko, J. T. Pramudito // IAPR Workshop on Machine Vision Applications. – Nara-ken New Public Hall, Nara, Japan, Dec. 11-13, 2002. – P. 184-187. 7. Sangeetha, S. Wavelet Based Qualitative Assessment of Femur Bone Strength Using Radiographic Imaging [Текст] / S. Sangeetha, J. J. Christopher, S. Ramakrishnan // World Academy of Science, Engineering and Technology. – 2008. – Vol. 41. – P. 107-110. 8. Brunet-Imbault, B. A new anisotropy index on trabecular bone radiographic images using the fast Fourier transform [Текст] / B. Brunet-Imbault, G. Lemineur, C. Chappard, R. Harba, C.-L. Benhamou // BMC Medical Imaging. – 2005. – Vol. 5. – 11 p. 9. Pothuaud, L. Evaluation of the Potential Use of Trabecular Bone Score to Complement Bone Mineral Density in the Diagnosis of Osteoporosis: A Preliminary 143 Spine BMD-Matched, Case-Control Study [Текст] / L. Pothuaud, N. Barthe, M.A. Krieg, N. Mehsen, P. Carceller, D. Hans // Journal of Clinical Densitometry. – 2009. – Vol. 12, № 2. – P. 170-176. 10. Килина, О. Ю. Оценка микроархитектоники костной ткани путем цифрового анализа компьютерных томограмм для диагностики остеопороза [Текст] / О. Ю. Килина, В. Д. Завадовская, Р. В. Данильчук, Е. М. Третьяков, О. В. Родионова, О. В. Баранова // Бюллетень сибирской медицины. – 2003. – № 2. – С. 94-100. 11. Bacchetta, J. Assessment of bone microarchitecture in chronic kidney disease: A comparison of 2D bone texture analysis and high-resolution peripheral quantitative computed tomography at the radius and tibia [Текст] / J. Bacchetta, S. Boutroy, N. Vilayphiou, A. Fouque-Aubert, P. D. Delmas, E. Lespessailles, D. Fouque, R. Chapurlat // Calcified Tissue International. – 2010. – Vol. 87, № 5. – P. 385-391. 12. Lespessailles, E. Fractal analysis of bone texture on os calcis radiographs compared with trabecular microarchitecture analyzed by histomorphometry [Текст] / E. Lespessailles, J. P. Roux, C. L. Benhamou, M. E. Arlot, E. Eynard, R. Harba, C. Padonou, P. J. Meunier // Calcified Tissue International. – 1998. – Vol. 63, № 2. – P. 121-125. 13. Xu, D.-H. Run-length encoding for volumetric texture [Текст] / D.-H. Xu, A. S. Kurani, J. D. Furst, D. S. Raicu // Proceedings of the Fourth IASTED International Conference on Visualization, Imaging, and Image Processing. – Marbella, Spain, 6-8 September 2004. – P. 534-539. 14. Lespessailles, E. Clinical interest of bone texture analysis in osteoporosis: a case control multicenter study [Текст] / E. Lespessailles, C. Gadois, I. Kousignian, J. P. Neveu, P. Fardellone, S. Kolta, C. Roux, J. P. Do-Huu, C. L. Benhamou // Osteoporosis International. – 2008. – Vol. 19, № 7. – P. 1019-1028. 15. Charikar, M. Combinatorial feature selection problems [Текст] / M. Charikar, V. Guruswami, R. Kumar, S. Rajagopalan, A. Sahai // 41st Annual 144 Symposium on Foundations of Computer Science – Proceedings. – Redondo Beach, CA, USA, 12-14 November 2000. – P. 631-640. 16. Глумов, Н. И. Метод отбора информативных признаков на цифровых изображениях [Текст] / Н. И. Глумов, Е. В. Мясников // Компьютерная оптика. – 2007. – Т. 31, № 3. – С. 73-76. 17. Yang, M. Feature selection and construction for the discrimination of neurodegenerative diseases based on gait analysis [Текст] / M. Yang, H. Zheng, H. Wang, S. McClean // 3rd International Conference on Pervasive Computing Technologies for Healthcare – Pervasive Health 2009. – London, United Kingdom, 13 April, 2009. – 7 p. 18. Peng, Y. A novel feature selection approach for biomedical data classification [Текст] / Y. Peng, Z. Wu, J. Jiang // Journal of Biomedical Informatics. – 2010. – Vol. 43, № 1. – P. 15-23. 19. Chandra, B. An efficient statistical feature selection approach for classification of gene expression data [Текст] / B. Chandra, M. Gupta // Journal of Biomedical Informatics. – 2011. – Vol. 44, № 4. – P. 529-535. 20. Erişti, H. Optimal feature selection for classification of the power quality events using wavelet transform and least squares support vector machines [Текст] / H. Erişti, Ö. Yildirim, B. Erişti, Y. Demir // International Journal of Electrical Power and Energy Systems. – 2013. – Vol. 49, № 1. – P. 95-103. 21. Tsai, C.-F. Genetic algorithms in feature and instance selection [Текст] / C.-F. Tsai, W. Eberle, C.-Y. Chu // Knowledge-Based Systems. – 2013. – Vol. 39. – P. 240-247. 22. Khushaba, R. N. Feature subset selection using differential evolution and a statistical repair mechanism [Текст] / R. N. Khushaba, A. Al-Ani, A. Al-Jumaily // Expert Systems with Applications. – 2011. – Vol. 38, № 9. – P. 11515-11526. 23. Neshatian, K. Feature construction and dimension reduction using genetic programming [Текст] / K. Neshatian, M. Zhang, M. Johnston // Lecture Notes in Computer Science. – 2007. – Vol. 4830. – P. 160-170. 145 24. Sia, F. A random length feature construction method for learning relational data using DARA [Текст] / F. Sia, R. Alfred, L. Y. Beng, T. S. Fun // International Journal of Information Processing and Management. – 2013. – Vol. 4, № 3. – P. 103113. 25. Fan, W. Generalized and heuristic-free feature construction for improved accuracy [Текст] / W. Fan, E. Zhong, J. Peng, O. Verscheure, K. Zhang, J. Ren, R. Yan, Q. Yang // Proceedings of the 10th SIAM International Conference on Data Mining. – Columbus, OH, United States, 29 April – 1 May 2010. – P. 629-640. 26. Lillywhite, K. A feature construction method for general object recognition [Текст] / K. Lillywhite, D.-J. Lee, B. Tippetts, J. Archibald // Pattern Recognition. – 2013. – Vol. 46, № 12. – P. 3300-3314. 27. Güvenir, H. A. Voting features based classifier with feature construction and its application to predicting financial distress [Текст] / H. A. Güvenir, M. Çakird // Expert Systems with Applications. – 2010. – Vol. 37, № 2. – P. 17131718. 28. Rizoiu, M.-A. Unsupervised feature construction for improving data representation and semantics [Текст] / M.-A. Rizoiu, J. Velcin, S. Lallich // Journal of Intelligent Information Systems. – 2013. – Vol. 40, № 3. – P. 501-527. 29. Мясников, В. В. О синтезе эффективного алгоритма над множеством алгоритмов вычисления свертки [Текст] / В. В. Мясников // Компьютерная оптика. – 2006. – № 29. – С. 78-117. 30. Мясников, В. В. Сплайны как средство построения эффективных алгоритмов локального линейного преобразования [Текст] / В. В. Мясников // Компьютерная оптика. – 2007. – Т. 31, № 2. – С. 52-68. 31. Мясников, В. В. Эффективные локальные линейные признаки цифровых сигналов и изображений [Текст] / В. В. Мясников // Компьютерная оптика. – 2007. – Т. 31, № 4. – С. 58-76. 146 32. Мясников, В. В. Анализ устойчивости эффективного алгоритма линейной локальной фильтрации сигналов [Текст] / В. В. Мясников // Компьютерная оптика. – 2009. – Т. 33, № 2. – С. 193-201. 33. Мясников, В. В. Анализ методов построения эффективных линейных локальных признаков цифровых сигналов и изображений [Текст] / В. В. Мясников, А. Ю. Баврина, О. А. Титова // Компьютерная оптика. – 2010. – Т. 34, № 3. – С. 374-381. 34. Мясников, В. В. Сравнение двух подходов к построению наборов линейных локальных признаков цифровых сигналов [Текст] / В. В. Мясников // Компьютерная оптика. – 2011. – Т. 35, № 3. – С. 356-367. 35. Горелик, А. Л. Методы распознавания. Учеб. пособие для вузов [Текст] / А. Л. Горелик, В. А. Скрипкин. – М.: Высшая школа, 1977. – 222 с. 36. Ту, Дж. Принципы распознавания образов: пер. с англ. [Текст] / Дж. Ту, Р. Гонсалес. – М.: Мир, 1978. – 411 с. 37. Tax, D. M. J. Using two-class classifiers for multiclass classification [Текст] / D. M. J. Tax, R. P. W. Duin // Proceedings – International Conference on Pattern Recognition. – 2002. – Vol. 16(2). – P. 124-127. 38. Lorena, A. C. A review on the combination of binary classifiers in multiclass problems [Текст] / A. C. Lorena, A. C. P. L. F. De Carvalho, J. M. P. Gama // Artificial Intelligence Review. – 2008. – Vol. 30(1-4). – P. 19-37. 39. Garcia-Pedrajas, N. An empirical study of binary classifier fusion methods for multiclass classification [Текст] / N. Garcia-Pedrajas, D. Ortiz-Boyer // Information Fusion. – 2011. – Vol. 12(2). – P. 111-130. 40. Фукунага, К. Введение в статистическую теорию распознавания образов: пер. с англ. [Текст] / К. Фукунага. – М.: Наука. Главная редакция физико-математической литературы, 1979. – 368 с. 41. Голуб, Дж. Матричные вычисления: пер. с англ. [Текст] / Дж. Голуб, Ч. Ван Лоун. – М.: Мир, 1999. – 548 с. 147 42. Сигал, И. Х. Введение в прикладное дискретное программирование: модели и вычислительные алгоритмы [Текст] / И. Х. Сигал, А. П. Иванова. – М.: ФИЗМАТЛИТ, 2003. – 240 с. 43. Карманов, В. Г. Математическое программирование [Текст] / В. Г. Карманов – М.: ФИЗМАТЛИТ, 2004. – 264 с. 44. Васильев, Ф. П. Методы оптимизации [Текст] / Ф. П. Васильев. – М.: Факториал Пресс, 2002. – 824 с. 45. Зеликин, М. И. Оптимальное управление и вариационное исчисление [Текст] / М. И. Зеликин. – М.: Едиториал УРСС, 2004. – 160 с. 46. Wolpert, D. H. Probability collectives in optimization [Текст] / D. H. Wolpert, S. R. Bieniawski, D. G. Rajnarayan // Handbook of Statistics. – 2013. – Vol. 31. – P. 61-99. 47. Schneider, J. J. Stochastic Optimization [Текст] / J. J. Schneider, S. Kirkpatrick. – Berlin: Springer, 2006. – 568 p. 48. Гилл, Ф. Практическая оптимизация: пер. с англ. [Текст] / Ф. Гилл, У. Мюррей, М. Райт. – М.: Мир, 1985. – 509 с. 49. Емельянов, В. В. Теория и практика эволюционного моделирования [Текст] / В. В. Емельянов, В. В. Курейчик, В. М. Курейчик. – М.: ФИЗМАТЛИТ, 2003. – 432 с. 50. Kirkpatrick, S. S. Kirkpatrick, Optimization C. D. Gelatt-Jr, by simulated M. P. Vecchi // Science. – annealing [Текст] / 1983. – Vol. 220, № 4598. – P. 671-680. 51. Лесняк, О. М. Остеопороз [Текст] / под ред. О. М. Лесняк, Л. И. Беневоленской. – М.: ГЭОТАР-Медиа, 2009. – 272 с. 52. Сандриков, В. А. Клиническая физиология трансплантированной почки [Текст] / В. А. Сандриков, В. И. Садовников. – М.: Наука/Интерпериодика, 2001. – 282 с. 53. Engeler, C. E. Ground-glass opacity of the lung parenchyma: A guide to analysis with high-resolution CT [Текст] / C. E. Engeler, J. H. Tashjian, 148 S. W. Trenkner, J. W. Walsh // American Journal of Roentgenology. – 1993. – Vol. 160, № 2. – P. 249-251. 54. Сойфер, В. А. Методы компьютерной обработки изображений [Текст] / под ред. В. А. Сойфера. – М.: ФИЗМАТЛИТ, 2003. – 784 с. 55. Petrou, M. Image Processing: Dealing with Texture [Текст] / M. Petrou, P. García Sevilla. – John Wiley & Sons, Ltd, 2006. – 618 p. 56. Волков, И. К. Случайные процессы [Текст] / И. К. Волков, С. М. Зуев, Г. М. Цветкова. – М.: Издательство МГТУ им. Н. Э. Баумана, 1999. – 448 с. 57. Гмурман, В. Е. Теория вероятностей и математическая статистика [Текст] / В. Е. Гмурман. – М.: Высшая школа, 1972. – 368 с. 58. Pratt, W. K. Digital image processing [Текст] / W. K. Pratt. – John Wiley & Sons, Inc, 2007. – 806 p. 59. Ампилова, Н. Б. Алгоритмы фрактального анализа изображений [Текст] / Н. Б. Ампилова, И. П. Соловьев // Компьютерные инструменты в образовании. – 2012. – № 2. – С. 19-24. 60. Калуш, Ю. А. Показатель Хёрста и его скрытые свойства [Текст] / Ю. А. Калуш, В. М. Логинов // Сибирский журнал индустриальной математики. – 2002. – Т. 5, № 4. – С. 29-37. 61. Pinsky, M. A. Introduction to Fourier Analysis and Wavelets [Текст] / M. A. Pinsky. – Providence, RI: American Mathematical Society, 2002. – 376 p. 62. Li, S. Z. Markov Random Field Modeling in Image Analysis [Текст] / S. Z. Li. – Springer London, 2009. – 371 p. 63. Mollazade, K. Analysis of texture-based features for predicting mechanical properties of horticultural products by laser light backscattering imaging [Текст] / K. Mollazade, M. Omid, F. Akhlaghian Tab, Y. R. Kalaj, S. S. Mohtasebi, M. Zude // Computers and Electronics in Agriculture. – 2013. – Vol. 98. – P. 34-45. 64. * Гайдель, А. В. Возможности текстурного анализа компьютерных томограмм в диагностике хронической обструктивной болезни [Текст] / 149 А. В. Гайдель, П. М. Зельтер, А. В. Капишников, А. Г. Храмов // Компьютерная оптика. – 2014. – Т. 38, № 4. – С. 843-850. 65. Ginsburg, S. B. Automated Texture-based Quantification of Centrilobular Nodularity and Centrilobular Emphysema in Chest CT Images [Текст] / S. B. Ginsburg, D. A. Lynch, R. P. Bowler, J. D. Schroeder // Academic Radiology. – 2012. – Vol. 19(10). – P. 1241-1251. 66. Tamura, H. Textural features corresponding to visual perception [Текст] / H. Tamura, Sh. Mori, T. Yamawaki // IEEE Transactions on Systems, Man and Cybernetics. – 1978. – Vol. SMC-8, № 6. – P. 460-473. 67. * Гайдель, А. В. Исследование текстурных признаков для диагностики заболеваний костной ткани по рентгеновским изображениям [Текст] / А. В. Гайдель, С. С. Первушкин // Компьютерная оптика. – 2013. – Т. 37, № 1. – С. 122-128. 68. * Гайдель, А. В. Исследование текстурных признаков для диагностики нефрологических заболеваний по ультразвуковым изображениям [Текст] / А. В. Гайдель, С. Н. Ларионова, А. Г. Храмов // Вестник Самарского государственного аэрокосмического университета им. академика С.П. Королёва (национального исследовательского университета). – 2014. –№ 1 (43). – С. 229237. 69. Kylberg, G. The Kylberg Texture Dataset v. 1.0: External report (Blue series) [Текст] / G. Kylberg. – Uppsala: Centre for Image Analysis, Swedish University of Agricultural Sciences and Uppsala University, 2011. – № 35. – 5 p. 70. * Первушкин, С. С. Клинические и прогностические возможности CAD-системы на основе текстурного анализа остеопоротических изменений проксимального отдела бедренной кости [Текст] / С. С. Первушкин, А. В. Гайдель, А. Г. Храмов, Э. Н. Алехин // Врач-аспирант. – Воронеж: Научная книга, 2014. – Т. 66, № 5. – С. 61-69. 71. * Gaidel, A. Application of Texture Analysis for Automated Osteoporosis Diagnostics by Plain Hip Radiography [Текст] / A. Gaidel, A. Khramov // Pattern 150 Recognition and Image Analysis. – Pleiades Publishing, 2015. – Vol. 25, № 2. – P. 301-305. 72. Plastinin, A. Regression models for texture image analysis [Текст] / A. Plastinin // Lecture notes in computer science. – Springer-Verlag GMBH, 2011. – Vol. 6744 LNCS. – P. 136-141. 73. * Гайдель, А. В. Метод согласования направленных текстурных признаков в задачах анализа биомедицинских изображений [Текст] / А. В. Гайдель // Компьютерная оптика. – 2015. – Т. 39, № 2. – С. 287-293. 74. Agresti, A. Approximate is Better than "Exact" for Interval Estimation of Binomial Proportions / A. Agresti, B.A. Coull // American Statistician. – American Statistical Association, 1998. – Vol. 52, № 2. – P. 119-126. 75. Brown, L. D. Interval Estimation for a Binomial Proportion [Текст] / L. D. Brown, T. T. Cai, A. DasGupta // Statistical Science / Institute of Mathematical Statistics, 2001. – Vol. 16, № 2. – P. 101-133. 76. Raymond, X. S. Elementary Introduction to the Theory of Pseudodifferential Operators [Текст] / X. S. Raymond. – Boca Raton: CRC Press, 1991. – 120 p. 77. Прасолов, В. В. Многочлены [Текст] / В. В. Прасолов. – М.: МЦНМО, 2003. – 336 c. 78. Рейнгольд Э. Комбинаторные алгоритмы: теория и практика: пер. c англ. [Текст] / Э. Рейнгольд, Ю. Нивергельт, Н. Део. – М.: Мир, 1980. – 476 с. 79. Калиткин, Н. Н. Численные методы [Текст] / Н. Н. Калиткин. – М: Наука, 1978. – 512 с. 80. Фихтенгольц, Г. М. Курс дифференциального и интегрального исчисления [Текст] / Г. М. Фихтенгольц. – М.: ГИФМЛ, 1951. – Т. 1. – 696 с. 81. Strang, G. Linear Algebra and Its Applications, 4th Edition [Текст] / G. Strang. – Boston: Cengage Learning, 2005. – 496 p. 82. Тихонов, А. Н. Методы решения некорректных задач [Текст] / А. Н. Тихонов, В. Я. Арсенин. – М.: Наука, 1979. – 285 с. 151 83. Hendee, W. R. Medical imaging physics [Текст] / W. R. Hendee, E. R. Ritenour. – New York: Wiley-Liss, 2002. – 512 p. 84. Илюшин С. В. Подавление спекла на медицинских ультразвуковых изображениях при помощи фрактального кодирования [Текст] / С. В. Илюшин // T-Comm: Телекоммуникации и Транспорт. – М.: Издательский дом Медиа паблишер, 2011. – Т. 5, № 3. – С. 22-26. 85. Kylberg, G. Evaluation of noise robustness for local binary pattern descriptors in texture classification Local binary patterns (LBP)-based image and video analysis [Текст] / G. Kylberg, I.-M. Sintorn // Eurasip Journal on Image and Video Processing. – Berlin: Springer Publishing Company, 2013. – Vol. 2013. – 20 p. 86. Хеннан Э. Многомерные временные ряды: пер. с англ. [Текст] / Э. Хеннан. – М.: Мир, 1974. – 576 с. 87. Cormen, T. H. Introduction to Algorithms [Текст] / T. H. Cormen, C. E. Leiserson, R. L. Rivest. – Massachusetts: MIT Press and McGraw-Hill, 1990. – 1048 p. 88. Jones, D. R. Efficient Global Optimization of Expensive Black-Box Functions [Текст] / D. R. Jones, M. Schonlau, W. J. Welch // Journal of Global Optimization. – Springer Netherlands, 1998. – Vol. 13, № 4. – P. 455-492. 89. Бахвалов Н. С. Численные методы [Текст] / Н. С. Бахвалов, Н. П. Жидков, Г. М. Кобельков. – М.: Лаборатория базовых знаний, 2002. – 632 с. 90. Devroye, L. Non-Uniform Random Variate Generation [Текст] / L. Devroye. – Springer-Verlag, 1986. – 843 p. 91. Seidel, R. Randomized Search Trees [Текст] / R. Seidel, C. R. Aragon // Algorithmica (New York). – New York: Springer New York, 1996. – Vol. 16, № 45. – P. 464-497. 92. Шапиро, Л. Компьютерное зрение: пер. с англ. [Текст] / Л. Шапиро, Дж. Стокман. – М.: Бином. Лаборатория знаний, 2006. – 763 с. 152 93. Виро, О. Элементарная топология [Текст] / О. Виро, О. Иванов, Н. Нецветаев, В. Харламов. – М.: МЦНМО, 2010. – 368 с. 94. Bajorski, P. Statistics for Imaging, Optics, and Photonics [Текст] / P. Bajorski. – Hoboken: Wiley, 2012. – 408 p. 95. Вентцель Е. С. Теория вероятностей [Текст] / Е. С. Вентцель. – М.: Наука, 1969. – 576 с. 96. Яне Б. Цифровая обработка изображений [Текст] / Б. Яне. – М.: Техносфера, 2007. – 584 с. 97. Лутц М. Программирование на Python: пер. с англ. [Текст] / М. Лутц. – СПб.: Символ-Плюс, 2011. – Т. 1. – 992 с. 98. Bressert, E. SciPy and NumPy [Текст] / E. Bressert. – Sebastopol: O’Reilly Media, 2013. – 57 p. 99. Прохоренок Н. А. Python 3 и PyQt. Разработка приложений [Текст] / СПб.: БХВ-Петербург, 2012. – 704 с. 100. Maier, M. W. Software architecture: introducing IEEE Standard 1471 [Текст] / M. W. Maier, D. Emery, R. Hilliard // Computer. – IEEE, 2001. – Vol. 34, № 4. – P. 107-109. 101. Krasner G. E. A cookbook for using the model-view controller user interface paradigm in Smalltalk-80 [Текст] / G. E. Krasner, S. T. Pope // Journal of Object-Oriented Programming. – Denville: SIGS Publications, 1988. – Vol. 1, № 3. – P. 26-49. 153 Приложение А. Акт о внедрении результатов диссертации 154 Приложение Б. Свидетельства о регистрации программы для ЭВМ 155 156
