Применение вероятностных нейронных сетей для решения

ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1
А.А. ЕГОРОВ, В.С. МИКШИНА
Сургутский государственный университет
vdnii@rambler.ru
ПРИМЕНЕНИЕ ВЕРОЯТНОСТНЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ
РЕШЕНИЯ ЗАДАЧИ КЛАССИФИКАЦИИ В ХИРУРГИИ
Рассматривается задача классификации больных с диагнозом перитонит по способу завершения операции и возможному исходу лечения
больного. В качестве классификатора предложена и реализована вероятностная нейронная сеть. Приводится подтверждение адекватности использования вероятностной нейронной сети как классификатора.
Ключевые слова: вероятностные нейронные сети, таблицы классификации, чувствительность и специфичность модели
Введение
При решении задач, в которых можно лишь выделить приблизительный набор наиболее важных условий, применение нейротехнологии
оправдывает себя, во-первых, наличием универсального типа архитектуры
и единого универсального алгоритма обучения (отсутствие необходимости в их разработке для каждого типа задач), во-вторых, наличием примеров (предыстории, фиксированного опыта), на основании которых производится обучение нейронных сетей. Особенностью решения таких задач
является то, что часть условий при решении такой задачи не учитывается,
ответ носит неточный, приблизительный характер, а алгоритм нахождения ответа не может быть выписан точно [1].
Специфика медицины заключается в том, что большинство задач в ней
относятся к классам задач диагностики, прогнозирования, выбора стратегии лечения и др. Медицинские задачи практически всегда имеют несколько способов решения и “нечеткий” характер ответа, совпадающий со
способом выдачи результата нейронными сетями.
Все неалгоритмируемые или трудноалгоритмируемые задачи, решаемые нейронными сетями, можно классифицировать на два различающихся типа в зависимости от характера ответа – задачи классификации и задачи прогнозирования.
Обширная группа медицинских задач – это задачи классификации. Целью задач классификации является определение принадлежности опредеУДК 004.032.26(06) Нейронные сети
154
ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1
ленного объекта к классу. В работах [2, 3] в ходе лечения перитонита
были выделены следующие подклассы пациентов:
класс выздоровевших пациентов;
класс пациентов с летальным исходом;
класс пациентов с наличием повторных вмешательств;
класс пациентов с отсутствием повторных хирургических вмешательств;
класс пациентов, у которых хирургическое вмешательство закончилось зашиванием швов наглухо;
класс пациентов, у которых хирургическое вмешательство закончилось релапаратомией;
класс пациентов, у которых хирургическое вмешательство закончилось лапорастомией.
Все указанные выше классы имеют некоторые пересечения по инцидентам. Классификация описанных выше классов является бинарной.
В случае невозможности выбирать один вариант ответа (множества
способов завершения операции) задача подразделяется на подзадачи,
каждая из которых представляет собой классификационную задачу.
Отнесение объекта к определенному классу не всегда может быть однозначным. Ранее предложенные подклассы пациентов тоже могут быть
интерпритированны как диапазон значений, поэтому большое количество
информации может быть утеряно при приведении результатов к бинарным значениям.
УДК 004.032.26(06) Нейронные сети
155
ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1
Вероятностные нейронные сети
В задачах классификации с помощью нейронных сетей можно использовать вероятностные нейронные сети (ВНС). Выходы сети интерпретируются как оценки вероятности того, что элемент принадлежит некоторому классу, и сеть фактически учится оценивать функцию плотности вероятности [4].
При решении задачи классификации можно оценить плотность вероятности для каждого класса, сравнить между собой вероятности принадлежности различным классам и выбрать наиболее вероятный класс.
Вероятностная нейронная сеть имеет, по меньшей мере, три слоя:
входной, радиальный и выходной. Радиальные элементы берутся по одному на каждое обучающее наблюдение (рис. 1). Каждый из них представляет гауссову функцию с центром в этом наблюдении. Каждому классу соответствует один выходной элемент. Каждый такой элемент соединен со всеми радиальными элементами, относящимися к его классу, а со
всеми остальными радиальными элементами он имеет нулевое соединение. Таким образом, выходной элемент просто суммирует отклики всех
элементов, принадлежащих к его классу. Значения выходных сигналов
получаются пропорциональными ядерным оценкам вероятности принадлежности соответствующим классам, и пронормировав их на единицу,
можно получить окончательные оценки вероятности принадлежности
классам [5].
УДК 004.032.26(06) Нейронные сети
156
ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1
Входной
слой
Обучающий
слой
Слой
суммирования
Выходной
слой
X11
y11
X22
y12
H1
P1(X)
X1
X21
X2
X22
y21
y22
H2
P2(X)
Max(P1,P2,P3)
y23
X3
X23
P3(X)
X31
y31
H3
y32
X32
Рис. 1. Архитектура вероятностной нейронной сети
На рис. 1 в качестве входов Xi выступают отобранные ранее независимые переменные. Затем все переменные нормируются в диапазоне от 0 до
1. Нейроны входного слоя выполняют распределительные функции. Количество нейронов входного слоя определяются выражением:
n
X   log s pi ,
(1)
i 1
где pi – образ множества диапазона представления чисел Pn 
 p1  p2  ...  pn ; s – основание представления данных.
Нейроны слоя образцов выполнены в виде радиальных базисных элементов, активность которых определяется функцией Гаусса.
n
где wij
 ( w  x )2 
i 
 ij
,
(2)
yi  exp i 1


22


– веса нейронов; xi – элементы неизвестного входного вектора;
2 – дисперсия, характеризующая ширину радиально-базисной функции
[6, 9].
Вероятностная нейронная сеть имеет единственный управляющий параметр обучения, значение которого должно выбираться пользователем, –
степень сглаживания (или отклонение гауссовой функции), но сама сеть
УДК 004.032.26(06) Нейронные сети
157
ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1
не очень чувствительна к выбору параметра сглаживания.
Наиболее важные преимущества вероятностных нейронных сетей состоят в том, что выходное значение имеет вероятностный смысл (и поэтому его легче интерпретировать), и в том, что сеть быстро обучается. При
обучении такой сети время тратится практически только на то, чтобы подавать ей на вход обучающие наблюдения, и сеть работает настолько
быстро, насколько это вообще возможно. Количество эпох обучения ВНС
всегда ограничено 3, в отличие от обычных НС, количество эпох в которых может достигать 1000 и более.
Существенным недостатком вероятностных нейронных сетей является
их объем. Вероятностная нейронная сеть фактически вмещает в себя все
обучающие данные, поэтому она требует много памяти и может медленно
работать [8].
В качестве независимых переменных (входные нейроны ВНС) используются переменные, полученные процедурой пошагового отбора переменных на основе линейной регрессионной модели. Источником исходной информации служат тематические карты больных (ТКБ), используемые Сургутской окружной клинической больницей (СОКБ). В качестве
выходной информации выступают способы завершения операции и возможные её исходы. Тематические карты больных представляют собой
документы, содержащие информацию об общем состоянии пациента,
анамнезе, клинических исследованиях и диагнозе. Всего в тематической
карте содержится порядка 88 единиц информационных совокупностей.
В полученных моделях встречаются качественные и количественные
независимые переменные, указанные в табл. 1, отсортированные по количеству попаданий в сети.
Таблица 1
Независимые переменные моделей PNNij и PNN` ij
КолПеременная Хi
во
Переменная Хi
Кол-во
Характер проникновения
микрофлоры в брюшную полость
8 Ca
2
Возраст
6 ПТИ
2
Характер экссудата
5 Фен
2
Креат
5 ИсточникПеритонита
1
Тим
5 ЕстьРостМикробный
1
Источник (бакт., желч. и т.п.)
4 ВремяДоОпер
1
ВремяДоПост
4 IdХарактерВыпота
1
УДК 004.032.26(06) Нейронные сети
158
ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1
ПульсОпер
Белки
Тзер
IdСостояние
IdСостояниеБрюшины
ЖизнеспособностьКишок
М
Фаза развития
Характер поражения поверх.
бр.
КоличествоВыпота
Артериальное1Опер
Э
Прям
Alt
Ast
IdCостояниеСтенок4 Кишок
Продолжительность
4 Операции
4 Артериальное2Опер
3 СОЭ
3 Лейкоциты
3 Эритроциты
3 Ht
2 П
2
2
2
2
2
2
2
Л
УдельныйВес
ОБил
Моч
Na
Cl
1
1
1
1
1
1
1
1
1
1
1
1
1
1
Из табл. 1 видно, что наиболее часто встречаемыми переменными являются: характер проникновения микрофлоры в брюшную полость, возраст, характер экссудата, креатинин (ОАК), тим (ОАК), источник, время
до операции и пр.
Таким образом, было построено 12 вероятностных нейронных сетей
PNNij и PNN`ij. Сети PNNij (Probalistic neural network) классифицируют
наблюдения по возможным исходам операции относительно способа завершения операции. Сети PNN`ij классифицируют наблюдения по возможным способам завершения операции относительно исходов.
При тестировании созданных вероятностных нейронных сетей были
получены среднеквадратические и средние абсолютные ошибки для сетей,
тестируемых на обучаемой и перекрестной выборках, а также рассчитаны
проценты верной классификации. Результаты тестирования ВНС представлены в таблицах 2 и 3.
Средняя абсолютная ошибка классификации оценивалась, как:
1 n
MAE   yi  di .
(3)
N i 1
Среднеквадратическая ошибка рассчитывалась по формуле:
УДК 004.032.26(06) Нейронные сети
159
ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1
MSE 
1
N
n
 (di  yi )2 ,
(4)
i 1
где N – количество обработанных ВНС примеров, yi – реальный выход
ВНС, d i – желаемый (идеальный) выход НС [10, 11].
Таблица 2
Среднеквадратические и средние абсолютные ошибки
для тестирования сети на обучающей выборке
PNN11
PNN12
PNN21
PNN22
PNN31
PNN32
Повт Повт
Благ Благ
.
. Благ. Благ. Повт. Повт. Благ. Благ. Повт. Повт.
.
.
Ош.
вме вме исх.( Исх.( Вмеш вмеш. исх.(0 Исх.( вмеш. Вмеш
исх. Исх.
ш ш. 0)
1)
.(0) (1)
)
1)
(0) (1)
(0) (1)
.(0) (1)
0,23 0,00 0,06 0,03 0,129 0,001 0,000 0,000 0,000 0,000 0,000 0,000
MSE 13 19 49 60
1
5
0
0
0
0
1
2
MA 0,36 0,02 0,13 0,10 0,261 0,020 0,000 0,001 0,000 0,000 0,001 0,003
E
83 24 11 94
3
0
2
9
0
0
3
8
Пре
д.% 50 100 89 96 78 100 100 100 100 100 100 100
PNN`11
PNN`12
PNN`21
PNN`22
PNN`31
PNN`32
Ре- Ре- Ре- РеОши Нагл Нагл Нагл Нагл лап. лап. лап. лап. Лап. Лап. Лап. Лап.
бки . (0) . (1) . (0) . (1) (0) (1)
(0)
(1)
(0)
(1)
(0) (1)
0,00 0,01 0,01 0,11 0,000 0,000 0,071 0,062 0,098 0,010 0,007 0,002
MSE 00 91 65 31
0
0
8
8
5
9
6
8
MA 0,00 0,07 0,05 0,19 0,000 0,000 0,209 0,212 0,271 0,095 0,012 0,018
E
28 07 93 08
0
0
7
7
8
1
2
1
Пре
д.% 100 100 98 82 100 100 92 100 92 100 99 100
Таблица 3
Среднеквадратические и средние абсолютные ошибки
для тестирования сети на перекрестной выборке
PNN11
PNN12
PNN21
PNN22
PNN31
PNN32
Благ Благ Повт Повт Благ. Благ. Повт. Повт. Благ. Благ. Повт. Повт.
.
.
.
. исх.( Исх.( Вмеш вмеш. исх.(0 Исх.( вмеш. Вмеш
Ош. исх. Исх. вме вме 0)
1)
.(0) (1)
)
1)
(0) (1)
УДК 004.032.26(06) Нейронные сети
160
ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1
MSE
MA
E
Пре
д.%
(0)
(1)
0,78
66
0,88
17
0,00
19
0,02
06
ш
.(0)
0,28
75
0,46
23
ш.
(1)
0,09 0,403 0,075 0,186 0,583 0,384 0,010 0,786 0,001
99
8
1
3
9
0
5
6
9
0,20 0,516 0,132 0,244 0,605 0,392 0,010 0,881 0,020
94
4
5
4
5
4
5
7
6
0 100 64 90
PNN`11
PNN`12
50
84
79
38
62
99
0
100
PNN`21
PNN`22
PNN`31
РелаЛа- Лапара- Рела- Рела- Рела- по- поНагл Нагл Нагл Нагл то- пара- пара- пара- рас- расНагл
Оши ухо ухо ухо ухо мия томия томия томия тома тома Наглу ухо
бки (0) (1) (0) (1) (0) (1)
(0)
(1)
(0)
(1) хо (0) (1)
0,02 0,78 0,00 0,53 0,222 0,643 0,077 0,198 0,112 0,405 0,028 0,789
MSE 88 95 02 44
6
8
0
9
0
6
8
5
MA 0,09 0,87 0,00 0,59 0,231 0,655 0,210 0,365 0,319 0,622 0,092 0,871
E
26 10 26 27
0
9
3
5
0
7
6
0
Пре
д.% 95 5 100 50 76
36
92
78
87
40
95
5
В результате тестирования ВНС было получено 12 таблиц классификации. Каждая таблица классификации состоит из двух частей. В первой
части модель ВНС дает классификацию на основе обучающей выборки.
Во второй части модель ВНС дает классификацию перекрестных наблюдений (табл. 4 и 5).
Таким образом, в результате обучения моделей ВНС были получены
таблицы классификации с хорошими процентными соотношениями верно
предсказанных значений.
Из табл. 4 и 5 видно, что классификации отобранных для обучения
наблюдений происходит во многих случаях с 90–100 % вероятностью или
близкой к ней. Это говорит о хороших аппроксимирующих свойствах полученных моделей ВНС.
На рис. 2 изображены результаты обучения вероятностных нейронных
сетей для обучающих и перекрестных выборок.
УДК 004.032.26(06) Нейронные сети
161
ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1
Таблица 4
Таблица классификации для ВНС PNNij
Предсказанные значения PNN11
Отобранные наблюдения
Не отобранные наблюдения
Благ.
Благ.
Исх.
Исх.
Процент корректПроцент корректНаблюденные 0
1
ных
0
1
ных
Выписан
0 2
2
50%
0 29
0%
1 0 39
100%
0 106
100%
Общий про97,56%
78,52%
цент
Предсказанные значения PNN21
Отобранные наблюдения
Не отобранные наблюдения
Благ.
Благ.
Исх.
Исх.
Процент корректПроцент корректНаблюденные 0
1
ных
0
1
ных
Выписан
0 7
2
77,78%
12 12
50%
1 0 56
100%
14 75
84,27%
Общий про96,92%
79,54%
цент
Предсказанные значения PNN31
Отобранные наблюдения
Не отобранные наблюдения
Благ.
Благ.
Исх.
Исх.
Процент корректПроцент корректНаблюденные 0
1
ных
0
1
ных
Выписан
0 20 0
100%
8
5
61,54%
1 0 50
100%
1 94
98,95%
Общий про100,00%
97,06%
цент
Предсказанные значения PNN12
Отобранные наблюдения
Не отобранные наблюдения
Благ.
Благ.
Исх.
Исх.
Наблюденные 0
1 Процент коррект- 0
1 Процент корректУДК 004.032.26(06) Нейронные сети
162
ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1
Выписан
Общий процент
0 17
1 1
2
23
ных
89,47%
95,83%
95,32%
ных
67
3
37
28
64,42%
90,32%
75,58%
Предсказанные значения PNN22
Отобранные наблюдения
Не отобранные наблюдения
Благ.
Благ.
Исх.
Исх.
Процент корректПроцент корректНаблюденные 0
1
ных
0
1
ных
Выписан
0 52 0
100%
56 15
78,87%
1 0 13
100%
26 16
38,10%
Общий про100,00%
57,83%
цент
Предсказанные значения PNN32
Отобранные наблюдения
Не отобранные наблюдения
Благ.
Благ.
Исх.
Исх.
Процент корректПроцент корректНаблюденные 0
1
ных
0
1
ных
Выписан
0 52 0
100%
63 8
88,73%
1 0 18
100%
32 5
13,51%
Общий про100,00%
59,80%
цент
Таблица 5
Таблица классификации для ВНС PNN`ij
Предсказанные значения PNN11
Отобранные наблюдения
Не отобранные наблюдения
Благ.
Благ.
Исх.
Исх.
Процент корректПроцент корректНаблюденные 0
1
ных
0
1
ных
Выписан
0 29 0
100%
101 5
95,28%
1 0
4
100%
37 2
5,13%
УДК 004.032.26(06) Нейронные сети
163
ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1
Общий процент
100,00%
69,52%
Предсказанные значения PNN21
Отобранные наблюдения
Не отобранные наблюдения
Благ.
Благ.
Исх.
Исх.
Процент корректПроцент корректНаблюденные 0
1
ных
0
1
ных
Выписан
0 24 0
100%
68 21
76,4%
1 0
9
100%
36 20
35,71%
Общий про100,00%
56,56%
цент
Предсказанные значения PNN31
Отобранные наблюдения
Не отобранные наблюдения
Благ.
Благ.
Исх.
Исх.
Процент корректПроцент корректНаблюденные 0
1
ных
0
1
ных
Выписан
0 12 1
92,31%
83 12
87,37%
1 0 20
100%
30 20
40%
Общий про99,63%
57,76%
цент
Предсказанные значения PNN12
Отобранные наблюдения
Не отобранные наблюдения
Благ.
Благ.
Исх.
Исх.
Процент корректПроцент корректНаблюденные 0
1
ных
0
1
ных
Выписан
0 29 0
100%
104 2
98,11%
1 2
2
50%
7 32
82,05%
Общий про50%
83%
цент
Предсказанные значения PNN22
Наблюденные Отобранные наблюдения
Не отобранные наблюдения
УДК 004.032.26(06) Нейронные сети
164
ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1
Благ.
Исх.
Выписан
Общий процент
0
0 82
1
1
7
56
Благ.
Исх.
Процент корректных
92,13%
100%
99,13%
0
68
36
1
21
20
Процент корректных
91,67%
77,78%
80,86%
Предсказанные значения PNN32
Отобранные наблюдения
Не отобранные наблюдения
Благ.
Благ.
Исх.
Исх.
Процент корректПроцент корректНаблюденные 0
1
ных
0
1
ных
Выписан
0 94 1
98,95%
12 1
92,31%
1 0 50
100%
0 20
100%
Общий про99,98%
99,63%
цент
По оси Х приведены номера 12 моделей. Исходя из предложенной гистограммы, видно, вероятностные нейронные сети показали себя как хорошие классификаторы на обучающей выборке. Несколько иначе дело
обстоит с перекрестными наблюдениями. Здесь вероятности верной классификации наблюдения были не столь высоки, как на обучающей выборке. Оценка качества модели по данным перекрестных наблюдений плавает
от неудовлетворительной до отличной. Низкие значения верно классифицированных наблюдений при тестировании моделей ВНС на перекрестных выборках обусловлены тем, что в модели подаются данные, заведомо
не попавшие в обучающую выборку, поскольку по каким-либо признакам
они характеризуются как исключительные наблюдения.
УДК 004.032.26(06) Нейронные сети
165
ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1
Рис. 1. Диаграмма верно предсказанных значений вероятностных нейронных сетей
Рис. 2. График чувствительности вероятностных нейронных сетей
Рис. 3. График специфичности вероятностных нейронных сетей
УДК 004.032.26(06) Нейронные сети
166
ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1
Для выявления чувствительности и специфичности построенных вероятностных нейронных сетей был проведен ROC анализ. В результате
сравнения данных по чувствительности и специфичности моделей на основе ВНС и логистической регрессии была построена гистограмма (рис. 3
и 4).
На гистограмме чувствительности все ВНС за исключением сети
PNN`11 имеют высокий уровень чувствительности (выше 90 %). Среднее
значение чувствительности для ВНС на обучающей выборке составило
95,48 %. Средний уровень специфичности, составил 91,72 %.
При тестировании моделей на перекрестных выборках среднее значение чувствительности для модели на основе ВНС составило 63,81%.
Среднее значение специфичности для модели на основе ВНС составило
73,72 %.
Выводы
Для решения вышеописанных задач была построена модель на основе
вероятностной сети для принятия решения о завершении оперативного
вмешательства по причине перитонит. Были построены классификационные модели PNNij, PNN`ij, позволяющие прогнозировать исход того или
иного метода завершения хирургического вмешательства с высокой вероятностью верного отнесения объекта к классу.
Список литературы
1. Россиев Д.А. Самообучающиеся нейросетевые экспертные системы
в медицине: теория, методология, инструментарий, внедрение. Автореф.
дис. … д-ра мед. наук. Красноярск, 2000.
2. Микшина В.С., Егоров А.А. Дарвин В.В. // Интеллектуальная информационная система поддержки принятия решения хирурга при завершении оперативного вмешательства по поводу Перитонита. / ИНФО 2008.
– 2008 г. Сочи. C. 157–159.
3. Егоров А.А., Модель принятия решения хирурга. Вестник новых
медицинских технологий Тульского государственного университета.
2010.
4.
http://www.statsoft.ru/home/portal/applications/NeuralNetworksAdvisor/Advnew/PNN.htm Вероятностная нейронная сеть.
5. Ярушкина Н.Г. Основы теории нечетких гибридных систем: Учеб.
Пособие. – М.; Финансы и статистика, 204. 320 с.
УДК 004.032.26(06) Нейронные сети
167
ISBN 978-5-7262-1375-0. НЕЙРОИНФОРМАТИКА – 2011. Часть 1
6. Mao K.Z., Tan K.-C., and Ser W. Probabilistic Neural-Network Structure
Determination for Pattern Classification // IEEE Transactions on Neural Networks, Vol. 11, № 4. 2000.
7. European Journal of Scientific Research/ Cooperative Neural Network
Generalization Model Incorporating Classification and Association.Waleed,
A.J. Rasheed, № 4, 2009, pp. 639–648.
8. Калан Р. Основные концепции нейронных сетей. – М.: Вильямс,
2001. 287 с.
9. European Journal of Scientific Research/ Cooperative Neural Network
Generalization Model Incorporating Classification and Association.Waleed,
A.J. Rasheed, № 4, 2009, pp. 639–648.
10.
http://www.basegroup.ru/solutions/scripts/details/compare_model/
Сравнение моделей временных рядов.
11. http://www.scorcher.ru/neuro/science/Perceptron/mem32.htm Нейронные сети: обучение с учителем.
УДК 004.032.26(06) Нейронные сети
168