Измерения. ROC

Интерпретация
результатов в научном
эксперименте и
клинической медицине
Клиникометрика
Задачи с которыми
сталкиваются исследователи
• Идентичность групп
– Биоэквивалентность
– Количество наблюдений
• Наличие отличий в данных и
классификация (диагностика)
• Проблема динамики изменений
(мониторинг)
• Создание моделей (интегральная оценка,
КЭА)
Клиническая диагностика – частный случай теории принятия
решений
ОБЩИЕ ПОЛОЖЕНИЯ
Типичная ситуация
Клиническое
решение
Интерпретация
Результат
Цели проведения тестов
Скрининг
Выявление болезни на
доклинической стадии
Диагноз
Подтверждение или
отклонение диагноза
Мониторинг
Естественное течение
заболевания или реакции
на лечение
Прогноз
Информация о
возможном исходе
заболевания
Научно обоснованная медицинская практика
ориентирована на следующие положения:
• в большинстве клинических ситуаций диагноз,
прогноз и результаты лечения отдельного больного
неопределенны и поэтому должны выражаться через
вероятности;
• в клинические наблюдения заложены предвзятость и
систематические ошибки;
• любые исследования, включая клинические,
подвержены влиянию случайности;
• клиницисты должны полагаться на наблюдения,
основанные на твердых научных принципах,
включающих способы уменьшения предвзятости и
оценку роли случайности.
Сбор данных о больном в ходе обследования
Сравнение с
данными из КР
Анализ данных
Изучение динамики
Формулировка предварительногодиагноза
Сбор дополнительных данных о больном
Формулировка окончательногодиагноза
КЛАССИЧЕСКАЯ
КЛИНИЧЕСКАЯ
ДИАГНОСТИКА
Для разума при восприятии окружающего
возможны четыре ситуации:
явление существует и воспринимается
так, как оно есть; не существует и не
воспринимается; существует, но не
воспринимается; не существует, но
кажется существующим. Правильно
распознать каждый случай — задача,
достойная мудреца.
Эпиктет (греческий философ-стоик, II век н.э.
БОЛЕЗНЬ
Присутствует
Отсутствует
Положительный
Истинно
Ложноположительный положительный
Отрицательный
Ложноотрицательный
ТЕСТ
Истинно
отрицательный
Соотношение между результатами диагностического
теста и наличием заболевания.
Специфичность — это показатель частоты
получения отрицательных результатов у
лиц, не страдающих данной болезнью, т. е.
"истинно отрицательных" результатов
(ИОР).
Специфичность, оцениваемая в 90 %, означает, что 10 % лиц, не страдающих
данным заболеванием, на основании результата анализа будут расценены как
больные, т. е. у 10 % результаты анализа будут ложноположительными.
Чувствительность — это показатель частоты получения
положительных результатов у пациентов, имеющих
данное заболевание, т. е. "истинно положительных"
результатов (ИПР).
Чувствительность, оцениваемая в 90 %, предполагает, что
только 90 % больных будут на основании данного анализа
признаны таковыми, а у 10 % результаты анализа будут
ложноотрицательными.
БОЛЕЗНЬ
Т
Е
С
Т
Присутствует
Отсутствует
Положительный
a
b
a+b
Отрицательный
c
d
c+d
a+c
b+d
a
Se 
ac
a
LR  a  c
b
bd
Sp 
d
bd
a
ab
c
 PV 
cd
 PV 
a+b+c+d
P
ac
abcd
c
LR  a  c
d
bd
Se (sensitivity) - чувствительность; Sp (specificity) - специфичность; Р (prevalence) распространенность заболевания, -PV (negative predictive value) - прогностическая ценность
отрицательного результата теста; +PV (positive predictive value) - прогностическая ценность
положительного результата теста; LR+ (positive likelihood ratio) - отношение правдоподобия
положительного результата теста; RL- (negative likelihood ratio) - отношение правдоподобия
отрицательного результата теста
Клинический диагноз
стрептококковой ангины
Бетагемолитическ
ий
стрептококк в
посеве мазка
из зева
Присутствует
Отсутствует
Да
27
35
62
 PV 
27
 44%
62
Нет
10
77
87
 PV 
77
 88%
87
37
112
149
Se 
27
 73%
37
27
LR  27 10  2,3
35
35  77
Sp 
77
37
 69% P 
 25%
112
149
10
LR  10  27  0,39
77
77  35
Точность диагноза стрептококковой ангины, установленного на основе
клинических наблюдений, по сравнению с результатами посева мазка из зева
[Fletcher S.W, Hamann С. J Соmm Health 1976; 1:196-204]
Использование
чувствительных тестов
• Чувствительный тест (т.е. такой, который при наличии болезни
обычно дает положительный результат) следует выбрать, если
есть риск пропустить опасную, но излечимую болезнь туберкулез, сифилис, лимфогранулематоз.
• Чувствительные тесты рекомендуются на ранних стадиях
диагностического поиска для сужения его рамок, когда
возможных вариантов много и диагностические тесты позволят
исключить некоторые из них, т.е. сделать вывод, что эти
заболевания маловероятны.
– Например, при инфильтратах в легких, сочетающихся с
похуданием, в качестве раннего диагностического теста
целесообразен тест на антитела к ВИЧ для исключения
оппортунистических инфекций, связанных со СПИДом.
N.B. для врача чувствительный тест особенно
информативен в том случае, когда он дает
отрицательный результат
Пример миоглобин в диагностике ИМ
Биомаркёр
Чувствительность
3 часа
6 часов
12 часов
Специфичность
Миоглобин 69 [48-86] 100[87-100] 100[87-100] 46 [33-60]
TnI
54 [33-73] 81 [61-93]
100[87-100] 90 [80-96]
TnT
51 [26-70] 78 [58-89]
100[82-100] 89 [78-95]
CKmass MB 46 [27-67] 88 [70-97]
100[87-100] 78 [66-88]
CKtotal
88 [70-97]
31 [14-52] 54 [ 33-73]
66 [52-78]
Использование специфичных
тестов
• Специфичные тесты нужны для подтверждения
(установления) диагноза, предложенного на основании
других данных.
• Высокоспецифичный тест не должен дать положительный
результат в отсутствие заболевания (т.е. редко бывает
ложно-положительным).
• Высокоспецифичные тесты особенно необходимы, если
ложноположительный результат может нанести пациенту
вред - физический, эмоциональный или финансовый.
– Например, прежде чем назначать больному со злокачественным
новообразованием химиотерапию, сопряженную с риском
осложнения, эмоциональной травмой и затратой средств,
требуется морфологическое подтверждение диагноза, так как
результаты менее специфичных тестов недостаточны.
N.B. Cпецифичный тест диагностически наиболее
эффективен, когда дает положительный результат
Пример Тропонины в диагностике ИМ
Биомаркёр
Чувствительность
3 часа
6 часов
12 часов
Специфичность
Миоглобин 69 [48-86] 100[87-100] 100[87-100] 46 [33-60]
TnI
54 [33-73] 81 [61-93]
100[87-100] 90 [80-96]
TnT
51 [26-70] 78 [58-89]
100[82-100] 89 [78-95]
CKmass MB 46 [27-67] 88 [70-97]
100[87-100] 78 [66-88]
CKtotal
88 [70-97]
31 [14-52] 54 [ 33-73]
66 [52-78]
Чувствительность – специфичность:
старые добрые медицинские понятия
Чувствительность (SE) – это доля носителей маркера среди больных
(тест сработал!)
SE  P(M D)
Специфичность (SP) - это доля здоровых, которые не являются носителем
маркера (тест сработал!)
SP  P(M D)
Случаи, когда
маркер сработал
10 больных
10 здоровых
7 9
OR 
 21
3 1
при p  0.02
Случаи, когда
Чувствительность
= 0.7
маркер не сработал
Специфичность = 0.9
Таблица сопряженности 22
Больные
Case
Здоровые
Control
D
D
Носители
маркера
M
a
b
Свободны от
маркера
M
c
d
a
Чувствительность  SE  P(M D) 
ac
d
Специфичность  SP  P(M D) 
bd
SE vs. SP:
противоборство показателей
Маркер у всех,
и все больны!
SE=1, SP=0
Маркер
Все без маркера,
и все здоровы!
SE=0, SP=1
Специфичность
Чувствительность
Выигрывая в чувствительности,
обычно теряем специфичность (et converso)
Почему величина AUC=(SE+SP)/2 характеризует
прогностическую эффективность маркера?
Берем
1 здорового и 1 больного

Без использования маркера
вероятность угадать,
кто есть кто = 1/2

Используем тест и носителя маркера объявляем больным
вероятность угадать, 1
1

SE

SP
кто есть кто = AUC
2
2
В качестве больного выбираем:
- любого
AUC – это вероятность
любого
отличить больного-от
здорового, ориентируясь
на маркер! - с маркером
AUC>1/2, если OR>1
AUC
Прогностическая ценность
0.5
Случайный классификатор
0.5-0.6
Плохой классификатор
0.6-0.7
Средний классификатор
0.7-0.8
Хороший классификатор
>0.8
Отличный классификатор
Двойственность показателей по столбцам и по строкам
D
M
M
a
c
D
b
d
a
SE=
 P(M D)
ac
Доля носителей маркера
среди больных
Positive Predicted Values:
вероятность заболеть при
носительстве маркера,
диагностическая ценность
a
 P(D M)=PPV
ab
Доля больных среди
носителей маркера
Доля дур среди
блондинок, это не то же
самое, что доля
блондинок среди дур!
Двойственность показателей по столбцам и по строкам
D
M
M
D
Positive Predicted Values:
вероятность заболеть при
носительстве маркера
(наличие симптома),
диагностическая ценность
b
a
 P(D M)=PPV
ab
c
d
d
 P(D M) =NPV
cd
a
ac
d
bd
a
P(M D)
P ( M D)
SE
SP
Negative Predicted Values:
вероятность не заболеть при
отсутствии маркера
(отсутствии симптома),
диагностическая ценность
Влияние распространенности заболевания на прогностическую ценность
положительного результата теста. Вероятность наличия ишемической болезни
сердца (ИБС у мужчин в зависимости от возраста, симптомов и снижения
сегмента ST нa ЭКГ при пробе с физической нагрузкой [Diamond G А ,
Forrester J.S. Analysis of probability as an aid in the clinical diagnosis of coronary
artery disease N Engl J Med 1979:300 1350-1358]

Прогностическая ценность положительного
результата теста в зависимости от
чувствительности, специфичности и
распространенности заболевания
Распространенность =N1/(N1+N2) = Р
Больные= N1
Здоровые=N2
N х ДЧ х P
N х ДC х (1-P)
Положительный результат
Доля больных среди лиц с положительным результатом
N х ДЧ х P
N х ДЧ х P + N х ДC х (1-P)
И это еще не все!
ad
Универсальный показатель ассоциирования OR 
симптом-болезнь
bc
- это не относительный риск!
Risk Ratio - это во сколько раз
возрастает вероятность заболеть
при наличии маркера
D
M
M
D
b
a
 P(D M)=PPV
ab
c
d
d
 P(D M) =NPV
cd
a
ac
d
bd
a
P(D M)
P(M D)
P ( M D)
PPV
RR 

P(D M) 1  NPV
SE
SP
Всегда OR > RR
Не слишком ли много показателей
для таблички из 4 чисел?
Ну а где же показатели прогностической эффективности?
Их два, и к сожалению они редко бывают хороши одновременно
 Показатель прогностической ценности (по столбцам)
SE  SP
AUC 
2
Прогнозы в эпидемиологии,
скрининг, подбор групп риска,
профессиональный отбор
Балансовая точностью прогноза (Balanced Accuracy)
 Показатель диагностической ценности (по строчкам)
PPV  NPV
BAD 
2
Индивидуальный пост-тестовый
прогноз, клиническая практика
Балансовая точностью диагноза (Balanced Accuracy)
Дз+ (a)
Тест+
ТестSum
Se, Sp
Дз- (b)
7
3
10
70%
1
9
10
90%
a+b частоты шансы PPV
NPV
8
87,5%
7
87,5%
12
25,0% 0,333333
75,0%
отношения шансов
OR
отношения рисков
RR
21
3,5
Маммография – «маркер-классификатор»
Диагностическая ценность
положительного результата всего
Рак молочной
лишьжелезы:
14% !!! pD=0.006
Маммография:
pM=0.037
OR=197
p=10-300
D
D
M
629
3 885
PPV=0.14
M
97
117 744
NPV=0.999
SE=0.87; SP=0.97
RR=169
AUC=0.92 ценность
Диагностическая
отрицательного результата
почти 100%
Banks E., Reeves G., Beral V., et. al. Influence of personal characteristics of individual
women on sensitivity and specificity of mammography in the Million Women Study:
cohort study. 2004, BMJ; 329; 477
Leiden V – «маркер-диагност»
Тромбоз вен:
Мутация
Arg506Gln
Leiden V:
pM=0.072
pD=0.32
D
D
M
41
26
PPV=0.61
M
260
604
NPV=0.70
OR=3.7
SE=0.14; SP=0.96
p=510-7
AUC=0.547
RR=2.0
Относительный риск
существенно меньше OR.
Это типично при высокой
заболеваемости
A. Folsom, M. Cushman, M. Tsai, et al. A prospective study of venous
thromboembolism in relation to factor V Leiden and related factors
BLOOD, 2002, 99, 8
Не слишком ли много показателей
для таблички из 4 чисел?
Важный момент: не все эти показатели поддаются
непосредственной оценке – все зависит от дизайна
эксперимента
Во всех случаях можно оценить только
универсальный показатель ассоциирования отношение шансов OR!
Дизайн ассоциативных исследований
Выборка 1 Выборка 2
D
Выборка 1
M
Выборка 2
M
D
Набираем выборку,
a
b
заранее не зная, кто
болен и кто носитель
c маркера d
P(M D)
P ( D M)
P ( D M)
P(M D)

Case-control study:
подбор групп «больные-здоровые»

Cohort study:
подбор групп «с маркером – без маркера»

Population study:
случайная выборка без подбора групп
Основной вариант
OR,ассоциативных
SE, SP, AUC
исследований
Обычно
OR,
RR, PPV, NPV
«экспонированные
контроль»
Редкий вариант
любые
(дорого!)
Возможность непосредственной оценки зависит
pD – встречаемость
(распространенность)
заболевания
от дизайна
эксперимента!
pM – популяционная встречаемость (частота) маркера
Study
Case-control
OR
RR
√
Cohort
√
Population
√
SE
SP
√
√
PPV
NPV
pD
pM
?
?
√
√
√
При case-control мы не можем оценить
и√ частоту
√ заболеваемость
√
√
√ маркера
√
√
непосредственно в своем эксперименте
Однако в большинстве случаев в отношении pD и pM
имеется априорная информация (эпидемиологические
сводки, базы данных PubMed, HapMap и т.д.)
Зная OR, pD и pM можно оценить все остальные показатели
PPV pD
Например, из соотношения

SE
pM
На что можно рассчитывать, используя
бинарный маркер?
Какими могут быть чувствительность, специфичность и риски
для бинарного теста? .... Рассмотрим крайности:
Идеальный маркер
D
D
0
d
В общем случае показатели эффективности
теста зависят от
OR=RR=∞
заболевания и маркера.
Mчастотaвстречаемости
0
SE=SP=AUC=PPV=NPV=1
Притом весьма нетривиальным
образом!
M
Маркер не
При OR > 1:
В каждой клетке
произведения
вероятностей
работает
(например,
фамилияSEс >гласной
буквы)
SE и PPV
больше
нуля
pM и PPV
> pD
«встретить – не встретить»
D
M
M
pM pD
даже в отсутствии
ассоциаций
D
OR=RR=1, AUC=1/2
pM (1- pD)
SE=pM, SP=1-pM
(1- pM) pD (1- pM) (1- pD)
PPV=pD, NPV=1-pD
КОЛИЧЕСТВЕННЫЕ ТЕСТЫ
Необходимость упрощения данных в
классическом подходе к диагностике
Симптомы
ДА/НЕТ
Количественные и
порядковые
данные →
качественные
данные
Болезнь как
симптомокомплекс
Ключевая проблема
клинической интерпретации
разделить норму и
патологию
Ab haedis segregare oves
Евангелие От Матвея 25 32
Упрощение данных
• Клинические показатели, включая
данные диагностических тестов,
бывают разных типов:
– качественные,
– порядковые
– количественные.
• Независимо от характера данных,
клиницисты обычно приводят их к
более простой форме, чтобы ими было
легче оперировать.
Независимо от характера данных,
клиницисты обычно приводят данные
к дихотомической форме
•
•
•
•
да/нет,
норма/патология,
здоров/болен),
хорошо/плохо
чтобы ими было легче оперировать.
Как интерпретируем в клинике?
• Референтный интервал
• Пороги принятия клинического
решения
• Целевые уровни
Определение статистическими методами того, что
есть норма, является общепринятым, однако
• если все значения, находящиеся за произвольным
статистическим пределом (допустим, за 95-м
процентилем), рассматривались как патологические,
то распространенность всех болезней должна быть
одинаковой и составлять 5%.
• не существует соответствия между степенью
статистической "необычности" и болезнью вообще.
• риск заболевания коррелирует с показателями
многих лабораторных тестов по всему диапазону их
возможных значений, снизу доверху. Для "высоких
нормальных" и "низких нормальных" значений уровня
холестерина сыворотки, риск заболевания
различается примерно в три раза.
• некоторые крайние, явно необычные значения, на
самом деле предпочтительнее обычных.
Определение статистическими методами
того, что есть патология, тоже является
общепринятым, однако
Процесс установления
диагноза несовершенен — в
итоге, мы можем лишь
предполагать, что диагноз
верен, нежели утверждать это
со всей определенностью
«Медицина – это наука неопределенности и искусство
вероятности»
Ослер
"Золотой стандарт"
• Оценка точности теста основана на
сравнении его результата с
результатом некоторого точного
способа определения болезни, т.е. с
заслуживающим доверия показателем
истины - так называемым "золотым
стандартом" (референтным, или
эталонным методом).
• В действительности "золотой стандарт"
тоже нельзя считать абсолютным.
Бинарные и количественные маркеры (тесты)

Бинарный тест:
маркер «есть-нет»
M
M
Количественный тест:
маркер является
количественным
показателем
приходим к
таблице 2х2
0,25
D
b
d
Контроль
Больные
0,2
Частота

D
a
c
0,15
0,1
0,05
0
0
После выбора
порогового
значения маркера
5
10
15
Признак - маркер
20
Количественный тест: выбор порога
Частота
0.25
Контроль
Больные
0.2
0.15
низкая
0.1
специфичность
высокая
чувствительность
0.05
Признак маркер
0
Низкий
порог
Количественный тест: выбор порога
Порог
Частота
0.25
Контроль
Больные
0.2
высокая
специфичность
Специфичность
0.15
Чувствительность
низкая
чувствительность
0.1
0.05
Признак маркер
0
Низкий
порог
Высокий
порог
Как выбрать порог, чтобы соотношение
чувствительность/специфичность было оптимальным?
ROC – анализ
Receiver Operator Characteristics
Термин времен 2-ой мировой
войны, который придумали
операторы первых радарных
установок
Как отличить шум и помехи от
вражеского самолета?
Современные применения ROC-анализа:
Медицинская диагностика, радиология и
физиология
Распознавание образов,
машинное обучение
Погода и любые
прогнозы по
приметам
Борьба со спамом
ROC – кривая: зависимость SE от (1-SP)
при плавном изменении порога
Частота
SE
0.25
0.2
Контроль
Больные
1
0.15
0.5
0.1
0.05
0
Пороговое
значение
Признак - маркер
0
0.5
1
1 - SP
Оптимальный выбор порога: выбирается точка на ROC-кривой,
которая ближе всех к левому верхнему углу (0,1), т.е.
(1  SP) 2  (1  SE ) 2  min
Форма ROC-кривых
1

Маркер не работает
SE
0
1 - SP
1
0
1
1 - SP
1
0
1 - SP
1
1


Идеальный маркер
1-ый тест лучше, чем 2-ой
SE
SE
AUC – интегральный показатель
прогностической эффективности маркера
1
AUC - это площадь под ROC-кривой
(Area Under Curve)
SE
AUC = Вероятность того, что значение
признака-маркера у случайно выбранного
больного больше, чем у случайно
выбранного здорового
AUC
0
1 - SP
1
AUC
0.5
Случайный классификатор
0.5-0.6
Плохой классификатор
0.6-0.7
Средний классификатор
0.7-0.8
Хороший классификатор
>0.8
Отличный классификатор
U=N1·N2·AUC - непараметрический критерий Манна-Уитни
ROC-анализ используют для проверки
эффективности внедрения новых маркеров
Мы их не знаем, но они должны
быть,простаты:
судя по «близнецовой
5241 больных раком
PSA + 35 подтвержденных SNP, в основном:
наследуемости»
8q24: OR=1.40; p<10-4
19q13: OR=1.31; p<10-4
Гипотетическая модель, включающая
1.0
неизвестные генетические
маркеры:
AUC0.8 (дальше не улучшить)
0.8
Традиционные маркеры
(PSA, семейная история):
AUC=0.64
0.6
Традиционные + генетические
маркеры: AUC=0.67
0.4
0.2
0.0
0.2
0.4
0.6
0.8
1.0
Aly M,et al. Polygenic Risk Score Improves Prostate Cancer Risk Prediction: Results from the
Stockholm-1 Cohort Study. Eur Urol (2011), doi:10.1016/j.eururo.2011.01.017
Вычисления при ROC-анализе
Значения признака-маркера
3
2
1
0
Контроль
Больные
Вычисления при ROC-анализе
Контроль
25
Больные
Частота, %
20
15
10
5
0
0- 0.25- 0.5- 0.75- 1- 1.25- 1.5- 1.75- 2- 2.25- 2.5- 2.75- 30.25 0.5 0.75
1
1.25 1.5 1.75
2
2.25 2.5 2.75
3
3.25
Значения признака (маркера)
Все делается в Excel:
Интервал
0-0.25
0.25-0.5
0.5-0.75
0.75-1
1-1.25
1.25-1.5
1.5-1.75
1.75-2
2-2.25
2.25-2.5
2.5-2.75
2.75-3
3-3.25
Контроль
#
Доля
22
0.22
22
0.22
14
0.14
19
0.19
11
0.11
7
0.07
5
0.05
0
0
0
0
0
0
0
0
0
0
0
0
Больные
# Доля
0
0
3
0.03
9
0.09
15 0.15
11 0.11
15 0.15
16 0.16
10 0.10
11 0.11
5
0.05
3
0.03
2
0.02
0
0
SE
SP
0.88
0.58
Все делается в Excel:
Чувствительность
Интервал
0-0.25
0.25-0.5
0.5-0.75
0.75-1
1.0
1-1.25
1.25-1.5
0.8
1.5-1.75
0.61.75-2
2-2.25
0.4
2.25-2.5
2.5-2.75
0.2
2.75-3
0.03-3.25
0.0
0.2
Контроль
#
Доля
22
0.22
22
0.22
14
0.14
19
0.19
11
0.11
7
0.07
5
0.05
0
0
0
0
0
0
0
0
0
0
0
0
0.4
0.6
1-Cпецифичность
Больные
# Доля
0
0
3
0.03
9
0.09
15 0.15
11 0.11
15 0.15
16 0.16
10 0.10
11 0.11
5
0.05
3
0.03
2
0.02
0
0
0.8
1.0
SE
SP
1
0,97
0,88
0,73
0,62
0,47
0,31
0,21
0,1
0,05
0,02
0
0
0,22
0,44
0,58
0,77
0,88
0,95
1
1
1
1
1
1
1
Все делается в Excel:
Чувствительность
Интервал
0-0.25
0.25-0.5
0.5-0.75
0.75-1
1.0
1-1.25
1.25-1.5
0.8
1.5-1.75
0.61.75-2
2-2.25
0.4
2.25-2.5
2.5-2.75
0.2
2.75-3
0.03-3.25
0.0
0.2
Контроль
#
Доля
22
0.22
22
0.22
14
0.14
19
0.19
11
0.11
7
0.07
5
0.05
0
0
0
0
0
0
0
0
0
0
0
0
0.4
0.6
1-Cпецифичность
Больные
SE
SP
# Доля
1
0,22
0
0
3
0.03 0,97 0,44
0.09
(91  SP
) 2  (10,88
 SE ) 20,58
15 0.15 0,73 0,77
11 0.11 0,62 0,88
15 0.15 0,47 0,95
16 0.16 0,31
1
10 0.10 0,21
1
11 0.11
0,1
1
5
0.05 0,05
1
3
0.03 0,02
1
2
0.02
0
1
0
0
0
1
0.8
1.0
L(0,1)
Все делается в Excel:
Чувствительность
Интервал
0-0.25
0.25-0.5
0.5-0.75
0.75-1
1.0
1-1.25
1.25-1.5
0.8
1.5-1.75
0.61.75-2
2-2.25
0.4
2.25-2.5
2.5-2.75
0.2
2.75-3
0.03-3.25
0.0
0.2
Контроль
#
Доля
22
0.22
22
0.22
14
0.14
19
0.19
11
0.11
7
0.07
5
0.05
0
0
0
0
0
0
0
0
0
0
0
0
0.4
0.6
1-Cпецифичность
Больные
# Доля
0
0
3
0.03
9
0.09
15 0.15
11 0.11
15 0.15
16 0.16
10 0.10
11 0.11
5
0.05
3
0.03
2
0.02
0
0
0.8
1.0
SE
SP
L(0,1)
1
0,97
0,88
0,73
0,62
0,47
0,31
0,21
0,1
0,05
0,02
0
0
0,22
0,44
0,58
0,77
0,88
0,95
1
1
1
1
1
1
1
0,780
0,561
0,437
0,355
0,398
0,532
0,690
0,790
0,900
0,950
0,980
1,000
1,000
Наименьшее
расстояние до
точки (0,1)
Все делается в Excel:
Контроль
Больные
SE
#
Доля
# Доля
1
0-0.25
22
0.22
0
0
Оптимальное
0.25-0.5
22пороговое
0.22
3
0.03 0,97
значение
0.5-0.75
14
0.14
9
0.09 0,88
0.75-1
19
0.19
15 0.15 0,73
1-1.25
11
0.11
11 0.11 0,62
1.25-1.5
7
0.07
15 0.15 0,47
При выборе
этого
мы
1.5-1.75
5
0.05 этого
16 порога,
0.16 0,31
правильно
идентифицируем
73%
1.75-2
0
0
10 0.10 0,21
больных и 77% здоровых
2-2.25
0
0
11 0.11
0,1
2.25-2.5
0
0
5
0.05 0,05
2.5-2.75
0
0
3
0.03 0,02
2.75-3
0
0
2
0.02
0
3-3.25
0
0
0
0
0
Интервал
SP
L(0,1)
0,22
0,44
0,58
0,77
0,88
0,95
1
1
1
1
1
1
1
0,780
0,561
0,437
0,355
0,398
0,532
0,690
0,790
0,900
0,950
0,980
1,000
1,000
Наименьшее
расстояние до
точки (0,1)
Все делается в Excel:
Чувствительность
Интервал
0-0.25
0.25-0.5
0.5-0.75
0.75-1
1.0
1-1.25
1.25-1.5
0.8
1.5-1.75
0.61.75-2
2-2.25
0.4
2.25-2.5
2.5-2.75
0.2
2.75-3
0.03-3.25
0.0
0.2
Контроль
#
Доля
22
0.22
22
0.22
14
0.14
19
0.19
11
0.11
7
0.07
5
0.05
0
0
0
0AUC
0
0
0
0
0
0
0
0
0.4
0.6
1-Cпецифичность
Больные
# Доля
0
0
3
0.03
9
0.09
15 0.15
11 0.11
15 0.15
16 0.16
10 0.10
11 0.11
5
0.05
3
0.03
2
0.02
0
0
0.8
1.0
SE
SP
L(0,1)
 AUC
1
0,97
0,88
0,73
0,62
0,47
0,31
0,21
0,1
0,05
0,02
0
0
0,22
0,44
0,58
0,77
0,88
0,95
1
1
1
1
1
1
1
0,780
0,561
0,437
0,355
0,398
0,532
0,690
0,790
0,900
0,950
0,980
1,000
1,000
0,220
0,217
0,130
0,153
0,072
0,038
0,020
0
0
0
0
0
0
0.85
AUC =
Компромисс между чувствительностью и специфичностью при
диагностике сахарного диабета
Глюкоза крови через 2 ч после
нагрузки, ммоль/л (мг/дл)
Чувствительность, %
Специфичность, %
3,85 (70)
98,6
8,8
4,4 (80)
97,1
25,5
4,95 (90)
94,3
47,6
5,5 (100)
88,6
69,8
6,05 (110)
85,7
84,1
6,6 (120)
71,4
92,5
7,15 (130)
64,3
96,9
7,7 (140)
57,1
99,4
8,25 (150)
50
99,6
8,8 (160)
47,1
99,8
9,35 (170)
42,9
100
9,9 (180)
38,6
100
10,45 (190)
34,3
100
11 (200)
27,1
100
Чувствительность,%
(частота истинно положительных результатов)
100
0
20
0
20
40
60
80
100
90
80
70
60
50
40
30
20
10
0
40
60
80
100- специфичность
(частота ложноположительных результатов)
100
Диагностические критерии СД и другие категории гипергликемии (ВОЗ, 1999 г.)
Уровень глюкозы, ммоль/л
цельная кровь
плазма крови
венозная
капиллярная
венозная
капиллярная
>6,1
>6,1
> 7,0
>7,0
>11,1
>11,1
>12,2
<6,1
<7,0
<7,0
>7,8, но <11,1
>8,9, но <12,2
>5,6, но <6,1
>6,1, но <7,0
>6,1, но <7,0
<7,8
<7,8
<8,9
СД
Натощак
Через 2 ч после
нагрузки глюкозой >10,0
или оба показателя
Нарушенная
толерантность
глюкозе
к
Натощак
(если
<6,1
определяется)
Через 2 ч после
>6,7, но <10,0 >7,8, но <11,1
нагрузки глюкозой
Нарушенная
гликемия натощак
Натощак
>5,6, но <6,1
Через 2 ч (если
<6,7
определяется)
Результаты обследования 1000 человек при разных уровнях
диагностического критерия
Диабет
5,5
ммоль/л
Диабет
7,15
ммоль/л
Присут Отсутс
ствует твует
Результат
теста
+
886
302
-
114
698
Присут Отсутс
ствует твует
Результат
теста
Public Health Service. Diabetes program guide.
+
643
31
-
357
969
Чувствительность
100
80
60
Средние молекулы
Диеновые конъюгаты
40
Информативность
95,9%
72,1%
Антиокислительная активность
Сорбционная способность
20
45,3%
95,7%
0
0
20
40
60
100-специфичность
80
100
Чувствительность
Информативность по комплексному показателю
100
90
80
70
60
50
40
30
20
10
0
0
20
40
60
80
100
АлАТ
Холестерин
АcАТ
0
20
40
60
80
100-специфичность
100
Компромисс между чувствительностью и
специфичностью
ROC-анализ (receiver operating characteristic analysis)
• Позволяет объективно оценить
диагностическую значимость отдельного теста
• Позволяет провести сравнительную оценку
нескольких тестов, в том числе и разнородных,
проводимых для диагностики какого-либо
заболевания.
• Определяет индивидуальный критерий каждого
интерпретатора, который он использует при
оценке данных тестов.
Современный подход
Количественные
Качественные
Модель
Лог.
регрессия
ROC
анализ
Риски.
Вероятность
диагноза
Порядковые
Данные о больном
Калькулятор
Пример - TIMI, PURSUIT, and GRACE risk scores:
Диагноз
СПАСИБ1 ЗА ВНИМАНИЕ