Лекция 2 Статистические методы обработки экспертной

10
Лекция 2
Тема: СТАТИСТИЧЕСКИЕ МЕТОДЫ ОБРАБОТКИ ЭКСПЕРТНОЙ
ИНФОРМАЦИИ -ЧИСЛЕННЫЕ ОЦЕНКИ
1.
Численные оценки.
В соответствии с общей схемой экспертизы обработка оценок экспертов
состоит в применении к ним заданного отображения  : Э N   . Смысл обработки заключается в нахождении результирующей оценки системы по оценкам, даваемым экспертами. Результаты оценок каждого из экспертов можно
рассматривать как реализации некоторой случайной величины, принимающей
значения из Э и применять к ним методы математической статистики. Статистические методы позволяют определить согласованность мнений экспертов,
значимость полученных оценок и т. д. Степень согласованности указывает на
качество результирующей оценки.
Задача численного оценивания состоит в сопоставлении оцениваемой системе одного числа. Для ее решения используется экспертиза Э1:
 = E1
Э = E1
L – эксперты изолированы;
Q – обратная связь отсутствует;
N
N
( x1 ,.., x N )   x i  i
 i
i 1
(1)
i 1
Результирующая оценка ищется по формуле средневзвешенного значения,
где i i  1, N  – веса экспертов. При отсутствии информации о компетентности
экспертов можно положить i  1 i  1, N . Степенью согласованности мнений
экспертов в экспертизе Э1 служит дисперсия 2:
N
 2   (a i  a ) 2  i
i 1
N
 i ,
i 1
N
a   a ii
i 1
N
 i
i 1
(2)
11
где аi – оценка i-гo эксперта, а – результирующая оценка.
Приведем одну из модификаций экспертизы Э1, повышающую (при некоторых предположениях) точность оценивания. Экспертиза Э2 характеризуется
параметрами
( x11 , x12 , x12 ,.., x1N , x 2N , x 3N ) 
 x1i 1  x i2  2  x i3  3 
 i
      

i 1
1
2
3

N
N
  i (3)
i 1
Остальные параметры те же, что и в экспертизе Э1. Степень согласованности между оценками определяется выражением
N
 2   (a i  a ) 2  i
i 1
N
N
i 1
i 1
2
  i   i  i
N
 i ,
(4)
i 1
a i  a1i  a i2  a i3  ( x1i 1  x i2  2  x i3  3 ) ( 1   2   3 ) .


2
где аi – средняя оценка i-го эксперта, i2  a i3  a1i /  4 ;  4 – степень неуверенности эксперта в своем ответе.
В экспертизе Э2 a1i , a2i , a3i интерпретируются как оптимистическая, наиболее вероятная и пессимистическая оценки i-гo эксперта соответственно. Коэффициенты  1,  2 ,  3 ,  4
определяются эмпирически. По одной методике
 1  1,  2  4,  3  1,  4  36 по другой  1  3,  2  0,  3  2,  4  25 (по второй
методике  1   3 , так как в ней считается, что человек склонен к занижению
оценки).
В экспертизах Э1 и Э2 можно определить статистическую значимость полученных результатов. Задавшись вероятностью ошибки Рош (уровень значимости), укажем интервал, в который оцениваемая величина попадает с вероятностью 1 – Рош:
12
считается, что величина а распределена нормально с центром a и дисперсией (2). Тогда   t N , где величина t имеет распределение Стьюдента с N–
1 степенью свободы. Ее определяют по таблице, задавшись величиной РОШ.
Пример 1. Десять экспертов с одинаковыми весами  i  1 ( i  1, N ) оценивают величину Т. От них получены следующие оценки:
Т1 = 33; Т2 = 35; Т3 = 32,2; Т4 = 34; Т5 = 38;
Т5 = 34; Т6 = 37; Т7 = 40; Т8 = 36; Т10 = 35,5.
Значение T , подсчитанное по формуле (1), в которую вместо хi подставлены Тi будет равно 35,5. Дисперсия 2, рассчитанная по (2), равна 4,9;  = 2,2136.
Задав вероятность ошибки Рош = 0,05, по таблицам распределения Стьюдента определим величину t: число степеней свободы равно 9; t = 2,262. По
формуле (5)  = 1,583. Таким образом, с вероятностью 0,95 оцениваемая величина Т находится в интервале [33,917; 37,083].
Опишем применение метода Делфи для численной оценки в виде экспертизы Э3:
(5)
L – эксперты изолированы;
Q – экспертам предоставляется медиана q2(7), диапазон квантилей (8) и
обоснования оценок, выходящих за этот диапазон.
13
Отображение  задается следующим образом. Весь интервал допустимых
значений оцениваемой величины разбивается на k интервалов t1, ..., tk, эксперт
оценивает вероятность попадания оцениваемой величины в каждый из интервалов; по результатам их оценок составляется табл. 1, где рij – оценка вероятности
попадания оцениваемой величины в j-и интервал, данная i-м экспертом. На основе этой таблицы определяется мнение экспертов о попадании оцениваемой
величины в каждый из интервалов tj.
N
Ptj
 p ij  i
 i 1
N
 i
,
( j  1, k )
(6)
i 1
Таблица 1
Эксперты
Интервалы
t1
t2
…
tk
1
p11
p12
…
P1k
2
p21
p22
…
P2k
…
…
…
…
…
N
Pt*1
Pt*2
…
Pt*k
На основе значений Pt*j строится эмпирическое распределение вероятностей оцениваемой случайной величины (пример на рис.1). На его основе строится эмпирическая функция распределения случайной величины (пример на
рис.2). График строится на основе интерполяционного сглаживания кусочнопостоянной функции
k
F( t k )   Ptj
j 1
14
Графики на рис.1, 2 используются для определения вероятностных характеристик оцениваемой величины. Однако, в СППР реализуются не сами графики, а процедуры вычисления вероятностных характеристик, а графики носят
скорее иллюстративный характер.
Pt
0,4
0,35
0,3
0,25
0,2
0,15
0,1
0,05
0
t1
t2
t3
t4
t5
t6
t7
Рис.1. Пример эмпирического распределения вероятностей оцениваемой
случайной величины.
F(t)
1,2
1
0,8
0,6
0,4
0,2
0
t1
t2
t3
t4
t5
t6
t7
Рис.2. Пример эмпирической функции распределения оцениваемой случайной величины, соответствующей распределению на рис.1. F(t)=P(x  t ).
15
При этом
k
 Pt*j
j 1
 1 . Результирующей оценкой  C1  Э , ..., C N  Э  явля-
ется медиана построенного распределения q2, определяемая из условия
P( t  q 2 ) =0,5
(7)
Фактически, удобно иллюстрировать определение медианы при помощи
эмпирической функции распределения на рис.2 : по оси абсцисс откладываем
значение вероятности 0,5, и по оси ординат определяем соответствующее ей на
графике значение q 2  t  .
Помимо q2 вычисляется диапазон квантилей
q  q 3  q1
(8)
где PT  q 3   0,75; PT  q1   0,25 . Значения q1 , q 3 определяются аналогично по рис.2. Эмпирически установлено, что процедуру повтора экспертизы
можно прекращать, когда диапазон квантилей уменьшился в 1,6 раза по сравнению с первоначальным.