КОШЕЛЕВ И.В.
advertisement
КОШЕЛЕВ И.В. аспирант кафедры статистики, Пятигорский филиал Российского государственного торгово-экономического университета tatess@mail.ru КОШЕЛЕВА Т.М. кандидат философских наук, доцент, заместитель директора Пятигорского филиала Российского государственного торгово-экономического университета tatess@mail.ru О ВЫРАБОТКЕ ЭКОНОМИЧЕСКИХ РЕШЕНИЙ НА ОСНОВЕ ЭКСПЕРТНЫХ ОЦЕНОК. ( О ВЛИЯНИИ СТЕПЕНИ СОГЛАСОВАННОСТИ ЭКСПЕРТОВ ПРИ ПРИНЯТИИЭКОНОМИЧЕСКИХ РЕШЕНИЙ) Для принятия обоснованных экономических решений необходимо опираться на опыт, знания и интуицию специалистов. Техническая революция ХХ века настолько повысила уровень энерговооруженности лиц, принимающих решение и исполнителей, что ошибки от неверно принятых решений могут привести не только к экономической катастрофе для отдельного предпринимателя, но даже и к глобальной катастрофе для человечества (2). Термин «эксперт» происходит от латинского слова expert - «опытный». Методы экспертных оценок - это методы организации работы со специалистамиэкспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР - лицами, принимающими решения. Для проведения работы по методу экспертных оценок создают Рабочую группу (РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК). Организация работы экспертной комиссии зависит от ответа на вопрос что должна представить экспертная комиссия в результате своей работы информацию для принятия решения ЛПР или проект самого решения. Если цель рабочей группы - сбор информации для ЛПР, то РГ должна собрать возможно больше аргументов "за" и "против" определенных вариантов решений. Полезен метод постепенного увеличения числа экспертов, заключающийся в следующем. Сначала первый эксперт приводит свои соображения по рассматриваемому вопросу. Составленный им материал передается второму эксперту, который добавляет свои аргументы. Накопленный материал поступает к следующему - третьему – эксперту и т.д. Процедура заканчивается, когда иссякает поток новых соображений. Существенно, что эксперты в рассматриваемом методе только поставляют информацию, аргументы "за" и "против", но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового, поскольку именно от них следует ожидать наиболее оригинальных аргументов. Если же цель рабочей группы - подготовка проекта решения для ЛПР, то обычно применяются математические методы. В этом случае специалисты в данной области советуют критически относится к догмам согласованности и одномерности (1). Принимая догму согласованности, считают, что решение может быть принято лишь на основе единого (или почти единого) мнения экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. В этом случае следует выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого есть риск пренебречь их мнением, некритично принимая догму согласованности. Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели. Это не так. Цель достигнута - установлено, что единого мнения нет. И ЛПР должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой ценой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее понравившейся Рабочей группе (или даже "подсказанной" ЛПР). Поскольку число экспертов обычно не превышает двадцати-тридцати, то формальная статистическая согласованность мнений экспертов может сочетаться с реально имеющимся разделением на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Если же обратиться к конкретным методам расчетов, например, с помощью коэффициентов конкордации на основе коэффициентов ранговой корреляции Кендалла или Спирмена (3), то необходимо помнить, что на самом деле положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Другими словами, существует опасность прийти к заблуждению, вытекающему из своеобразного толкования слов: проверка согласованности в указанном статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. С целью искусственно добиться согласованности иногда стараются уменьшить влияние мнений экспертов-диссидентов. Жесткий способ борьбы с диссидентами состоит в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений, приводит к процедурам, имеющим плохие или неизвестные статистические свойства. Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов. В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает ее на плечи ЛПР. Сторонниками догмы одномерности распространен довольно примитивный подход так называемой "квалиметрии", согласно которому объект всегда можно оценить одним числом. Каждый объект почти всегда можно оценивать по многим показателям качества. Например, легковой автомобиль можно оценивать по таким показателям: расход бензина на 100 км пути (в среднем); надежность (средняя стоимость ремонта за год); быстрота набора скорости 100 км/час после начала движения; максимальная достигаемая скорость; длительность сохранения в салоне положительной температуры при наружной температуре ( - 50 градусов) при выключенном двигателе; вес, и т.д. Можно ли свести оценки по этим показателям вместе? Определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая скорость важна для гонщика, но, скорее всего, не имеет большого практического значения для водителя рядовой частной машины. Для такого водителя важнее расход бензина и надежность. Для машин различных служб государственного управления надежность важнее, чем для частника, а расход бензина - наоборот. Для районов Крайнего Севера важна теплоизоляция салона, а для южных районов страны - нет. Таким образом, важна конкретная (узкая) постановка задачи перед экспертами. Если такой постановки нет, тогда попытки разработать обобщенный показатель качества не имеют объективного характера. В недавние времена они использовались для создания впечатления о высоком качестве отечественной продукции. Например, чтобы показать, что западные машины не морозоустойчивые, можно подобрать нужным образом коэффициенты в линейной функции от показателей качества, а именно, занижая те, по которым западные машины лучше (вес и др.) и завышая те, по которым лучше отечественные (морозоустойчивость). Но рыночные отношения не считаются с подобными выводами. Альтернативой единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации - множества Парето и т.д. (8). В некоторых случаях всё-таки можно глобально сравнить объекты - например, с помощью тех же экспертов получить упорядочение рассматриваемых объектов - изделий или проектов. Тогда можно подобрать коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению (7). Наоборот, в подобных случаях не следует оценивать указанные коэффициенты с помощью экспертов. Эта идея до сих пор является спорной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они стараются заставить экспертов делать то, что они выполнить зачастую не в состоянии - указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель. Эксперты обычно могут сравнить объекты или проекты в целом, но не могут вычленить вклад отдельных факторов. Если организаторы опроса спрашивают, эксперты отвечают, но эти ответы не несут в себе надежной информации о реальности. Выделяют следующие стадии проведения экспертного опроса: 1) формулировка лицом, принимающим решения, цели экспертного опроса; 2) подбор ЛПР основного состава Рабочей группы; 3) разработка РГ и утверждение у ЛПР технического задания на проведение экспертного опроса; 4) разработка РГ подробного сценария проведения сбора и анализа экспертных мнений (оценок), включая как конкретный вид экспертной информации (слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы) и конкретные методы анализа этой информации (вычисление медианы Кемени, статистический анализ парных сравнений и иные методы статистики объектов нечисловой природы и других разделов прикладной статистики); 5) подбор экспертов в соответствии с их компетентностью; 6) формирование экспертной комиссии (целесообразно заключение договоров с экспертами об условиях их работы и ее оплаты, утверждение ЛПР состава экспертной комиссии); 7) проведение сбора экспертной информации; 8) анализ экспертной информации; 9) при наличии нескольких туров - повторение двух предыдущих этапов; 10) интерпретация полученных результатов и подготовка заключения для ЛПР; 11) официальное окончание деятельности РГ. На рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Теория и практика экспертных оценок весьма математизированы. Можно выделить две взаимосвязанные ветви - математические модели поведения экспертов и математико-статистические методы анализа экспертных оценок. Модели поведения экспертов обычно основаны на предположении, что эксперты оценивают интересующий ЛПР параметр (например, ранжировку образцов изделий по конкурентоспособности) с некоторыми ошибками, т.е. эксперта рассматривают как особого рода прибор с присущими ему метрологическими характеристиками. Оценки группы экспертов рассматривают как совокупность независимых одинаково распределенных случайных величин со значениями в соответствующем пространстве объектов числовой или нечисловой природы. Обычно предполагается, что эксперт чаще выбирает правильное решение (т.е. адекватное реальности), чем неправильное. В математических моделях это выражается в том, что плотность распределения случайной величины - ответа эксперта монотонно убывает с увеличением расстояния от центра распределения - истинного значения параметра. На математических моделях поведения экспертов основаны методы планирования экспертного опроса, сбора и анализа ответов экспертов. Очевидно, чем больше предположений заложено в модель, тем больше выводов можно сделать на основе экспертных оценок, рассматриваемых как статистические данные - и тем менее обоснованными являются эти выводы, если нет оснований для принятия используемой модели. Триада моделей поведения экспертов - параметрическая модель - непараметрическая модель модель анализа данных. Параметрическим моделям соответствуют наиболее сильные предположения, проверить которые обычно не удается. Так, следует обратить внимание на распределения то, что ответов обычно экспертов. невозможно обосновать нормальность Дополнительным фактором является ограниченность числа экспертов - обычно не более десяти-тридцати, что делает невозможным надежную проверку нормальности. Непараметрические модели экспертных оценок опираются лишь на предположения общего характера о возможности вероятностно- статистического описания поведения экспертов с помощью непрерывных функций распределения, параметрами для которых служат нечеткие множества - вектор вероятностей ответов "да". Поэтому во многих ситуациях такие модели представляются адекватными. Под моделями использующие анализа вероятностные данных здесь соображения. понимаются Очевидно, модели, они не наиболее адекватны и защищены от критики, поскольку не претендуют на выход на пределы имеющихся данных, не предполагают построения и обоснования какой-либо вероятностно-статистической модели реального явления или процесса. Однако с их помощью, очевидно, нельзя сделать никаких заключений о будущих аналогичных ситуациях. Но если учитывать, что экспертные опросы часто проводятся ради обоснования поведения в будущем, то можно прийти к выводу: методы и модели анализа данных - наиболее обоснованные и наиболее бесполезные. Следовательно, без вероятностных моделей в ряде задач не обойтись. Поскольку параметрические модели обычно невозможно обосновать, остается использовать непараметрические. Можно выделить основные широко используемые в настоящее время методы математической обработки экспертных оценок: 1. Проверка согласованности мнений экспертов. 2. Классификация экспертов, если нет согласованности 3. Усреднение мнений экспертов внутри согласованной группы. Поскольку ответы экспертов во многих процедурах экспертного опроса не числа, а такие объекты нечисловой природы, как градации качественных признаков, ранжировки, разбиения, результаты парных сравнений, нечеткие предпочтения и т.д., то для их анализа оказываются полезными методы статистики объектов нечисловой природы (4). Почему ответы экспертов носят нечисловой характер? Наиболее общий ответ состоит в том, что люди не мыслят числами. В мышлении человека используются образы, слова, но не числа. Поэтому ответ от эксперта в форме числа – в ряде случаев непосильная для него задача. Даже в экономике предприниматели, принимая решения, лишь частично опираются на численные расчеты. Это видно из условного (т.е. определяемого произвольно принятыми соглашениями) характера балансовой прибыли, амортизационных отчислений и других экономических показателей (6). Эксперт легко может сравнить два объекта, дать им оценки типа "хороший", "приемлемый", "плохой", упорядочить несколько объектов по привлекательности, но обычно не может сказать, во сколько раз или на сколько один объект лучше другого. Другими словами, ответы эксперта обычно измерены в порядковой шкале, являются ранжировками, результатами парных сравнений и другими объектами нечисловой природы, но не числами. Распространенное заблуждение состоит в том, что ответы экспертов стараются рассматривать как числа, занимаются "оцифровкой" их мнений, приписывая этим мнениям численные значения баллы, которые потом обрабатывают с помощью методов прикладной статистики как результаты обычных физических измерений. В случае произвольности оцифровки выводы, полученные в результате обработки данных, могут не иметь отношения к реальности. С позиций репрезентативной теории измерений (5) следует применять алгоритмы анализа данных, результаты работы которых не меняются при допустимом преобразовании шкалы. Метод ранжирования представляет собой процедуру упорядочения объектов, выполняемую экспертом. На основе знаний и опыта эксперт располагает объекты в порядке предпочтения, руководствуясь одним или несколькими выбранными показателями сравнения. В зависимости от вида отношений между объектами возможны различные варианты упорядочения объектов. Рассмотрим эти варианты. Пусть среди объектов нет одинаковых по сравниваемым показателям, т.е. нет эквивалентных объектов. В этом случае между объектами существует только отношение строгого порядка. В результате сравнения всех объектов по отношению строгого порядка составляется упорядоченная последовательность a1 > а2 > ... >аN. где объект с первым номером является наиболее предпочтительным из всех объектов, объект со вторым номером менее предпочтителен, чем первый объект, но предпочтительнее всех остальных объектов и т.д. Полученная система объектов с отношением строгого порядка при условии сравнимости всех объектов по этому отношению образует полный строгий порядок. Для этого отношения доказано существование числовой системы, элементами которой являются действительные числа, связанные между собой отношением неравенства >. Это означает, что упорядочению объектов соответствует упорядочение чисел х1 >... > хN, где хi.= φ (аi). Возможна и обратная последовательность х1, <... < хN, в которой наиболее предпочтительному объекту приписывается наименьшее число и по мере убывания предпочтения объектам приписываются большие числа. Соответствие перечисленных последовательностей, т.е. их гомоморфизм, можно осуществить, выбирая любые числовые представления. Единственным ограничением является монотонность преобразования. Следовательно, допустимое преобразование при переходе от одного числового представления к другому должно обладать свойством монотонности. Таким свойством допустимого преобразования обладает шкала порядков, поэтому ранжирование объектов есть измерение в порядковой шкале. В практике ранжирования чаще всего применяется числовое представление последовательности в виде натуральных чисел: х1= φ (аi)=1, х2 = φ (а2)=2,..., хN= φ (аN)=М т.е. используется числовая последовательность. Числах, х1, х2,…, хN в этом случае называются рангами и обычно обозначаются буквами r1, r2,…, rN Применение строгих численных отношений «больше» (>), «меньше» (<) или «равно» (=) не всегда позволяет установить порядок между объектами. Поэтому наряду с ними используются отношения для определения большей или меньшей степени какого-то качественного признака (отношения частичного порядка, например полезности), отношения типа «более предпочтительно» (>), «менее предпочтительно» (<), «равноценно» (=) или «безразлично» (~). Упорядочение объектов при этом может иметь, например, следующий вид: а1>,а2>,а3 ≈ а4 ≈ а5>,а6>…> aN-1 ≈ aN Такое упорядочение образует нестрогий линейный порядок. Для отношения нестрогого линейного порядка доказано существование числовой системы с отношениями неравенства и равенства между числами, описывающими свойства объектов. Любые две числовые системы для нестрогого линейного преобразованием. порядка Следовательно, связаны между ранжирование собой при монотонным условии наличия эквивалентных объектов представляет собой измерение также в порядковой шкале. В практике ранжирования объектов, между которыми допускаются отношения как строгого порядка, так и эквивалентности, числовое представление выбирается следующим образом. Наиболее предпочтительному объекту присваивается ранг, равный единице, второму по предпочтительности ранг, равный двум, и т.д. Для эквивалентных объектов удобно с точки зрения технологии последующей обработки экспертных оценок назначать одинаковые ранги, равные среднеарифметическому значению рангов, присваиваемых одинаковым объектам. Такие ранги называют связанными рангами. Для приведенного примера упорядочения на основе нестрогого линейного порядка при N = 10 ранги объектов a3, a4, a5 будут равными r3 = r4 = r5 = (3+4+5) / 3 = 4. В этом же примере ранги объектов а9, а10 также одинаковы и равны среднеарифметическому r9 = r10 = (9+10) / 2 = 9,5. Связанные ранги могут оказаться дробными числами. Удобство использования связанных рангов заключается в том, что сумма рангов N объектов равна сумме натуральных чисел от единицы до N. При этом любые комбинации связанных рангов не изменяют эту сумму. Данное обстоятельство существенно упрощает обработку результатов ранжирования при групповой экспертной оценке. При групповом ранжировании каждый S-й эксперт присваивает каждому i-му объекту ранг riS. В результате проведения экспертизы получается матрица рангов | | riS | | размерности Nk, где k - число экспертов; N - число объектов; S = 1, k ; i = 1, N . Результаты группового экспертного ранжирования удобно представить в виде таблицы. При этом в таблице вместо экспертов в соответствующих графах указываются показатели. Напомним, что ранги объектов определяют только порядок расположения объектов по показателям сравнения. Ранги как числа не дают возможности сделать вывод о том, на сколько или во сколько раз предпочтительнее один объект по сравнению с другим. Достоинство ранжирования как метода экспертного измерения - простота осуществления процедур, не требующая трудоемкого обучения экспертов. Недостатком ранжирования является практическая невозможность упорядочения большого числа объектов. Как показывает опыт, при числе объектов, большем 10-15, эксперты затрудняются в построении ранжировки. Это объясняется тем, что в процессе ранжирования эксперт должен установить взаимосвязь между всеми объектами, рассматривая их как единую совокупность. При увеличении числа объектов количество связей между ними растет пропорционально квадрату числа объектов. Сохранение в памяти и анализ большой совокупности взаимосвязей между объектами ограничиваются психологическими возможностями человека. Психология утверждает, что оперативная память человека позволяет оперировать в среднем не более чем 7 ± 2 объектами одновременно. Поэтому при ранжировании большого числа объектов эксперты могут допускать существенные ошибки. При балльном оценивании эксперт должен каждому элементу из множества предъявления приписать соответствующее число (балл), которое отражает субъективное мнение эксперта о предпочтительности, ценности, важности этого элемента. Указанные числа выбираются из специальной балльной шкалы. В зависимости от полноты и качества исходной информации, сложности и новизны проблемы и других обстоятельств балльное оценивание можно рассматривать как измерение в порядковой или интервальной шкале. Если при оценивании сформулированными эксперт правилами руководствуется или достаточно установленными четко эталонами, то полученные балльные оценки можно рассматривать как результаты измерения в интервальной шкале или как измерения реальных значений с погрешностями. Из этого можно сделать вывод о том, что чем точнее правила выставления баллов или чем точнее описаны эталоны, тем меньше дисперсия измерения и выше надежность балльных оценок. Таковы, например, правила оценивания достижений в некоторых видах спорта, правила, определяющие порядок категорирования аппаратуры по результатам контрольных измерений и сравнения с показаниями эталонных приборов и т. п. Если не существует четко сформулированных правил оценивания элементов (или нет единого эталона), субъективным отражением которых являются балльные оценки, то балльные оценки следует рассматривать как оценки, имеющие порядковую шкалу. Примерами таких оценок являются балльные оценки знаний по предметам обучения, оценки, выставляемые при попарном сравнении целей операции по важности, стратегий по предпочтительности. Кроме того, в практике для выражения предпочтений часто оказывается полезным сначала произвести балльное оценивание элементов множества предъявления, а затем, ориентируясь на величины баллов, получить искомую ранжировку. Перевод балльных оценок элементов в ранги осуществляется по следующему правилу (используется прямое ранжирование): b1, b2,…,bm r1, r2,…, rm где bj - балл, присвоенный элементу с номером j; rj, - ранг элемента, имеющего номер j. При необходимости полученные ранги г, переводят в стандартизованные. Стандартизованные ранги исследуются методами обработки и анализа ранжировок. Если правила назначения баллов достаточно строгие, а их шкала непрерывна или имеет большое число градаций, то балльные оценки рассматривают как количественную меру выражения предпочтения эксперта (интервальная шкала). Дальнейшую их обработку проводят методами математической статистики в предположении, что разница в ответах экспертов объясняется лишь случайной ошибкой, накладывающейся на "истинное" значение ценности элемента. Таким образом, балльные оценки в смысле выбора подхода к их обработке и анализу должны рассматриваться как имеющие промежуточную шкалу между качественной и количественной. Именно поэтому обработку и анализ экспертных суждений, выраженных в балльных шкалах, обычно осуществляют комбинированным медом - вначале их обрабатывают как оценки в качественной, а затем - как в количественной шкале. Если результаты обработки балльных оценок двумя указанными способами оказываются хорошо согласованными, то обоснованность группового мнения будет велика. Пусть в результате опроса экспертной группы, состоящей из п членов, получены балльные оценки bij для всех элементов множества предъявления, где bij -балл, присвоенный j-му элементу i-м экспертом. Будем считать, что балльные оценки имеют количественную шкалу, которая либо непрерывна, либо имеет большое число градаций. Каждому элементу множества предъявления поставим в соответствие средний балл, определяемый как среднее арифметическое балльных оценок экспертов по рассматриваемому элементу: 1 n B j bij , j 1,2,..., m (1) n i 1 Эти оценки принимаются в качестве групповых. Степень согласованности экспертов оценивается либо дисперсиями индивидуальных балльных оценок: Dj 1 n (bij B j ) 2 , j 1,2,..., m (2) n 1 i 1 либо коэффициентами вариации, если балльные оценки положительны. Коэффициенты вариации вычисляются следующим образом: Vj Dj Bj , j 1,2,..., m (3) При использовании коэффициентов вариации согласованность мнений экспертов считается хорошей, если все Vj < 0,2, и удовлетворительной, если все Vj < 0,3. Если при проведении экспертизы каждый эксперт должен дать непосредственную оценку некоторой характеристики х элемента (например, указать вероятность наступления некоторого события, срок его возможного наступления, оценить затраты или другие какие-либо параметры), то это эквивалентно заданию соответствия: характеристика элемента - точка на числовой оси. В результате обработки таких точечных оценок могут быть получены показатели среднего по группе результата X cp 1 n xi ; (4) n i 1 дисперсии результата Dx 1 n ( xi X cp ) 2 ; (5) n i 1 вариации Vx Dx X cp , X cp 0, (6) где хi, - точечная оценка характеристики х, данная i-м экспертом, Хcp> 0. Статистическая оценка полученных результатов позволяет не только определить интервал достоверных значений оцениваемой характеристики, но и определить противоречивость суждений конкретного эксперта. Для определения интервала достоверных значений используют методы интервального оценивания. Для симметричного закона распределения случайной величины (значения оценки) доверительный интервал (Хcp - ε, Хcp + ε) можно определить, воспользовавшись следующим отношением: Р(|х-хист|< ε)=α (7) где хист - "истинное" значение оцениваемой характеристики; ε - половина длины доверительного интервала; α - доверительная вероятность (обычно 0,9...0,99). При числе экспертов в группе n > 30 распределение оценки обычно принимают нормальным и для определения вероятности (7) используют таблицы нормального распределения. В противном случае величина а в выражении (7) определяется с помощью таблиц распределения Стьюдента. Для выявления противоречивости в суждениях экспертов наиболее удаленные от среднего Хcp оценки х проверяют следующим образом. Если проверяемая оценка Хα существенно превышает среднее значение Хcp, то с использованием в общем случае таблиц распределения Стьюдента вычисляют вероятность tq q 1 S (t , n 1)dt , (8) где t q xa X cp Dx (9) Оценка X a эксперта считается противоречивой, если полученное значение q меньше порогового значения, обычно выбираемого из диапазона (0,05... 0,1). Если проверяемая оценка X a существенно меньше среднего значения, то вероятность q определяется следующим образом; tq q S (t, n 1)dt . (10) Как уже отмечалось, к выводу о противоречивости (аномальности) суждения "оригинального" эксперта при таком подходе следует подходить весьма осторожно, дополняя полученный с использованием соотношений (8) или (10) вывод логическим анализом. Это объясняется тем, что иногда "противоречивость мнения" эксперта может вызываться тем, что он значительно лучше других понимает проблему и механизм ситуации. Примечания: 1. Бурков В.Н. Большие системы: моделирование организационных механизмов. - М.: Наука, 1989. 2. Информационные технологии управления. Под редакцией Титоренко Г.А. –М.:Юнити, 2003. 3. Ларичев О.И. Объективные модели и субъективные решения. - М.: Наука, 1987 4. Литвак Б.Г. Экспертная информация. Методы получения и анализа. - М.: Радио и связь, 1982. 5. Орлов А.И. Вероятностные модели конкретных видов объектов нечисловой природы - Пермь: Изд-во Пермского государственного университета, 1995 6. Орлов А.И./Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. - Пермь: Изд-во Пермского государственного университета, 1990 7. Экспертные оценки в задачах управления /Сборник трудов. - М.: Институт проблем управления, 1982. 8. Экспертные оценки в системных исследованиях/Сборник трудов. - Вып.4. - М.: ВНИИСИ, 1979.
