Разработка математической модели предпочтений ЛПР по

Разработка математической модели предпочтений ЛПР по комплексной оценке
деятельности вуза
Sergey V. Pronichkin, professor, Master of Science
National University of Science and Technology MISiS, Department of Cybernetics, Leninskiy
prospekt 4, Moscow
Abstract
Работа посвящена разработке и исследованию математической модель предпочтений ЛПР
по комплексной оценке деятельности вуза. Разработана модель, которая учитывает
индивидуальные и «естественные» предпочтения ЛПР, а также концепцию –
сбалансированность подходов и результатов. В рамках исследования были определены
оценки численных значений параметров разработанной математической модели. Для
этого был спланирован эксперимент – построен D-оптимальный сверхнасыщенный план.
Вычислены показатели качества разработанной модели, которые позволяют сделать вывод
о том, что разработанная модель очень хорошо описывает результаты эксперимента.
Key words: Decision analysis; Regression; Quality management
1. Введение
Вопросы управления имеют решающее значение в работе различных организаций.
Вузы не исключение. В российских вузах вопросам управления долгое время не уделялось
должного внимания, и лишь с переходом на рыночные отношения большинство вузов
стало осознавать, что эффективное управление вузом - ключевой фактор эффективной
работы вуза. Мировой финансовый кризис, сокращение бюджетного финансирования,
возросшая конкуренция заставили вузы изменить стратегию своей деятельности.
Некоммерческие организации в России перестали рассматривать себя как замкнутые
(закрытые) системы, реализующие уставные цели с помощью государственных средств.
Ориентация на качество, предвосхищение потребностей потребителя стала одной из
главных стратегий их деятельности. Вузы обратились к изучению желаний и
потребностей клиентов, работе с различными группами потребителей, диверсификации
деятельности, активному продвижению продукции/услуг, формированию ценовой
политики, привлечению дополнительных источников финансирования. Большую
актуальность приобрели задачи поддержки принятия управленческих решений.
2. Информационная подготовка управленческих решений
Процесс принятия решения является центральным на всех уровнях управления
деятельностью вуза. Одним из ключевых этапов процесса принятия решения –
информационная подготовка решения. На этом этапе мы должны оценить состояние
системы, чтобы определить степень достижения системой цели лица, принимающего
решение (ЛПР). В рамках данной работы, ЛПР – компетентный специалист в области
менеджмента качества, имеет опыт деятельности в ней и полномочия принимать решения,
как правило, это менеджер по качеству в вузе. Цель ЛПР – всестороннее непрерывное
совершенствование деятельности вуза. Эта цель продиктована ЛПР современной
парадигмой менеджмента [1] любой организацией, в том числе вузом – любая
организация должна стремиться к системной оптимизации. Под системной оптимизацией
понимается удовлетворение долговременных потребностей всех социальных групп,
связанных общностью интересов с организацией. Таким образом, построение управления
вузом должно основываться не только на даже самых объективных числовых показателях,
а исходя из понимания процессов достижения результатов, причем результатов как
количественного, так и качественного характера. Опираясь только на количественные
1
результаты ЛПР, не увидит систему в целом, в силу наличия у неё эмерджентных свойств,
которые принципиально не выводимы из количественных показателей. Управление на
основе количественных показателей стимулируют краткосрочное мышление, и отвлекает
силы от долгосрочного совершенствования. Количественные показатели – основная
модель аккредитации вузов России. В основу пороговых значений аккредитационных
показателей положены средние величины. Большинство вузов в существующей системе
государственной аккредитации России интенсифицируют свою деятельность один раз в
пять лет в соответствии со сроками аккредитации. Это резко снижает эффективность
принятия решений в вузе. По мнению автора важно создать регулярную систему
информационной подготовки решений в вузе.
В качестве «информационной подготовки решения» предлагается использовать
следующий механизм (см. Рисунок 1):
1 Ежегодно вуз готовит отчет о своей деятельности, и направляет отчет
независимым экспертам (заочная независимая экспертиза). Эксперты готовят ответный
отчет, где отмечают сильные стороны и области для совершенствования деятельности
вуза, выставляют оценки по критериям в баллах.
2 Раз в 5 лет вуз с учетом ежегодных самооценок и на их базе направляет сводный
отчет (с динамикой по годам) на экспертизу (очная независимая экспертиза). В этом
случае заключение экспертов составляется после анализа отчетов за пять лет и
обследования вуза на месте.
Надписи - начало ХХХХХХХ Рисунок 1
Прием в вуз
Требования ГОС и общественно-профессиональных организаций
Заказ на НИР
Требования
Обратный отчет (заключение)
Ресурсы
Образовательный и научно-исследовательский процесс (проектирование, организация и
осуществление)
Контроль, опросы
Предложения по улучшению
Результаты
Отдел качества (самооценка, анализ, мониторинг, постоянное улучшение)
Обратные отчеты
Оценка
Заочная независимая экспертиза
Очная независимая экспертиза
Результаты научно-исследовательской работы
Государственная аттестация выпускников
Отчет ГАК
Отчет по самооценке
Выпускник
Результаты опроса
Работодатели
Государство
Общество
2
Отчет за 5 лет
Надписи - конец ХХХХХХХ Рисунок 1
Рисунок 1 – Схема предлагаемой процессной модели оценки деятельности вуза
3. Критериальная модель для комплексной оценки деятельности вуза
С участием автора разработана критериальная модель для комплексного
оценивания деятельности вуза [2], которая состоит из двенадцати критериев (см. Рисунок
2). При разработке критериев учитывалась многократно апробированная модель конкурса
Минобрнауки России «Системы качества подготовки выпускников образовательных
учреждений профессионального образования» (далее – Конкурс), критерии программ
создания и развития НИУ в России, а также российский и международный опыт
аккредитации и составления рейтинга вузов.
Критерии разработанной модели разбиты на две группы по аналогии с моделью
Конкурса:
– критерии, характеризующие возможности вуза обеспечить требуемое качество
подготовки специалистов;
– критерии, характеризующие достигнутые вузом результаты.
Надписи - начало ХХХХХХХ Рисунок 2
Совершенствование организационной структуры вуза и системы его управления
Укрепление роли лидерства и последовательность в достижении целей
Разработка политики и стратегии вуза
Использование потенциала преподавателей, сотрудников и обучающихся
Рациональное использование ресурсов
Управление процессами
Востребованность выпускников, удовлетворенность работодателей
Удовлетворенность преподавателей и сотрудников
Удовлетворенность обучающихся
Влияние вуза на общество
Результаты развития материально-технической базы в области образования, науки и
инноваций
Результаты мониторинга качества и системы подтверждения качества
Надписи - конец ХХХХХХХ Рисунок 2
Рисунок 2 – Предлагаемая критериальная модель для оценки деятельности вуза
Первая группа критериев показывает ресурсный потенциал вуза, его поддержку и
совершенствование со стороны вуза.
Вторая группа критериев показывает, насколько результативно используется
потенциал вуза в образовательной, научной и других областях деятельности.
Важно отметить, что в связи с тем, что теоретические аспекты задачи оценивания
вуза касаются методов системного анализа, а прикладные аспекты соответствуют методам
всеобщего управления качеством в образовании, автором выявлено некоторое различие в
трактовке термина «критерий», используемого в каждом из этих аспектов. Так в теории
управления сложными формализуемыми объектами различной природы [3] под критерием
понимается некоторая функция Y от входных параметров X (см. Рисунок 3).
Надписи - начало ХХХХХХХ Рисунок 3
ОУ – Объект управления (вуз).
УУ – Устройство управления (менеджер по качеству вуза – ЛПР).
ИУ – Исполнительное устройство (сотрудники вуза).
Д1 – Датчик №1 (формализация информации о деятельности вуза).
Д2 – Датчик №2 (оценивание деятельности вуза по критериям).
3
Д3 – Датчик №3 (определение комплексной оценки деятельности вуза).
– Входные параметры ОУ (оценки абитуриентов за ЕГЭ, объем финансирования вуза и
т.д.).
– Выходные параметры ОУ (количество трудоустроенных выпускников,
количество
монографий и т.д.).
– Системные параметры ОУ (процессы вуза).
– Выходные параметры Д1 (отчет о деятельности вуза).
– Выходные параметры Д2 (экспертные оценки вуза по критериям).
– Значение целевой функции (комплексная оценка деятельности вуза).
– Цель управления (максимальное значение комплексной оценки вуза).
– Отклонение от цели (разница между фактическим значением
комплексной оценки
вуза и максимально возможной оценкой).
– Алгоритм управления.
– Ресурсы.
– Команда, вырабатываемая УУ.
– Действия, реализующие команду УУ.
– Неизмеряемые параметры (демографические условия вуза, ошибки подсчета
показателей сотрудниками вуза и т.д.).
Надписи - конец ХХХХХХХ Рисунок 3
Рисунок 3 – Кибернетическая модель управления вузом
Автором в данной статье принято решение использовать более широкое понимание
и трактовку термина «критерий» присущее системе управления качеством в образовании.
Под критерием будем понимать признак, фактор, атрибут, на основании которого
производиться оценивание, определение или классификация.
4. Оценка степени достижения цели ЛПР
Степень достижения цели ЛПР ( f * ) отражается в количественной оценке его
предпочтений к комплексной оценке вуза ( f ) по разработанным критериям. Если бы ЛПР
располагал таблицей, в которой содержались бы все возможные оценки вуза и
соответствующие им оценки предпочтения, то необходимости в построении
математической модели предпочтений ЛПР по комплексной оценке деятельности вуза не
было бы. Просто ЛПР выбрал бы то значение предпочтения, которое соответствует
многокритериальным оценкам вуза по критериям, полученным в результате экспертизы.
Но в нашем случае для построения такой таблицы нужно рассмотреть 512 различных
вариантов оценок вуза, это обусловлено размерностью шкалы, используемой для оценки
вуза по критериям (где 5 – число различных значений критерия, 12 – число критериев),
что превышает психофизиологические возможности любого человека.
Таким образом, целесообразно отказаться от практической реализации этой
возможности.
Другая возможность – выбор некоторого числа многокритериальных оценок вуза и
определение предпочтения в них, в надежде, что эти оценки будут покрывать чаще всего
встречающиеся состояния вуза. Эта возможно менее трудоемкая для ЛПР, чем полный
перебор, тем не менее, психофизиологические ограничения ЛПР остаются в силе. Важно
отметить, что формализованная таким образом система предпочтений ЛПР не обладает
никакой предсказательной силой, т.к. строится только по тем оценкам, которые были
непосредственно рассмотрены ЛПР.
Третья возможность – строить математическую модель, чтобы с ее помощью
предсказывать значения предпочтения ЛПР в тех состояниях вуза (многокритериальная
оценка), которые не изучались ЛПР непосредственно. Таким образом, если нет
4
возможности измерить предпочтение ЛПР в каждом состоянии, то можно, хотя бы его
предсказать. Причем при любой многокритериальной оценке вуза.
За отказ от полного перебора возможных оценок вуза надо чем-то платить. Цена –
это предположения, которые мы должны сделать относительно свойств неизвестной нам
математической модели системы предпочтений ЛПР по комплексной оценке деятельности
вуза априори, т.е. определить структуру математической модели.
Существует множество разнообразных готовых структур математических моделей
предпочтений ЛПР по комплексной оценке объектов различной природы. Различные
способы сворачивания всех критериев в один, используя математическую модель
предпочтений ЛПР, рассмотрены в работах [4, 5, 6].
Существующие математические модели предпочтений ЛПР применительно к
задаче определения комплексной оценки вуза, представляют собой наиболее популярную
линейную свертку – принцип абсолютной уступки, которая дает неадекватную
комплексную оценку вуза, имеющего крайние показатели по критериям.
Важно отметить, что структура математической модели предпочтений ЛПР,
представляющая собой модель объекта исследования в данной работе – система
предпочтений ЛПР (Д3, см. Рисунок 3), существенно зависит от модели данных –
экспертная оценка (Д2, см. Рисунок 3), т.к. качество модели объекта должно
соответствовать качеству модели данных. Среди множества показателей,
характеризующих качество моделей данных и объекта, выделен один из самых важных –
воспроизводимость.
Проверка воспроизводимости для модели данных осуществлялась с
использованием критерия Кохрена. В распоряжении автора были оценки четырех вузов,
полученных от семи экспертов в рамках проведенной независимой экспертизы (см.
Рисунок 1) по 12 критериям (см. Рисунок 2) в 2011 году. Для имеющихся данных гипотеза
о воспроизводимости для каждого критерия p (см. Таблица 1) не отвергается
H p  HТ ( k  4,v  7 )  0.537 [7], p  1,  ,12 , для уровня значимости   0.05 .
Таблица 1 – Рассчитанные значения воспроизводимости
Критерий p
1
2
3
4
5
6
7
8
9
10
11
12
Hp
0.355
0.469
0.345
0.386
0.485
0.287
0.341
0.409
0.507
0.497
0.325
0.291
Таким образом, качество модели данных позволяет нам строить довольно тонкие
модели объекта (система предпочтений ЛПР), без ограничений на допустимые операции с
данными.
4.1. Структура математической модели предпочтений ЛПР по комплексной
оценке деятельности вуза
Существующие подходы к построению математической модели предпочтений ЛПР
[5, 8] основаны на том, что ЛПР в диалоге выбирает постулируемый принцип
5
оптимальности, отражающий систему его предпочтений. Однако ЛПР может не владеть
инструментарием постулируемых принципов оптимальности. Многие из принципов
требуют от ЛПР дополнительной информации, которую ему обычно трудно предоставить
априори. В то же время, чем больше априорной информации используется при
определении математической модели, тем больше шансов получить адекватную модель.
Отмеченные факторы определяют целесообразность построения гибкой
математической модели предпочтений ЛПР, учитывающей:
1. «Естественные» предпочтения ЛПР – многокритериальная оценка вуза должна
быть как можно ближе к максимально возможной оценке и как можно дальше от
минимальной оценки.
2. Концепцию, заложенную в разработанную критериальную модель, а именно
сбалансированность подходов и результатов, при которой оценки по критериям
должны иметь равномерное распределение. Концепция основана на проведенном
автором исследовании оценок участников Конкурса за 10 лет. Исследование
показало, что распределение оценок лауреатов Конкурса подчиняется
равномерному закону распределения, а для остальных участников Конкурса такого
распределения нет. Гипотеза о равномерности распределения оценок по критериям
Конкурса проверялась, используя критерий Пирсона. Гипотеза о равномерном
распределении оценок по критериям лауреатов Конкурса не отвергается
 Л2  2.91  Т2( k 93)  12.59 [7], при уровне значимости   0.05 . Гипотеза о
равномерном распределения оценок по критериям участников Конкурса (не
лауреаты) отвергается У2  15.31  Т2( k 9 3)  12.59 [7], при уровне значимости
  0.05 . На рисунке 4 представлено распределения средних оценок по критериям
участников Конкурса, где N – число вузов участников.
Надписи - начало ХХХХХХХХХХ Рисунок 4
а) Вузы лауреаты Конкурса
б) Вузы не лауреаты Конкурса
Средний балл
Критерий
Условные обозначения
Кр. №1 – Роль руководства в организации работ по обеспечению качества подготовки
выпускников.
Кр. №2 – Политика и стратегия в области качества подготовки выпускников.
Кр. №3 – Использование потенциала преподавателей, сотрудников и обучающихся.
Кр. №4 – Рациональное использование ресурсов (материальных, финансовых и людских).
Кр. №5 – Управление процессами обеспечения качества подготовки выпускников.
Кр. №6 – Удовлетворенность работодателей качеством подготовки выпускников.
Кр. №7 – Удовлетворенность преподавателей, сотрудников и обучающихся работой и
учебой.
Кр. №8 – Влияние образовательного учреждения на общество.
Кр. №9 – Результаты, которых добилось образовательное учреждение в отношении
запланированных целей повышения качества подготовки выпускников.
Надписи - конец ХХХХХХХХХХ Рисунок 4
Рисунок 4 – Гистограмма распределения средних оценок по критериям для участников
Конкурса
3. Индивидуальные предпочтения ЛПР к комплексной оценке вуза.
Для формализации «естественных» предпочтений ЛПР предлагается использовать
метод TOPSIS [9], предлагается его расширить за счет введения различных норм.
6
Для формализации концепции предлагается использовать дисперсию. Поскольку
аналитическое выражение концепции должно принимать значение равное нулю в случае
для одинаковых оценок критериев, а в случае максимального отличия оценок критериев
принимать максимальное значение. Одной из функций, удовлетворяющей этим
требованиям, служит дисперсия D S .Индивидуальные предпочтения ЛПР, учитываются за
счет параметризации математической модели предпочтений ЛПР.
Структура предлагаемой математической модели, учитывающей описанные выше
свойства имеет следующий вид (1).
D AI (a p )
D max  D(a p )
f (a p )  (1   ) AI


(1)
D (a p )  D Id (a p )
D max
где a p  ( z pi )iI1 – многокритериальная оценка вуза по результатам p -ой экспертизы;
z pi – оценка вуза по результатам p -ой экспертизы по i -му критерию, i  1,, I ,
I  12 ;
1
k2


D AI (a p )     ik 2 ziAI  z pi  – расстояние многокритериальных оценок вуза по
 i 1

результатам p -ой экспертизы от антиидеальной точки;
I
k2
1
 I
 k1
D Id (a p )     ik1 ( ziId  z pi ) k1  – расстояние многокритериальных оценок вуза по
 i 1

результатам p -ой экспертизы от идеальной точки;
I
D(a p ) 
(z
i 1
p
 z pi ) 2
– дисперсия многокритериальных оценок вуза по результатам
I
p -ой экспертизы;
D max – максимальное значение дисперсии равное 2500 при
I
I

0, i  I0  {i j i j {1, , I }, j {1, , 2 }, i j  i j1 , j1 {1, , 2 } \ j}
;
zi  

100
,
i

{
1
,

,
I
}
\
I
0

k1 , k2 – показатель нормы, k1 , k2 {1,2,3,4, } ;
 i – важность i -го критерия;
ziId  (max z pi ) Pp 1 – идеальная точка, Z i множество оценок полученных в предыдущих
z p iZ i
P экспертизах по i -му критерию;
ziAI  ( min z pi ) Pp 1 – антиидеальная точка;
z piZ i
I
zp 
z
i 1
pi
– среднее значение оценок по критериям по результатам p -ой экспертизы;
I
 – параметр модели,   (0,1) .
4.2. Определение численных значений параметров математической модели
предпочтений ЛПР по комплексной оценке деятельности вуза
Для определения численных значений параметров  , k1 и k2 математической
модели (1), следует спланировать эксперимент и их оценить. Причем сделать это с
максимальной эффективностью, т.е. при минимальном числе вопросов к ЛПР, получить
7
максимальную информацию о влиянии варьируемых значений критериев на параметры
модели (1), чтобы оценить их с максимальной точностью.
Для определения минимального числа опытов (вопросов к ЛПР) использовалось
эмпирическое правило Anscombe n  8m , где n -число опытов, m -число параметров. В
данной работе для оценки параметров модели число опытов равно 24 (далее – первая
группа опытов), а для оценки предсказательного свойства модели используется ещё 24
опыта (далее – вторая группа опытов). Таким образом, размер плана эксперимента равен
n  48 . Такой подход будет оптимальным, в случае если не определена стоимость одного
опыта и в дальнейшем планируется оценить показатели качества модели объекта, в
m  (m  1)
противном случае достаточно числа опытов равного n 
[10].
2
Для того, чтобы получить максимальную информацию о влиянии варьируемых
значений критериев на параметры модели, план эксперимента строился как Dоптимальный [10], такой план позволяет максимально эффективно использовать объем
критериального (факторного) пространства для получения максимально точных оценок
параметров наперед заданной модели (1). D-оптимальный план максимизирует
определитель информационной матрицы Фишера (2).
3
 n f (as ,  ) f (as ,  )

M ( ,  )   

 ws 
 s 1 

 j
i

i , j 1

(2)
 a  an 
 – план эксперимента;
где    1
 w1  wn 
  (1,2 ,3 )  ( , k1, k2 ) – параметры модели (1);
1
ws  – весовой коэффициент опыта s в плане эксперимента  .
n
Определитель информационной матрицы Фишера (2) для предлагаемой модели (1)
имеет следующий вид (3):

 D  D (a )  D(a )  D (a )  D (a )  
 
M ( ,  )  (1   )  


D D (a )  D (a ) 


n
max
Id
AI
p
max
4
p 1
2
Id
p
p
AI
p
Id
p
p
2


k

    ik1 ( ziId  z pi ) k1 ln(  i ( ziId  z pi ))  D Id (a p ) 1  ln D Id (a p )   D AI (a p ) 
n
  i 1


 
k1 1
2
 
Id
AI
Id
p 1
k

D
(
a
)

D
(
a
)

D
(
a
)
1
p
p
p




I

 





2
k2
  I  k 2 АI

k

     i zi  z pi ln(  i ziАI  z pi )   D АI (a p ) 2  ln D АI (a p )   D Id (a p ) 

  i 1 


 
k 2 1
2
 
AI
AI
Id
k

D
(
a
)

D
(
a
)

D
(
a
)
p 1
2
p
p
p





n






n  D max  D Id ( a )  D ( a )  D AI ( a )  D Id ( a )
p
p
p
p
 (1   ) 4  

D max D AI (a p )  D Id (a p )
p 1 


 


2

2
k2
  I k1 Id
k
k
  I

 n    i ( zi  z pi ) k1 ln(  i ( z iId  z pi ))  D Id (a p ) 1  ln D Id (a p )       ik2 z iАI  z pi ln(  i z iАI  z pi )   D АI (a p ) 2  ln D АI (a p )  

  i 1
i 1 


 

k1  2
k2 2
4

Id
AI
AI
Id
p 1
k

k

D
(
a
)

D
(
a
)

D
(
a
)

D
(
a
)
1
2
p
p
p
p




k1
 I k1 Id

k1
AI
Id
Id
Id
max
Id
AI
Id
D (a p )     i ( zi  z pi ) ln(  i ( zi  z pi ))  D (a p )  ln D (a p )   D  D (a p )  D(a p )  D (a p )  D (a p )
n
 i 1

 2(1   ) 4 

k1 1
3
p 1
k1  D Id (a p )
 D max  D AI (a p )  D Id (a p )

 









 







(3
)




k2
k1
k2
 I k1 Id
  I

   i ( z i  z pi ) k1 ln(  i ( ziId  z pi ))  D Id (a p )   ln D Id (a p )       ik2 ziАI  z pi ln(  i ziАI  z pi )   D АI (a p )   ln D АI (a p ) 
n


  i 1

   i 1
k1  2
k2 2
4
p 1
k1  k 2  D Id (a p )   D AI (a p )   D AI (a p )  D Id (a p ) 
8
n

 I
D Id (a p )      ik2 ziАI  z pi
 i 1 
k2
k2

ln(  i ziАI  z pi )   D АI (a p )   ln D АI (a p )   D max  D Id (a p )  D(a p )  D AI (a p )  D Id (a p ) 


k 2  D AI (a p ) 
k2 1
p 1
 D max  D AI (a p )  D Id (a p ) 
3


k
 I

 n D AI (a p )     ik1 ( ziId  z pi ) k1 ln(  i ( ziId  z pi ))  D Id (a p ) 1  ln D Id (a p )   D max  D Id (a p )  D(a p )  D AI (a p )  D Id (a p )
i 1


4
 (1   )  
k1 1
3
Id
max
AI
p 1
k

D
(
a
)

D

D
(
a
)

D Id (a p )
1
p
p



 







 
2

 


2
k2
  I  k 2 АI

k

     i zi  z pi ln(  i ziАI  z pi )   D АI (a p ) 2  ln D АI (a p )   D Id (a p ) 
n

  i 1 


 
k 2 1
2
 
AI
AI
Id
p 1
k

D
(
a
)

D
(
a
)

D
(
a
)
2
p
p
p










2
  I k1 Id

k

    i ( zi  z pi ) k1 ln(  i ( ziId  z pi ))  D Id (a p ) 1  ln D Id (a p )   D AI (a p ) 
n
  i 1

4

 (1   )  
k1 1
2
 
Id
AI
Id
p 1
k

D
(
a
)

D
(
a
)

D
(
a
)
1
p
p
p





 


 I
 n D Id (a p )      ik2 ziАI  z pi

 i 1 

p 1


k2





 ln D АI (a p )   D max  D Id (a p )  D(a p )  D AI (a p )  D Id (a p )

k 2 1
3
k 2  D AI (a p )
 D max  D AI (a p )  D Id (a p )

ln(  i ziАI  z pi )   D АI (a p )





k2



 
2




Для D-оптимальных планов определитель информационной матрицы не зависит от
параметра (-ов), входящих в модель линейно [11], в данном случае параметр  , положим
его равным 0. Однако определитель информационной матрицы (3) зависит от значений
параметров k1 и k2 , которые оцениваются. Чтобы преодолеть это противоречие
существует несколько стандартных подходов [12]: локально оптимальный, байесовский и
максиминный. В данной работе использовался максиминный подход max min
M ( , ) ,


 
поскольку он является оптимальным, в случае если отсутствует априорная информация о
параметрах модели, а именно приближенное значение  из предыдущих экспериментов
или распределение вероятности  .
Задача min
M ( , ) решалась, используя графоаналитический метод. Оптимальное

 
значение было найдено при k1  1 и k2  1 .
Задача
max M ( , * ) ,

 *  arg min
M ( , )

где
 
решалась, используя подход
эволюционных вычислений – генетический алгоритм, этот подход оптимален из-за
большой размерности пространства переменных ( 4812 ) и высокой нелинейности
целевой функции. Проекция полученного плана на плоскость z1  z2 представлена на
рисунке 5.
Надписи - начало ХХХХХХХХ Рисунок 5
Условные обозначения
– Точки плана для оценки параметров модели.
– Точки плана для оценки предсказательного свойства модели.
Надписи - конец ХХХХХХХХ Рисунок 5
Рисунок 5 – План эксперимента в проекции z1  z2
В каждой точке плана  *  max M ( , * ) была проведена оценка f ( a p ) , a p  * ,

p  148 , с привлечением ЛПР. Совершенно очевидно, что довольно опасно
руководствоваться мнением одного-единственного ЛПР, а желательно учесть мнения
нескольких специалистов. Таким образом, к оценке привлекались менеджеры по качеству
(ЛПР), представители всех четырех категорий вузов России, а именно: НИТУ МИСиС,
ТПУ, УрФУ, РГРТУ, СГМУ; всего пять экспертов. Эти же эксперты участвовали в оценке
9
важности критериев модели (см. Рисунок 2) при обобщении ряда мнений для вычисления
обобщенных оценок важности критериев использовались специальные алгоритмы, в
основу которых положен коэффициент конкордации [13].
Оценка f ( a p ) осуществлялась, непосредственно, используя вербально-числовую
шкалу, которая была построена с привлечением указанных выше ЛПР. Эмпирическая
система отношений шкалы была постулирована ЛПР, как шкала порядка, состоящая из
привычных для них пяти градаций. Метризованная система отношений – числовая часть
шкалы была построена. Был разработан модельный пример, описывающий различные
состояния вуза в эмпирической системе отношений, каждый ЛПР высказал свое мнение о
соответствие того или иного состояния баллам от 0 до 100. При обобщении ряда мнений
для вычисления обобщенных оценок (см. Таблица 1) использовался метод Дельфи. Важно
отметить, что в вычислениях оценок параметров  , k1 и k2 математической модели (1)
использовались нормализованные величины оценок от 0 до 1.
Таблица 1 – Шкала оценки f ( a p )
Очень плохо
0-20
Плохо
20-37
Удовлетворительно
37-63
Хорошо
63-80
Очень хорошо
80-100
Для оценки параметров  , k1 и k2 математической модели (1), был выбран метод
наименьших квадратов [14], чтобы указанные оценки были несмещенными,
состоятельными и эффективными (асимптотически).
Была осуществлена проверка выполнения предпосылок регрессионного анализа:
1. Нормальность распределения f (a ) , a   * . Для анализа нормальности
распределения отклика вначале все параллельные опыты для 24 точек эксперимента были
приведены к общему среднему, после проверки условия воспроизводимости опытов,
данный подход был заимствован из метода случайного баланса [15]. Затем для 24 5
точек была осуществлена непосредственно проверка гипотезы нормальности
распределения, проверка осуществлялась, используя критерий Пирсона. Гипотеза о
нормальности распределения не отвергается  2  12.94  Т2( k 103)  14.07 [7], при уровне
значимости   0.05 .
2. Независимость zi , i  1,, I , I  12 . Проверка независимости осуществлялась,
используя коэффициенты парной корреляции Пирсона. Для десяти пар критериев
коэффициент корреляции rij оказался значимым (см. Таблица 3, выделены полужирным
шрифтом) т.е.
28  1  rij
(1  rij2 )
 tk  28 2  2.063 , при   0.05 .
Таблица 3 – Коэффициенты парной корреляции
rij
Кр.
№1
Кр.
№2
Кр.
№3
Кр.
№4
Кр.
№5
Кр.
№1
Кр.
№2
Кр.
№3
Кр.
№4
Кр.
№5
Кр.
№6
Кр.
№7
Кр.
№8
Кр.
№9
Кр.
№10
Кр.
№11
Кр.
№12
1
0,8
0,54
0,77
0,67
0,66
0,63
0,12
0,4
0,54
0,45
0,42
0,8
1
0,72
0,91
0,72
0,79
0,69
0,06
0,16
0,27
0,58
0,51
0,54
0,72
1
0,66
0,72
0,78
0,74
0,23
0,45
0,53
0,84
0,76
0,77
0,91
0,66
1
0,79
0,74
0,71
0,25
0,09
0,22
0,59
0,52
0,67
0,72
0,72
0,79
1
0,62
0,87
0,49
0,41
0,51
0,72
0,77
10
Кр.
№6
Кр.
№7
Кр.
№8
Кр.
№9
Кр.
№10
Кр.
№11
Кр.
№12
0,66
0,79
0,78
0,74
0,62
1
0,59
0,02
0,32
0,4
0,74
0,53
0,63
0,69
0,74
0,71
0,87
0,59
1
0,46
0,47
0,52
0,71
0,77
0,12
0,06
0,23
0,25
0,49
0,02
0,46
1
0,24
0,34
0,16
0,52
0,4
0,16
0,45
0,09
0,41
0,32
0,47
0,24
1
0,81
0,56
0,49
0,54
0,27
0,53
0,22
0,51
0,4
0,52
0,34
0,81
1
0,55
0,59
0,45
0,58
0,84
0,59
0,72
0,74
0,71
0,16
0,56
0,55
1
0,81
0,42
0,51
0,76
0,52
0,77
0,53
0,77
0,52
0,49
0,59
0,81
1
Важно отметить, что для нелинейной по параметрам модели независимость не
является принципиальным условием для применения регрессионного анализа.
3. Постоянство дисперсии (воспроизводимость) f (a ) . Проверка воспроизводимости
осуществлялась с использованием критерия Кохрена. Гипотеза о воспроизводимости не
отвергается H  0.125  HТ ( k  24,v 5)  0.149 [7], при   0.05 .
Таким образом, задача оценивания параметров  , k1 и k2 сводится к минимизации
целевой функции (4).
24
5
ˆ  arg min  ( f (a p , )  f j (a p )) 2

(4)
p 1 j 1
где f (a p , ) – рассчитанное значение по математической модели (1) предпочтения ЛПР в
точке a p ;
f j ( a p ) – экспериментальное значение предпочтения j -го ЛПР в точке a p ;
ˆ  (ˆ, kˆ , kˆ ) – вектор оценок параметров математической модели (1).
1
2
Для решения задачи (4) использовался сеточный поиск по параметрам k1 и k2 в
пространстве размерностью 10 10 . Оценка  вычислялась непосредственно из
выражения (5) – приравненная к нулю частная производная (4) по  .
24
ˆ 
 ( g (a
2
p 1
p
)  g1 (a p ))  f ( a p )
(5)
24
 ( g (a
p 1
2
p
)  g1 ( a p ))
2
5
где f (a p ) 
 f (a
j 1
j
5
p
)
– среднее экспериментальное значение предпочтения ЛПР в точке
ap ;
g1 (a p ) 
D AI (a p )
– нормированное значение аналитического выражения
D AI (a p )  D Id (a p )
«естественного» предпочтения;
11
g 2 (a p ) 
D max  D(a p )
D max
концепции модели (1).
–
нормированное
значение
аналитического
выражения
Оптимум целевой функции (4) был найден для значений параметров ˆ  0.117 ,
kˆ1  2 и kˆ2  3 .
4.3. Проверка адекватности математической модели предпочтений ЛПР по
комплексной оценке деятельности вуза
Важнейшим показателем качества модели объекта служит её адекватность.
Адекватность модели проверялась, используя критерий Фишера. Гипотеза об
адекватности модели (1) на основе точек плана, используемых для её построения, не
отвергается F1  1.391  FТ ( n1  243, n2  24(5 1))  1.67 при   0.05 , для точек плана,
используемых для оценки предсказательных свойств модели, также не отвергается
F2  1.517  FТ ( n1  243, n2  24(51))  1.67 . Таким образом, построенная модель адекватна для
всех опытов в построенном плане эксперимента.
На рисунке 6 представлены линии уровня (линии безразличия) для наиболее
популярных математических моделей предпочтений ЛПР по комплексной оценке
объектов различной природы в проекции z1  z2 . Модели нормализованны и принимают
значения от 0 до 1. Для каждой модели представлены объяснительные и предсказательные
свойства. Под объяснительным свойством модели понимается коэффициент
детерминации R1 , рассчитанный на основе первой группы точек плана, под
предсказательным свойством понимается коэффициент детерминации R2 , рассчитанный
на основе второй группы точек плана.
Из рисунка 6 видно, что линии уровня разработанной модели для высоких и низких
оценок по критериям представляют собой линии уровня принципа идеальной и
антиидеальной точки соответственно. Предпочтение ЛПР к комплексной оценке для
средних оценок по критериям соответствует линиям уровня принципа абсолютной
уступки, а для крайних оценок по критериям соответствует линиям уровня принципа
идеальной точки, причем это обусловлено включением в математическую модель
дисперсии, которая влияет на крутизну линий уровня в этой области критериального
пространства.
Надписи - начало ХХХХХХХХХ Рисунок 6
Свойства математических моделей
а) Разработанная модель
б) Принцип абсолютной уступки
в) Функция желательности Харрингтона
г) Принцип идеальной точки (Евклидова норма)
д) Принцип антиидеальной точки (Евклидова норма)
Надписи - конец ХХХХХХХХХ Рисунок 6
Рисунок 6 – Объяснительные и предсказательные свойства различных математических
моделей
4.4. Определение чувствительности и построение доверительных интервалов
для параметров математической модели предпочтений ЛПР по комплексной оценке
деятельности вуза
12
Определена
мера
чувствительности
[16,
математической
17]
модели
(1)
предпочтений ЛПР по комплексной оценке деятельности вуза критериальная (6) и
параметрическая (7), (8), (9). На рисунке 7 представлена зависимость чувствительности от
значений критерия z i , а также от значений параметров  , k1 и k2 .
f (a)
 (1  ˆ )
z i


kˆ2
i
z
kˆ2 1
i
 I ˆ ˆ 
    ik 2 z ik2 
 i 1

1 kˆ2
kˆ
2
1
ˆ
ˆ  k1
ˆ
ˆ
ˆ 
 I ˆ
 I ˆ
    ik1 ( z iId  z i ) k1    ik1 ( z iId  z i ) k1 1     ik1 ( z iId  z i ) k1 
 i 1

 i 1

 I

kˆ2
AI
    i zi  zi
  i 1

kˆ2
1
1

kˆ
 kˆ2  I kˆ1 Id
kˆ1  1 
     i ( zi  zi )  

 i 1
 

1 kˆ1
kˆ
1
 I ˆ
    ik2 z iAI  z i
 i 1
2
1
kˆ2
 kˆ2

 
(6)
ˆ  max 1  I

  D     ( z  z i )  12  ( z  z i )  
72  i 1
D max 

где a  ( zi )iI1 – многокритериальная оценка вуза;
z i – оценка вуза по i -му критерию, i  1,, I , I  12 ;
D max – максимальное значение дисперсии равное 2500 при
I
I

0, i  I0  {i j i j {1, , I }, j {1, , 2 }, i j  i j1 , j1 {1, , 2 } \ j}
;
zi  

100
,
i

{
1
,

,
I
}
\
I
0

k̂1 , k̂ 2 – оценка показателя нормы, kˆ1  2 , kˆ2  3 ;
 i – важность i -го критерия;
z iId – идеальная точка, максимально возможное значение оценки по i -му критерию,
ziId  100 ;
z iAI – антиидеальная точка, минимально возможное значение оценки по i -му
критерию, z iAI  0 ;
I
zp 
z
i 1
I
pi
– среднее значение по критериям;
̂ – оценка параметра модели, ˆ  0.117 .


f (a) D max  D Id (a)  D(a)  D AI (a)  D Id (a)


D max D AI (a)  D Id (a)
k1
 I k1 Id

   i ( zi  zi ) k1 ln(  i ( ziId  zi ))  D Id (a)   ln D Id (a)   D AI (a)
f (a )

 (1   )  i1
k1 1
2
Id
AI
Id
k1
k1  D (a)   D (a)  D (a ) 




k2
k2
 I  k2 АI

    i zi  zi ln(  i ziАI  zi )   D АI (a)  ln D АI (a)   D Id (a )


f (a )

 (1   )  i1
k2 1
2
AI
AI
Id
k 2
k2  D (a)
 D (a)  D (a)


 


(7)
(8)
(9)
13
где a  ( zi )iI1 – многокритериальная оценка вуза;
z i – оценка вуза по i -му критерию, i  1,, I , I  12 ;
1
k2  k2
 I
D AI (a)     ik2 ziAI  zi  – расстояние многокритериальных оценок вуза от
 i1

антиидеальной точки;
1
 I
 k1
D Id (a )     ik1 ( ziId  zi ) k1  – расстояние многокритериальных оценок вуза от
 i 1

идеальной точки;
I
D(a) 
 (z  z )
2
i
i 1
– дисперсия многокритериальных оценок вуза;
I
D max – максимальное значение дисперсии равное 2500 при
I
I

0, i  I0  {i j i j {1, , I }, j {1, , 2 }, i j  i j1 , j1 {1, , 2 } \ j}
;
zi  

100
,
i

{
1
,

,
I
}
\
I
0

k1 , k2 – показатель нормы, k1 , k2 {1,2,3,4, } ;
 i – важность i -го критерия;
z iId – идеальная точка, максимально возможное значение оценки по i -му критерию,
ziId  100 ;
z iAI – антиидеальная точка, минимально возможное значение оценки по i -му
критерию, z iAI  0 ;
I
z
z
i 1
i
– среднее значение оценок по критериям;
I
 – параметр модели,   (0,1) .
Надписи - начало ХХХХХХХ Рисунок 7
Зависимость чувствительности от значений критерия
Зависимость чувствительности от значений параметров
Надписи - конец ХХХХХХХ Рисунок 7
Рисунок 7 – Чувствительность разработанной математической модели предпочтений ЛПР
по комплексной оценке деятельности вуза
Для нелинейной по параметрам модели (1) определены в соотношение (10) [18]
доверительные области (область неопределенности) для ̂ , k̂1 и k̂2 . Построены
доверительные области, которые представлены на рисунке 8.
 n

S ( )  S (ˆ)  1  1 FТ ( n13, n2 2453) 
 n2

24
(10)
5
где S ( )   ( f (a p ,  )  f j (a p )) 2 – целевая функция (4);
p 1 j 1
S (ˆ) – оптимальное значение целевой функции (4), равное 0.017;
14
FТ ( n13, n2 2453) – значение критерия Фишера при   0.05 , равное 3.07.
Надписи - начало ХХХХХХХ Рисунок 8
Область неопределенности параметров математической модели в проекции
Надписи - конец ХХХХХХХ Рисунок 8
Рисунок 8 – Доверительные области для параметров математической модели
предпочтений ЛПР по комплексной оценке деятельности вуза
5. Заключение
Процесс разработки математической модели состоит из следующих основных
этапов: факты – исходные положения и допущения (эмпирическое знание) – построение
модели – прогноз (предсказание) и его проверка. В рамках данной работы всё указанные
этапы были пройдены. Показатели качества разработанной модели позволяют сделать
вывод о том, что разработанная модель очень хорошо описывает результаты
эксперимента. В то же время совпадение наиболее популярных математических моделей с
экспериментальными данными трудно признать удовлетворительным.
По мнению автора, разработанная модель в совокупности с реализацией
процессной модели оценки деятельности вуза (см. Рисунок 1) позволит обеспечить
механизм для демонстрации уровня совершенства деятельности вуза перед
заинтересованными сторонами и соответственно повысить степень доверия со стороны
представителей надзорных органов и, уменьшить объем инспекционных проверок,
проводимых в рамках государственной аккредитации вуза в России.
Acknowledgement
This research of the author is supported in part by the Ministry of Education and Science of
the Russian Federation, Grant No. 2.2.1.3.6750.
References
1 Deming W. Edwards Out of the crisis – NY.: MIT Press, 2000. – 520 p.
2 Проничкин С.В., Круглов В.И., Соловьев В.П., Кочетов А.И. Разработка
критериальной модели для независимой оценки деятельности вуза категории
«Национальный исследовательский университет». Высшее образование сегодня. – 2010. –
№7. – С. 6-16.
3 Растригин Л.А. Современные принципы управления сложными объектами. – М.:
Сов. радио, 1980. – 232 с.
4 Adam F., Humphreys P. Encyclopedia of Decision Making and Decision Support
Technologies. – NY.: Information Science Reference, 2008. – 1064 p., Vol. 1, 2.
5 Рыков А.С. Модели и методы системного анализа: принятие решений и
оптимизация: Учебное пособие для вузов. – М.: «МИСИС», Издательский дом «Руда и
металлы». 2005. – 352 с.
6 Адлер Ю.П., Маркова Е.В., Грановский Ю.В. Планирование эксперимента при
поиске оптимальных условий. – М.: «Наука». 1976. – 278 с.
7 Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. – М.: Наука,
1983. – 416 с.
8 Литвак Б.Г. Экспертные оценки и принятие решений. – М.: Патент, 1996. – 271 с.
9 Hwang C.L., Yoon K.L. Multiple Attribute Decision Making: Methods and
Applications. Springer – Verlag. – New York, 1981.
10 Федоров В.В. Теория оптимального эксперимента. – М.: «Наука», 1971. – 312 с.
15
11 Dette H., Melas V.B., Wong W.К. Locally D-optimal Designs for Exponential
Regression. Statistica Sinica, Vol. 16. 2006. P. 789-803.
12 Старосельский Ю.М. Исследование оптимальных планов эксперимента для
нелинейных по параметрам регрессионных моделей: Дис… канд. физ.-мат. наук: 05.13.18 /
СПб.: СПбГУ, 2008. 109 с.
13 Rykov A.S., Krapuhina N.V., Pronichkin S.V. Formation of expert subgroups based
on consensus and deriving generalized estimate of multiattribute objects. System Research &
Information technologies. – 2010. – №2. – P. 72-79.
14 Draper N.R., Smith H. Applied regression analysis. – 3rd ed. – NY.: Wiley., 1998. –
706 p.
15 Налимов В.В., Чернова Н.А. Статистические методы планирования
экстремальных экспериментов. – М.: Наука, 1965. – 340 с.
16 Tомович P., Вукобратович М. Общая теория чувствительности. Пер. с сербск. и с англ.,
под ред. Цыпкина Я. З., – М. Изд-во «Советское радио», 1972. – 240 стр.
17 Сергеев А.Г. Метрология: Учебник. – М.: Логос, 2005. – 272 стр.
18 Draper N.R., Smith H. Applied regression analysis. – 3rd ed. – NY.: Wiley., 1998. – 706 p.
16