удк 658.514 интегральные оценки стартового тестирования
advertisement
416 УДК 658.514 ИНТЕГРАЛЬНЫЕ ОЦЕНКИ СТАРТОВОГО ТЕСТИРОВАНИЯ, ИНДИВИДУАЛЬНОЙ ЭФФЕКТИВНОСТИ ОБУЧЕНИЯ И ЭФФЕКТИВНОСТИ ОБУЧАЮЩИХ МЕТОДИК И ТРЕНИНГОВ ОПЕРАТОРОВ ТРУБОПРОВОДНОГО ТРАНСПОРТА НЕФТИ Хафизов Ф.Ш., Кудрявцев А.А., Шевченко Д.И. Уфимский государственный нефтяной технический университет, г. Уфа кафедра «Промышленной и пожарной безопасности» e-mail: atp_mail@inbox.ru Аннотация. В настоящей работе, с учетом существования интегрированных обучающих систем – тренажеров операторов и диспетчеров, в качестве оценки готовности операторов к управлению предложена интегральная оценка по результатам тестирования оператора на множестве тестовых ситуаций и задач. Предложена интегральная оценка, показывающая как именно то или иное качество оператора влияет на потенциальный ущерб. Ключевые слова: методика оценки, обучающие системы, тренажеры, тестовые задания, стартовое тестирование, подготовка операторов Известно, что уровень готовности операторов и диспетчеров трубопроводного транспорта является одним из важных факторов промышленной безопасности. Как и в любом виде деятельности, предпосылками успешного выполнения задач является общая профессиональная пригодность и эффективное обучение. В работе [1] предложена методика стартовой оценки профессиональной пригодности, в которой на первом, экспериментальном этапе, отбирается группа уже работающих операторов, каждому из которых заранее выставлена оценка 3, 4 или 5 группой коллег-экспертов с усреднением данных по методу экспертных оценок. Выбран ряд психологических тестов и все операторы тестируются, затем выводится регрессионная формула и предлагается просто использовать ее, вместе с набором предложенных тестов, для тестирования вновь принимаемых сотрудников. Регрессионная формула по предложенной методике сама выдаст оценку кандидату. Однако оценка персонала по тестам, формально не относящимся к их производственной деятельности, может быть расценена как дискриминация и в ряде стран запрещена. Методика, изначально основанная на мнениях экспертов о «хороших» и «плохих» операторах в условиях низкой аварийности является достаточно субъективной. Предлагается вместо экспертных оценок использовать результаты тренинга и отработки тестовых задач на тренажерах операторов и диспетчеров. Итоговая оценка готовности операторов к управлению может быть только «Готов», «Не готов». Тем не менее, граница должна быть проложена на неком числовом множе- _____________________________________________________________________________ Электронный научный журнал «Нефтегазовое дело», 2011, №2 http://www.ogbus.ru 417 стве. В качестве такого множества может быть выбрана некоторая интегральная оценка, например, условный ущерб от совершенных на тренинге ошибок. Интегральная оценка типа 1 В настоящее работе, с учетом существования интегрированных обучающих систем – тренажеров операторов и диспетчеров, в качестве такого числового множества предложена интегральная оценка по результатам тестирования оператора на множестве тестовых ситуаций и задач. Для реализации такой оценки необходимо: – выбрать некий набор M заданий (полный) по управлению технологическим комплексом в штатных и аварийных ситуациях; – дать оценку потенциального ущерба невыполнения каждой из них в реальных условиях S (средний ущерб в рублях или баллах); – протестировать оператора на данном наборе 1..N раз и сосчитать оценку как сумму ущерба, взвешенную по соотношению ошибок и общего количества испытаний по данному заданию (при одном наборе испытаний просто сумма ущерба от «допущенных» аварий) S ij = Σ (S i∗P ij ) , где Si – интегральная оценка ущерба от i-го вида допущенной аварии, Рij – вероятность совершения i-й аварии j-м оператором. Отметим, что при больших значениях N соотношение ошибок и общего количества испытаний стремится к вероятности совершения ошибки P данным оператором, а указанная интегральная оценка стремится к так называемому риску от действий данного оператора при последовательном возникновении всех M ситуаций. I = P 1∗S 1+ P 2∗S 2+…+P M ∗S M . (1) Данная оценка учитывает только ошибку оператора вообще, без характеристики типа ошибки. Интегральная оценка типа 2 В работе [2] предложена интегральная оценка типа 2 без учета оценки ущерба от типа допущенной аварии: каждое действие диспетчера следует относить к одному из следующих классов: q1 – правильно, своевременно выполненное действие; q2 – невыполненные действия; q3 – неправильные действия; q4 – действия, выполненные с опозданием; q5 – действия, выполненные ранее необходимого; q6 – излишние действия; q7 – неоптимальные действия. _____________________________________________________________________________ Электронный научный журнал «Нефтегазовое дело», 2011, №2 http://www.ogbus.ru 418 Таким образом, производится оценка каждого действия (в том числе и невыполненного необходимого). Данная методика может быть связана с результатами метода экспертных оценок по оцениванию качеств того или иного оператора, основанные на субъективной оценке действий диспетчера инструкторами. Интегральная оценка типа 3 Предложена интегральная оценка типа 3, обобщающая предыдущие оценки и показывающая, как именно то или иное качество оператора влияет на потенциальный ущерб: Q3 =q∗S x , где Sx – взвешенный ущерб по оценке типа 1, q – оценка типа ошибки по типу 2. Применение интегральных оценок. Далее предлагается следующим образом модифицировать подход к стартовому тестированию (допуску) сотрудников к приему и обучению. На экспериментальном этапе сначала операторы проходят полное тестирование на максимальном множестве тестовых заданий на тренажере, затем выбирается некоторый набор тестов Х и все операторы, уже «получившие» свою интегральную оценку, тестируются уже на них. Строится таблица и так же, как и в работе [1], строится регрессионная формула для последующего использования при тестировании вновь принимаемых сотрудников. Вместо использования условной экспертной оценки согласно [1] в правом столбце таблицы используется интегральная оценка I. Набор тестовых заданий Xi (например, психологические тесты) выполняется всеми заранее протестированными на тренажере операторами и в таблицу вписываются нормированные значения по результатам теста. Таблица оценивается регрессионными методами в предположении применимости и эффективности указанных тестовых методик. По результатам формируется формула стартового тестирования с предполагаемой интегральной оценкой: I предп.=k 1∗ X 1 +k 2∗X 2 +…+k L∗X L , (2) где L – количество тестов. Выбор тестов для стартового тестирования по каждой из интегральных оценок предлагается осуществлять по следующей методике – после тестирования на расширенной группе операторов вся таблица оценивается по МНК и оставляются те тесты, которые вносят более значимый вклад (больше коэффициенты), как минимум, являются неотрицательными и ненулевыми. Использование методов [1], не допускающих появления отрицательных коэффициентов в регрессионной формуле, допускает появление в наборе тестовых заданий неэффективных и ненужных методик. _____________________________________________________________________________ Электронный научный журнал «Нефтегазовое дело», 2011, №2 http://www.ogbus.ru 419 1 … 30 Множество тестовых методик Х1 Х2 Х3 Х4 Х5 Х6 Х7 0,760 … 0,960 0,360 … 0,560 0,700 … 0,900 0,833 … 0,500 0,667 … 0,667 0,950 … 0,850 0,583 … 0,750 Х8 0,583 … 0,667 Интегр-я оценка Номер оператора Таблица 1. Определение формулы стартового тестирования по интегральной оценке I1 … I3 Для оценки индивидуальной оценки оператора по итогам обучения и эффективности тренинга в общем предлагается воспользоваться тем же способом, только вместо вектора X набора тестовых заданий используется сокращенный набор тренинговых заданий. В реальных условиях нет времени проводить полное тестирование группы операторов по всему или даже достаточно полному списку заданий в штатных и нештатных режимах. Поэтому из всего множества ситуаций выбирается сокращенный набор тренинговых заданий. Индивидуальные результаты подсчитываются по указанной выше формуле для Iпредп, в предположении, что данная выборка заданий X при использовании формулы достаточно адекватно оценивает оператора. Сама же выборка тестируется и модифицируется по указанной методике для оценки всего множества тестов. В данном контексте используется расширенная трактовка тестирования – это могут быть и психологические тесты, и проверка теоретических знаний и ТБ, результаты тренинга в обычной обстановке и в ситуации искусственного стресса. При этом при модификации набора тестовых заданий могут быть сформулированы дополнительные, основанные на опытных данных, требования к самой структуре технических средств обучения. Использование интегральных оценок с учетом лимита ресурсов При ограничении на время обучения, как это и бывает на практике, может быть использована следующая методика интервального отбора. Тестовая группа обучаемых, прошедших предварительное теоретическое обучение, проходит тренинги и итоги этой работы фиксируются на графике (рис. 1) Пусть формализованная цель занятия (тренинга) вида Xi - это предотвращение происшествий (итоговых событий) вида Yi при тренинге группы М операторов, впоследствии работающих на N объектах. Соотнесем выбранную интеграль_____________________________________________________________________________ Электронный научный журнал «Нефтегазовое дело», 2011, №2 http://www.ogbus.ru 420 ную оценку вида 1 или 3, из указанных выше, например, оценку предотвращенного ущерба Si от происшествия вида Yi со стоимостью обучения Li. Оценка предотвращенного ущерба Si может быть произведена, например, методом экспертных оценок. Для оценки Si средняя величина ущерба от происшествия вида Yi умножается на количество объектов N, а стоимость обучения Li представляет собой стоимость «простоя» обучаемого плюс средняя стоимость учебного процесса без учета технических средств плюс стоимость использования учебных технических средств (см. рис. 2). Оценки Si и Li, отнесенные ко времени обучения Т ср, превращаются в удельные величины. Рис. 1. Результаты тестового тренинга Рис. 1. Модель оценки эффективности занятия Общая эффективность процесса обучения при таком подходе приобретает вполне объективную оценку как разница между удельным предотвращенным ущербом и удельной стоимостью обучения. Эффективность учебного процесса отличается неоднородностью оценки прироста по времени. Очевидно, что обученный оператор безопаснее для процесса управления, чем необученный. На обучение требуется время. Можно достаточно обоснованно предположить, что существует некоторое время Tmax тренинга для получения некоторого конкретного навыка управления в определенной ситуации, после которого оператор прекращает делать ошибки. При времени обучения более Tmax _____________________________________________________________________________ Электронный научный журнал «Нефтегазовое дело», 2011, №2 http://www.ogbus.ru 421 прироста эффективности обучения нет. При времени обучения, незначительно отличающимся от T = 0 допуск специалиста к управлению принесет наибольший ущерб, причем последующее обучение приведет к сокращению этого ущерба. Таким образом, время обучения не равнозначно по эффективности, и прирост эффективности определенно описывается функцией снижения количества ошибок от длительности тренинга. Отметим, что чем меньше значение Tmax при прочих равных условиях, тем эффективнее технические средства тренинга, и средняя оценка Tmax может служить оценкой процесса разработки и усовершенствования тренажера. Далее будет показано, что уменьшение среднего по множеству тренингов значения Tmax позволяет проводить в ограниченное время большее количество тренингов и, следовательно, увеличивать общую величину предотвращенного в результате тренингов ущерба (риска, штрафа). Произведем взвешенную оценку длительности курса и удельной оценки ущерба, при которой общая оценка ущерба распределяется согласно графику вида, показанного на рис. 2, и равномерно снижается вплоть до нуля при максимальной продолжительности курсов, когда самый отсталый обучаемый прекращает допускать ошибки (рис. 3). Дальше обучать не имеет смысла, и средства расходуются впустую. При этом оптимальная продолжительность курса Tопт может быть оценена как время, при котором удельный ущерб равняется удельной стоимости обучения. Рис. 3. Интегральная модель оценки эффективности занятия Построим методику распределения учебного времени и средств, оптимальную по предложенному критерию эффективности. Построим интервальные оценки вида рис. 3 для всего множества i возможных видов занятий, включая теоретические занятия, практику и тренинги, оценивая возможный предотвращенный ущерб и удельную стоимость занятий, по методике, описанной выше. Разбив данные множества на часовые отрезки, получаем множество некоторых численных величин. Введем понятие селектора максимума как алгоритма, последовательно на каждом шаге j отбирающего из всего множества Sудi (dS/dT для точки T) и Lудi (dL/dT для точки Т) с наибольшей величиной соотношения Sудi/Lудi, начиная с мак- _____________________________________________________________________________ Электронный научный журнал «Нефтегазовое дело», 2011, №2 http://www.ogbus.ru 422 симальной величины. Добавив эту пару к оптимальному множеству за номером j и изъяв ее из общего множества графиков, повторяем процедуру для шага j+1 вплоть до полного исчерпания множества интегральных оценок. Получаем оптимальное множество для всех видов занятий Xi (рис. 4). Итоговое время занятий на таком графике, очевидно, является суммой всех Tопт для всех графиков вида, показанного на рис. 4. Теперь приступаем к процедуре ограничения справа этого множества по критерию максимально допустимой длительности учебных курсов T или по максимально допустимой общей стоимости обучения. Рис. 4. Оптимальное множество для оценки эффективности занятий В результате получается подробный план, в котором описано общее количество часов занятий каждого вида Xi. При построении практических планов, если по какому-то виду занятий количество часов меньше Tmin, то необходимо либо убрать эти часы вообще, либо иным образом скорректировать планы за счет допустимого сокращения часов занятий другого вида. Имея такие оптимальные планы, можно оценивать эффективность использования тех или иных технических средств и тренажеров, а также целесообразность их реконструкции и разработки новых средств. Если в совокупности оптимальных планов общее количество часов с использованием этих средств мало, значит средство используется неэффективно. Также можно самым общим образом оценить необходимость гипотетической реконструкции или разработки новых технических средств обучения. Пример Рассмотрим задачу построения курса тренинга на тренажере операторов нефтеперекащивающих станций (НПС) и диспетчеров районых нефтепроводных управлений (РНУ). Необходимо распределить ресурс учебных курсов (тренинга) наиболее эффективным способом. Имеется занятия (тренинги) 20 видов, каждый вид занятия (тренинга) направлен на закрепление навыков работы в штатных режимах и предотвращения возможных нештатных ситуаций. Средняя продолжительность курсов экспериментально определялась по среднему времени Tср, когда _____________________________________________________________________________ Электронный научный журнал «Нефтегазовое дело», 2011, №2 http://www.ogbus.ru 423 T max−T min . Удель2 ный ущерб от предотвращаемых аварий соотнесен с этим временем. Стоимость учебного времени варьировалась в зависимости от сложности используемого при тренинге оборудования. Исходные данные сведены в табл. 2. лучшие и худшие обучаемые прекращали делать ошибки T ср = Таблица 2. Исходные данные Наименование Код Удельный ущерб Т_мин Т_макс Стоимость часа обучения Занятие вида 1 A1 10 000.00 4.00 8.00 2 500.00 Занятие вида 2 A2 35 000.00 10.00 12.00 4 500.00 Занятие вида 3 A3 20 000.00 4.00 16.00 3 500.00 Занятие вида 4 A4 40 000.00 12.00 24.00 6 500.00 Занятие вида 5 A5 15 000.00 4.00 8.00 2 500.00 Занятие вида 6 A6 35 000.00 8.00 16.00 2 500.00 Занятие вида 7 Занятие вида 8 Занятие вида 9 A7 A8 A9 20 000.00 10 000.00 25 000.00 4.00 4.00 12.00 8.00 8.00 18.00 2 500.00 1 500.00 4 500.00 Занятие вида 10 A10 10 000.00 4.00 8.00 1 500.00 Занятие вида 11 A11 30 000.00 8.00 16.00 2 500.00 Занятие вида 12 A12 45 000.00 16.00 24.00 4 500.00 Занятие вида 3 A13 20 000.00 4.00 16.00 3 500.00 Занятие вида 4 A14 35 000.00 8.00 24.00 6 500.00 Занятие вида 5 A15 15 000.00 4.00 8.00 2 500.00 Занятие вида 6 A16 25 000.00 8.00 20.00 2 500.00 Занятие вида 7 A17 15 000.00 4.00 12.00 2 500.00 Занятие вида 8 A18 10 000.00 4.00 8.00 1 500.00 Занятие вида 9 A19 75 000.00 4.00 20.00 7 500.00 Занятие вида 20 A20 10 000.00 4.00 8.00 1 500.00 Результаты применения указанной методики отражены в табл. 3 и 4. В табл. 3 отражен оптимальный план, рассчитанный при условии отсутствия ограничения по времени и затратами. Оптимальная продолжительность курса обучения для указанных исходных данных составляет 260 учебных часов или примерно 6 недель. Если курсы переподготовки ограничены, например двухнедельным периодом, то оптимальный план будет скорректирован путем отбора наиболее эффективного набора заданий и количества учебных часов. _____________________________________________________________________________ Электронный научный журнал «Нефтегазовое дело», 2011, №2 http://www.ogbus.ru 424 Таблица 3. Результаты расчета. Оптимальный план без ограничений по времени Оценка УдельРекоменСтоиЗатраты НаимепредотвраКод ный дуемый объем мость на нование щенного ущерб занятий, час часа обучение ущерба Занятие вида 1 Занятие вида 2 Занятие вида 3 Занятие вида 4 Занятие вида 5 Занятие вида 6 Занятие вида 7 Занятие вида 8 Занятие вида 9 Занятие вида 10 Занятие вида 11 Занятие вида 12 Занятие вида 3 Занятие вида 4 Занятие вида 5 Занятие вида 6 Занятие вида 7 Занятие вида 8 Занятие вида 9 Занятие вида 20 A1 10000 7 2500 17500 41250 A2 35000 11.74 4500 52842.86 331578.57 A3 20000 13.9 3500 48650 147675 A4 40000 22.05 6500 143325 570337.5 A5 15000 7.33 2500 18333.33 70833.33 A6 35000 15.43 2500 38571.43 380714.29 A7 20000 7.5 2500 18750 100625 A8 10000 7.4 1500 11100 48450 A9 25000 16.92 4500 76140 296430 A10 10000 7.4 1500 11100 48450 A11 30000 15.33 2500 38333.33 320833.33 A12 45000 23.2 4500 104400 793800 A13 20000 13.9 3500 48650 147675 A14 35000 21.03 6500 136685.71 413657.14 A15 15000 7.33 2500 18333.33 70833.33 A16 25000 18.8 2500 47000 301500 A17 15000 10.67 2500 26666.67 91666.67 A18 10000 7.4 1500 11100 48450 A19 75000 18.4 7500 138000 756000 A20 10000 7.4 1500 11100 48450 1016582 5029209.16 260.13 _____________________________________________________________________________ Электронный научный журнал «Нефтегазовое дело», 2011, №2 http://www.ogbus.ru 425 Таблица 4. Оптимальный план при ограничении на продолжительность учебных курсов Наименование Занятие вида 1 Занятие вида 2 Занятие вида 3 Занятие вида 4 Занятие вида 5 Занятие вида 6 Занятие вида 7 Занятие вида 8 Занятие вида 9 Занятие вида 10 Занятие вида 11 Занятие вида 12 Занятие вида 3 Занятие вида 4 Занятие вида 5 Занятие вида 6 Занятие вида 7 Занятие вида 8 Занятие вида 9 Занятие вида 20 Код Рекомендуемый объем занятий, час A1 0 0 0 0 0 A2 35000 10.39 4500 46743.37 315502.86 A3 0 0 0 0 0 A4 0 0 0 0 0 A5 0 0 0 0 0 A6 35000 12.18 2500 30438.78 357565.27 A7 20000 4.65 2500 11633.93 80369.61 A8 10000 1.98 1500 2967.35 16814.96 A9 0 0 0 0 0 A10 0 0 0 0 0 A11 30000 11.67 2500 29184.1 295720.78 A12 45000 18.68 4500 84068.37 736386.76 A13 0 0 0 0 0 A14 0 0 0 0 0 A15 0 0 0 0 0 A16 25000 11.89 2500 29718.11 251722.72 A17 0 0 0 0 0 A18 0 0 0 0 0 A19 75000 9.32 7500 69889.03 562703.98 A20 0 0 0 0 0 304643 2616786.94 80.76 Стоимость часа Затраты на обучение Оценка предотвращенного ущерба Удельный ущерб _____________________________________________________________________________ Электронный научный журнал «Нефтегазовое дело», 2011, №2 http://www.ogbus.ru 426 Согласно полученным результатам, из тренинга рекомендуется исключить занятия ряда видов как недостаточно эффективные. Подобные таблицы могут быть использованы при планировании реального тренинга. При анализе полученных рекомендаций в части времени эффективного использования технических средств могут быть приняты решения об их замене или реконструкции. Литература 1. Сажина Н.Н., Глебова Е.В., Прусенко Б.Е. Профессиональный отбор операторов в газовой промышленности: методика и практическое применение // Надежность и сертификация оборудования для нефти и газа. 1999. №2. С. 48-50. 2. Дьяков А.Ф., Лесковец И.Е., Меркурьев Г.В., Щербаков А.Д. Оценка противоаварийных тренировок оперативно-диспетчерского персонала энергосистем // Электрические станции. 1997. №2. С. 2-7. _____________________________________________________________________________ Электронный научный журнал «Нефтегазовое дело», 2011, №2 http://www.ogbus.ru UDC 658.514 THE INTEGRATED ASSESSMENTS OF A START TESTING, AN INDIVIDUAL TRAINING’S EFFECTIVENESS AND LEARNING METHODOLOGIES AND TRAINING’S EFFECTIVENESS OF THE OIL PIPELINE TRANSPORT OPERATORS F.Sh. Khafizov, D.I. Shevchenko, A.A. Kudryavtsev Ufa State Petroleum Technological University,Ufa, Russia Fire and Industrial Safety Chair e-mail: atp_mail@inbox.ru Abstract. In this study, taking into account the existence of integrated learning systems – simulator operators and dispatchers, as an assessment of the readiness of operators to management, offered integrated assessment of the results of testing of the operator on the set of test cases and problems. Keywords: assessment methodology, training systems, simulator, test jobs, start testing, operator training References 1. Sazhina N.N., Glebova E.V., Prusenko B.E. Professional'nyi otbor operatorov v gazovoi promyshlennosti: metodika i prakticheskoe primenenie (Professional selection of operators in the gas industry: a methodology and practical application). Nadezhnost' i sertifikatsiya oborudovaniya dlya nefti i gaza, 1999, Issue 2, pp. 48-50. 2. D'yakov A.F., Leskovets I.E., Merkur'ev G.V., Shcherbakov A.D. Otsenka protivoavariinykh trenirovok operativno-dispetcherskogo personala energosistem (Assessment of emergency response training dispatching of personnel of power systems). Elektricheskie stantsii, 1997, Issue 2, pp. 2-7. _____________________________________________________________________________ Электронный научный журнал «Нефтегазовое дело», 2011, №2 http://www.ogbus.ru
