Проект Ме_Разработка оценочных средств

Методические рекомендации
по разработке оценочных и диагностических средств
Москва 2012
Методические рекомендации по разработке оценочных и диагностических
средств.
Под ред. Ковалева Татьяна Михайловна, профессор МПГУ, доктор педагогических
наук
Методика разработана на основе исследований, проведенных в рамках разработки
дорожной
карты
проекта
«Создание
национальной
системы
компетенций
и
квалификаций» (НСКК), которая в свою очередь является частью работ по приоритетной
программе действий Агентства «Национальной предпринимательской инициативе по
улучшению инвестиционного климата в Российской Федерации (НПИ).
Проект направлен на создание в России системы, стимулирующей развитие
профессионализма и представляющей возможности оценки профессионализма.
Цель проекта - создать для потенциальных предпринимателей следующие
возможности:
- формирование национальной системы, содержащей информацию о прогнозах
потребности предприятий и существующих квалификациях и компетенциях на рынке
труда, формах и способах их освоения и признания;
-
обеспечение
вновь
создаваемых
высокотехнологичных
организаций
необходимым набором компетенций и квалификаций;
- возможность выстроить свою образовательную и профессиональную карьерную
траекторию, коррелирующую с планами развития страны и компаний;
- повышение социального статуса профессионалов в обществе.
Материалы методических рекомендаций содержат рекомендации по разработке
оценочных и диагностических средств, ориентированных на выявление компетенций.
Содеражние
Введение……………………………………………………………………………………..
1. Область применения
2. Структура банка оценочных средств……………………………………………..
3. Методика создания оценочных средств………………………………………...
3.1. Первый этап
3.2. Второй этап
3.3. Третий этап
3.4. Четвертый этап
Используемая литература
Приложения
Введение
Данная методика направлена на обеспечение сотрудников центров оценки
способами разработки оценочных и диагностических средств, пригодных для выявления
компетенций.
Основными задачами оценочных и диагностических средств являются: фиксация
проявленности и уровня развития компетенций.
Основными пользователями данной методики могут являться, в том числе
методисты центров профессиональной сертификации, сотрудники отделов по работе с
персоналом.
1. Область применения
Настоящий документ устанавливает рекомендации по разработке оценочных и
диагностических средств, ориентированных на выявление компетенций.
Работы проводились в рамках разработки дорожной карты проекта «Создание
национальной системы компетенций и квалификаций» (НСКК), которая в свою очередь
является частью работ по приоритетной программе действий Агентства «Национальной
предпринимательской
инициативе по
улучшению
инвестиционного
климата
в
Российской Федерации (НПИ).
Целью создания национальной системы компетенций и квалификаций (НСКК)
является появление в России системы, стимулирующей развитие профессионализма и
предоставляющей возможности для его адекватной оценки. В основе инициативы
создания «Национальной системы компетенций и квалификаций» лежит принципиально
иной подход к оценке требований, предъявляемых инновационной экономикой к
образовательной
системе,
рынку
труда,
национальным
законам,
стандартам
и
инфраструктурным условиям.
Этот подход базируется на новой единице оценки труда - компетенции, под
которой в данном случае понимается умение профессионала успешно выполнять
типовую рабочую задачу.
Основной
целью
оценки
и
испытания
является
создание
условий
для
демонстрации способности решать практические ситуации, приближенные к
деятельности, свидетельствующие о его готовности (способности) решать задачи
профессиональной деятельности в типовых ситуациях.
Настоящий документ предназначен для применения в системе центров оценки и
добровольной профессиональной сертификации.
2. Структура банка оценочных средств
Отдельная методика не позволяет полностью оценить наличие и уровень развития
компетенций. Поэтому центрам оценки приходится прибегать к перекрестному
оцениванию по разным методикам. Это заставляет создавать и поддерживать банк
методик, пригодных для оценки компетенций.
Банк оценочных средств для фиксации квалификаций и компетенций содержит
широкий набор способов и методов оценки. Выбор и использование того или иного
способа оценки в значительной степени зависит области применения оценочных средств.
В банке оценочных средств, содержится несколько компонентов: широкий список
средств оценки, принципы применимости того или иного способа оценки для конкретных
ситуаций и задач, пути доработки общих способов оценки к конкретной задаче.
Основу банка оценочных средств составляет комплект методических материалов,
предназначенный для: а) идентификации наличия компетенций,
б) установления
соответствия квалификации зафиксированным требованиям.
Результатом оценки является
установление факта соответствия квалификации
требованиям и подтверждение наличия сформированных компетенций.
В банк оценочных средств входят:
Перечислим формальные элементы банка оценочных средств
- совокупность заданий, предназначенных для оценки квалификации;
- совокупность заданий, предназначенных для проявления оцениваемых
компетенций;
- средства имитации, создания виртуальных рабочих и игровых сред, в которых
возможно действия, приближенные к целевому практическому действию;
- средства измерения;
- способы фиксации;
- способы представления и обработки данных о квалификации и компетенциях;
Краткий список форм и методов оценки, пригодных к проявлению
компетенции:
Лучшей формой проявления компетенций является включение в практическую
деятельность под присмотром наставника. Однако не во всех видах деятельности такая
форма является возможной и для задач оценки прибегают к имитации деятельности. Все
методы оценки, ориентированные на выявление и оценку компетенций можно
рейтинговать по мере полноты имитации ситуаций практической деятельности:
- выполнение реальных заданий (Например в форме стажировки на рабочем месте
под руководством наставника);
- выполнение тестовых заданий на рабочем месте и реальном оборудовании;
- выполнение учебных заданий на рабочем месте и реальном оборудовании.
(например,
изготовление
макетов,
уменьшенных
копий
изделия
на
реальном
оборудовании);
- осуществление полного цикла рабочих действий в имитационной среде
(компьютерные имитации близкие к реальности – виртуальная реальность);
- тренажеры;
- ассесмент-центр;
- игровые имитации (ролевые игры, деловые игры, организационные и
организационно-деятельностные игры);
- разбор конкретных ситуаций (решение кейсов).
Все эти методы создают ситуации, вынуждающие проявлять компетенции для
решения. Оценщику создается возможность делать выводы не о потенциале компетенций,
а об их фактическом проявлении.
Если используются несколько методов оценки, предпочтение должно быть отдано
оценкам, полученным в ситуациях, максимально приближенных к самой практической
деятельности. А вес оценок, полученных за проверку знания по данной теме, должен быть
существенно уменьшен в итоговой оценке компетенций. Таким образом, оценка
наставника о пригодности в баллах должна стоить намного больше, чем оценка за
правильные решения при разборе конкретных ситуаций в аудитории.
3. Методика создания оценочных средств
Этапы создания банка оценочных средств:
3.1 Первый этап
Первый этап разработки оценочных средств состоит в сборе и анализе, имеющихся
требований (см. 4.13) к квалификации и компетенциям оцениваемых профессионалов.
Результатом оценивания обычно является заключение о соответствии или
несоответствии оцениваемого специалиста требованиям.
При разработке оценочных средств не происходит выработка и формулирование
квалификационных требований – они собираются и используются в уже готовом виде.
Источниками информации для анализа могут послужить профессиональные стандарты,
профили компетенций или любые иные документы, содержащие описание требований,
сложившихся в результате практики.
В ходе выполнения первого этапа:
- формируется полный состав требований;
- обнаруживаются несоответствия и противоречия в этих требования;
- производится устранение противоречий, уточнением или исключением отдельных
требований.
Примечание: Достаточно часто квалификационные требования существуют в
разрозненном виде, поскольку создавались в разное время, различными участниками и в
разной форме. И, не смотря на то, что эти требования относятся к одной и той же
оцениваемой позиции, они могут содержать противоречия.
3.2 Второй этап.
Изучение предметной среды рабочего места, подбор предметного содержания,
которое будет использоваться при проведении оценки. Одна из задач при оценке
компетенций – имитация, воссоздание ситуаций практической деятельности для этого
отбираются компоненты, полностью отражающие ту практическую деятельность, в
которой осуществляется работа оцениваемого специалиста.
Производится сбор предметного содержания, к которому могут относиться:
графический материал, числовые данные, фото и видеозаписи, документы и типичные
продукты и результаты деятельности, чертежи и схемы расчетов, инструкции и
регламенты, широко используемые инструменты и материалы.
Это предметное содержание используется при постановке учебных задач, при
выборе производственных задач, которые могут выполняться под руководством
наставника, а так же при создании имитационных систем.
На данном этапе важно собрать предметное содержание, которое с одной
стороны отражает существенные характеристики деятельности, а с другой не является
слишком конкретным, что бы оценивать способность решения класса практических
задач, а не одной отдельной задачи.
При изучении рабочего места, рабочей среды, сборе предметного содержания
оценочных (см. 4.2) и диагностических (см. 4.4) средств обязательным является
взаимодействие разработчиков данных средств с экспертами (см. 4.8), которые
обладают
проявленными
компетенциями
и
признаются
носителями
профессионального опыта.
В
ходе
взаимодействия
с
экспертами
выделяется
группа
основных
профессиональных задач и ситуаций практического действия. Собранное предметное
содержание группируется вокруг профессиональных задач и ситуаций практического
действия. Профессиональные задачи составляют основу для формирования заданий
для оцениваемых специалистов.
При формировании заданий учитывается различие двух видов практических
ситуаций в профессиональной деятельности:
- ситуации и задачи, требующие специализированных компетенций;
- ситуации и задачи, требующие общих компетенций.
Для каждого из этих двух видов составляется свой набор методов оценки.
3.3 Третий этап
Формирование конкретных оценочных заданий, предъявляемых к оцениваемым
специалистам.
При оценивании групп рекомендуется обеспечивать необходимое количество
заданий (не менее числа оцениваемых). Это позволит избежать нарушения принципа
объективности оценки за счет обмена информацией, как во время проведения
испытаний, так и между прошедшими испытание и готовящимися к ним.
Формирование конкретных оценочных заданий значительно варьируется в
зависимости от применяемого метода оценки компетенций. В случае оценки
компетенций через наставничество, происходит вовлечение стажера в решение
текущих практических заданий, стоящих перед наставником. Для тренажеров и систем
виртуальной реальности – подробно прописываются ситуации, включая диалоги и
системы внешних реакций на действия оцениваемого.
Общий
принцип
создания
оценочного
средства
состоит
в
увязывании
1\требований к компетенциям, 2\выявленных задач и практических ситуаций и
3\собранного предметного содержания.
Когда формируется список заданий, возникает трудность обеспечения в каждом
задании связи с основными практическими ситуациями и задачами. Существует очень
большая опасность создания надуманных заданий, оторванных от практических
ситуаций, или заданий, имеющих ошибки в предметном содержании, которые
вовлекаются в оценочные средства. Для предотвращения данной ошибки обязательным
требованием является участие эксперта (см. 4.8) в процедурах создания оценочных
средств.
Создаваемые оценочные средства, при использовании должны позволять
сделать выводы:
1) о наличии или отсуствии оцениваемой компетенции. На основе успешного
решения или не решения поставленной практической задачи. Оценка «да»/«нет».
2)
об уровне развития оцениваемой компетенции. На основании изучения
способов решения поставленной практической задачи.
Наиболее распространенным способом оценки компетенций является выделение
уровней развития. Таким образом, банк методик должен иметь оценочные средства для
всех принятых в требованиях (см. 4.13) уровней квалификации (см. 4.12).
3.4 Четвертый этап
Четвертый этап направлен на передачу созданных оценочных средств экспертам и
специалистам оценочных центров, получение замечаний и улучшение сформированных
оценочных (см. 4.2) и (или) диагностических (см.4.4) средств.
Ваимодействие со специалистами, использующими оценочные средства являются
основой для совершенствования в целом деятельности оценочного центра, например
органа по сертификации, экспертов (см. 4.8) или ассесмент-центра (см. 4.14), проводящих
подтверждение и присвоение квалификации (см. 4.6) или оценку компетентности (см.
4.7).
4.4.2 Оценочный центр
может быть представлен органом по сертификации,
ассесмент-центром или ассоциацией профессионалов в данной области, экспертами, а
также любым другим юридическим лицом, относящимся к области, в которой
происходит присвоение квалификации или оценка компетентности, принимающее
участие в разработке, поддержании и актуализации оценочных и (или) диагностических
средств. Оценочный центр принимают участие во внесении корректировок для
разработанных средств.
Корректирующие действия проводятся с целью устранения причин несоответствий
и для предупреждения их повторного появления. Обнаружение несоответствия может
быть получено от любого участника процесса, в том числе через получение жалоб
органом или центром от их потребителей/клиентов.
Значительный вклад в формирование плана доработки и уточнения оценочных
средств могут внести специалисты/эксперты, прошедшие процедуру оценки, поскольку
они обладают самой подробной информацией о заданиях, документах и процедурах, об
ошибках и несоответствиях. Возможным способом сбора информации для анализа и
выявления несоответствий является проведение опросов посредством заполнения
специалистами/экспертами опросных листов. Сбор информации может производиться
производится как у только что прошедших оценку, так и у тех, кто прошел ее раньше.
Процедура для определения требований к анализу несоответствий, устранению
причин их возникновения, оцениванию необходимости принятия необходимых мер по их
ликвидации и во избежание их повторения, а также анализу результативности
предпринятых корректирующих действий должна быть описана органом, проводящим
оценку.
4.2.3 Орган по сертификации экспертов или ассесмент-центр или ассоциация
профессионалов в данной области, эксперты, а также любое другое юридическое лицо,
относящееся к области, в которой происходит присвоение квалификации или оценка
компетентности, принимающее участие в разработке, поддержании и актуализации
оценочных и (или) диагностических средств, принимают участие в проведении
предупреждающих действий по устранению несоответствий для разработанных средств,
которые могут возникнуть в будущем.
Потенциальные
проблемы
или
несоответствия
могут
быть
обусловлены
различными изменениями или факторами, затрагивающими область, в которой
производится оценка, например, разработка нового оборудования будет говорить об
изменениях
в
квалификационных
требованиях
специалиста,
что
приведет
к
несоответствию требованиям оценочного/диагностического средства.
Процедура
несоответствий,
для
их
определения
оценке
требований
и
методам
к
установлению
потенциальных
предотвращения,
доработке
оценочных/диагностических средств, анализу результативности предпринятых действий
должна быть описана органом, проводящим оценку.
Методические документы могут разрабатываться для следующих категорий:
- для проводящих оценку;
- для каждого оцениваемого;
- для других участников процесса оценки (экспертов).
Методические документы для экспертов (см.
4.8), подтверждающие и
присваивающие квалификацию (см. 4.3) или проводящих оценку компетентности (см.
4.7) должны включать:
- форму заключения и, в случае проведения органом по сертификации экспертов
подтверждения
и
присвоения
квалификации,
форму
квалификационного
сертификата/свидетельства (см. 4.9);
-
указания
к
заполнению
заключения.
Заключение
должно
содержать
перечисление компетенций, выявленных в ходе оценки компетентности или присвоения
квалификации;
-
перечисление
принятых
критериев
для
оценки
компетентности
или
подтверждения и присвоения квалификации. Целесообразно в сжатой форме привести
собранные и систематизированные требования (см. 3.1) к оцениваемому специалисту со
стороны профессии;
- документ, описывающий правила оценки.
Методические документы для оцениваемого специалиста должны включать:
- документ, описывающий задачи и задания.