Два подхода - Образование Костромской области

ФОРМИРОВАНИЕ ИЗМЕРИТЕЛЬНЫХ СРЕДСТВ ДЛЯ ОЦЕНКИ И
СЕРТИФИКАЦИИ КВАЛИФИКАЦИЙ И КРИТЕРИЕВ ОЦЕНКИ
ТЗ для разработчиков:
Качественные требования:
При разработке измерительных средств необходимо учесть, что они разрабатываются в
соответствии
с
требованиями
профессионального
стандарта.
Структура
профессионального стандарта предполагает до 8 квалификационных уровней, в каждом из
которых не менее 10 профессиональных/ трудовых функций.
Каждая профессиональная/трудовая функция должна быть определена своим набором
измерительных средств для квалификационных испытаний.
При формировании измерительных средств для оценки и сертификации квалификаций и
критериев оценки необходимо обеспечить:
•
формирование требований к измерительным средствам для оценки и
сертификации квалификаций;
•
формирование критериев оценки и критериальных значений;
•
разработка модели измерительных средств для оценки и сертификации
квалификаций, в которую будет входить, в том числе и матрица соответствия
конкретным инструментам оценки.
Количественные требования:
Разработанные измерительные средства для оценки и сертификации квалификаций и
критерии оценки должны позволять оценивать 10 профессиональных/ трудовых функций
по каждому из 3 (трех) квалификационных уровней по не менее 1 (одному)
профессиональному стандарту, охватывая, в том числе и выпускников учебных
заведений профессионального образования, в количестве не менее 3 (трех) различных
вариантов для каждого квалификационного уровня.
Объем измерительных средств для оценки и сертификации квалификаций и критериев
оценки – не менее 5 п.л.
1
МАТЕРИАЛЫ ДЛЯ ОБСУЖДЕНИЯ
СПРАВКА из ТЗ:
При разработке измерительных средств необходимо учесть, что они разрабатываются в
соответствии
с
требованиями
профессионального
стандарта.
Структура
профессионального стандарта предполагает до 8 квалификационных уровней, в каждом из
которых не менее 10 профессиональных/ трудовых функций, определяющих требования, в
том числе и к компетенциям персонала по области профессиональной деятельности.
Каждая профессиональная/трудовая функция для подтверждения кандидатом
квалификационного уровня должна быть определена своим набором измерительных
средств для квалификационных испытаний.
При формировании измерительных средств для оценки и сертификации квалификаций и
критериев оценки необходимо обеспечить:
•
формирование требований к измерительным средствам для оценки и
сертификации квалификаций;
•
формирование критериев оценки и критериальных значений;
•
разработка модели измерительных средств для оценки и сертификации
квалификаций, в которую будет входить, в том числе и матрица соответствия
конкретным инструментам оценки.
Разработанные измерительные средства для оценки и сертификации квалификаций и
критерии оценки должны определять не менее 3 (трех) квалификационных уровней по
не менее 1 (одному) профессиональному стандарту, охватывая, в том числе и
выпускников учебных заведений профессионального образования, в количестве не менее
3 (трех) различных вариантов для каждого квалификационного уровня.
Объем измерительных средств для оценки и сертификации квалификаций и критериев
оценки – не менее 5 п.л.
«АКСИОМЫ» ОЦЕНКИ КВАЛИФИКАЦИЙ
(ТРЕБОВАНИЯ К ФОРМАМ, МЕТОДАМ КОНТРОЛЯ И ОЦЕНКИ, ОЦЕНОЧНЫМ
СРЕДСТВАМ)
Формы, методы, методики, контроля и оценки, оценочные средства должны
- создавать условия для демонстрации владения видом трудовой деятельности (ВТД) /
трудовой функцией (ТФ);
- позволять проводить достоверную (валидную, надежную) и объективную (независимую
от частного мнения или отдельных суждений) оценку;
- быть открытыми и понятными не только для экзаменаторов (экспертов), но и для
наблюдателей и соискателей;
2
ВОПРОСЫ, ОБСУЖДЕНИЕ КОТОРЫХ НЕОБХОДИМО ДЛЯ ПРИНЯТИЯ
РЕШЕНИЙ ПО ПОСТРОЕНИЮ ПРОЦЕДУР ОЦЕНКИ ПРОФЕССИОНАЛЬНЫХ
КВАЛИФИКАЦИЙ И РАЗРАБОТКЕ КОНТРОЛЬНО-ОЦЕНОЧНЫХ СРЕДСТВ
(КОС)
ВСЕ ВОПРОСЫ ОБСУЖДАЮТСЯ ПРИМЕНИТЕЛЬНО К ОЦЕНКЕ ОВЛАДЕНИЯ
ТРУДОВЫМИ ФУНКЦИЯМИ, ОПИСАННЫМИ В ПРОФСТАНДАРТАХ (ПС) (СМ.
СООТВЕТСТВУЮЩИЕ ФАЙЛЫ).
ПО ХОДУ ОБСУЖДЕНИЯ ЗАПОЛНЯЕТСЯ
ТАБЛИЦА «СИСТЕМА КОНТРОЛЯ И ОЦЕНКИ» ДЛЯ ОДНОЙ ИЛИ НЕСКОЛЬКИХ
ТРУДОВЫХ ФУНКЦИЙ (СМ. СТР. 7 ИЛИ СООТВЕТСТВУЮЩИЙ ФАЙЛ)
1. Определение задач оценки
2. Определение степени интегрированности заданий
Рассмотрите перечень трудовых функций (ТФ), определите, какой будет степень
интегрированности заданий. В зависимости от этого выберите одну или
несколько ТФ, для которых Вы будете разрабатывать задания, и занесите их в
таблицу «Система контроля и оценки» (столбец 1).
Интегративные задания
на проверку готовности
выполнять
трудовую
функцию
Интегративные задания на
проверку
готовности
выполнять
трудовые
действия с последующим
агрегированием оценок
NB! Такие задания
NB!
Трудовые
действия
могут
требовать должны
полностью
длительного времени охватывать
трудовую
выполнения;
функцию
- не всегда могут быть
выполнены
в
модельных
условиях
экзамена
Задания на проверку знаний и
умений
с
последующим
агрегированием оценок
NB!
- наличие знаний и умений не
всегда означает готовность к
выполнению
трудового
действия /трудовой функции;
- возникают сложности с
обеспечением полноты перечня
знаний и умений;
- в сложных наукоемких видах
деятельности полная проверка
становится
невозможной,
только выборочная
необходима
разработка
методики агрегирования оценок
(она сложней, чем в случае
агрегирования
оценок
выполнения трудовых действий)
NB! Возможно сочетание различных заданий.
Чем выше степень интегрированности, тем больше задание соответствует реальной
профессиональной деятельности.
3. Разработка типового задания
Задания должны носить компетентностно ориентированный, комплексный характер.
Содержание заданий должно быть максимально приближено к ситуациям
профессиональной деятельности. Как правило, сначала конструируется типовое задание.
Основой его формулировки является ТФ (обычно одна, иногда можно сконструировать
задание на проверку нескольких ТФ, но при внимательном рассмотрении становится
понятно, что это комплексное задание, которое можно «разобрать» на составляющие,
соответствующие ТФ). Затем за счет конкретизации и изменения условий задачи (перечня
3
оборудования, материалов, требований к продукту деятельности и т.д., и т.п.)
разрабатываются различные ее варианты.
Формулировка заданий должна включать требования к условиям их выполнения (место
выполнения, необходимое оборудование / материалы, время, отводимое на выполнение
задания, необходимость наблюдения за процессом выполнения задания, источники,
которыми можно пользоваться и др.).
Типы контрольно-оценочных заданий для оценки освоения трудовых функций
№
Тип задания, его описание
1 «Проект»
Изготовление продукта (реального
или модели).
Проект может разрабатываться как
непосредственно на экзамене, так и до
экзамена. В последнем случае экзамен
может представлять собой оценку
качества продукта (проекта) и / или
оценку защиты проекта, включая
ответы на вопросы.
Вид задания
Практикоориентированный
проект
Примеры
Изготовление модели.
Разработка пооперационного
маршрута, технологической
документации
2
«Исследование» (диагностика)
Выявление проблемы,
закономерности, тренда.
Исследование может проводиться как
непосредственно на экзамене, так и до
экзамена. В последнем случае экзамен
может представлять собой оценку
отчёта и выводов исследования и/ или
оценку защиты исследования, включая
ответы на вопросы.
Научное
исследование
Технологическое
исследование
Прогнозирование развития
ситуации
Диагностика технического
средства с определением
поломки (дефекта).
3
«Ситуация»
Формирование предложений для
разрешения проблемной ситуации,
сложившейся в профессиональной
деятельности
«Метод кейсов».
Предложить оптимальный
путь разрешения
технологической
(управленческой) проблемы.
«Полевой» вариант.
«Сдача зачёта на рабочем
месте».
Групповая имитационная
игра, включающая роли всех
участников
технологического процесса
Может выполняться как письменно,
так и устно. Возможно сочетание,
предполагающее собеседование по
разработанному решению.
4
«Роль»
Демонстрация профессиональной
деятельности в роли специалиста.
Может использоваться видеозапись,
сделанная до экзамена, в т.ч. в
реальных условиях профессиональной
деятельности.
5
«Конструктор»
Сборка (разборка) целого из
отдельных элементов.
Имитационноигровой вариант.
(не рекомендуется
использовать для оценки и
сертификации квалификаций).
Задание с
избыточным /
недостаточным
набором элементов.
Задание на
изменение системы
путём замены части
4
Сборка механизма (с
проверкой его на
работоспособность)
элементов или их
взаиморасположения,
взаимосвязи.
Возможны комбинированные типы, например:
«Исследование» + «Проект» - исследование ситуации, выявление проблемы и разработка
рекомендаций по её решению и т.д.
Разработанное для оценки трудовой(ых) функции(ий) задание(я) необходимо внести
в соответствующую ячейку столбца 2 таблицы «Система контроля и оценки»,
длительность выполнения задания указывается в соответствующей ячейке
столбца 3.
4. Выбор объекта оценки: процесс деятельности или продукт деятельности.
Объектами оценки могут служить: продукт деятельности, процесс деятельности, продукт
и процесс одновременно.
Процесс оценивается когда:
- необходимо проверить и оценить правильность применения инструментов,
оборудования, соблюдение правил техники безопасности и т.д.;
- значим временной фактор (необходим хронометраж);
- продукт (результаты) выполнения трудовых функций имеют отсроченный характер
и/или оцениваются сложней, чем процесс.
Продукт деятельности может представляться готовым или создаваться «здесь и сейчас».
Последнее обеспечивает самостоятельность создания продукта, но невозможно, если его
создание требует длительного времени. В этом случае продукт может представляться
готовым (см. пояснение к пункту 5А. организация экзамена)
Продукт деятельности оценивается когда:
- не важно, каким образом получен продукт, какие использованы методы (технологии);
- сложно обеспечить процедуру наблюдения за процессом (например, выполняется
умственная деятельность или он выполняется длительное время). В этом случае при
необходимости оценка продукта деятельности может быть дополнена защитой
(обоснованием).
Результаты выбора объекта оценки необходимо внести в соответствующую ячейку
столбца 4 таблицы «Система контроля и оценки».
5. Определение форм, методов, критериев (показателей) оценки и критериальных
значений с учетом специфики области проф.деятельности
5А. Организация экзамена:
Организация экзамена зависит от особенностей заданий, проверяющих освоение ТФ, в т.ч.
мест их выполнения, оборудования / материалов, длительности выполнения, объектов
оценки (столбцы 1-4 таблицы «Система контроля и оценки»).
«Академический» экзамен - экзамен, моделирующий выполнение трудовых функций
(действий) мыслительного (когнитивного) типа или направленный на оценку овладения
знаниями, необходимыми для их выполнения.
Необходимо ли проводить?
При использовании данной формы, необходимо решить:
- каковы задачи данной составляющей экзамена, является ли «академический
экзамен «допуском» к «прикладному» экзамену (см. ниже);
- каким д.б. (соответствует ли задачам) разработанное содержание (используемые
задания); можно ли и нужно ли свести академический экзамен к кейс-стади (анализу
5
конкретных ситуаций, возникающих при выполнении ВТД (ТФ) и разработке вариантов (а) их решения);
- в какой форме проводить испытание (устно, письменно, использовать сочетание
данных форм)?
СПРАВКА.
Академический экзамен целесообразно использовать в двух основных случаях:
- если для выполнения работ «прикладного экзамена» необходим контроль знаний и
умений в области техники безопасности;
- для минимизации затрат на проведение экзамена: например, академический
экзамен проводится с использованием дистанционных образовательных
технологий и / или позволяет сэкономить на материалах, использовании
дорогостоящего (уникального) оборудования, необходимого для проведения
практического экзамена в том случае, если кандидат недостаточно готов к
испытанию.
При двухэтапной схеме экзамена на первом этапе обычно выборочно проверяются
умения-знания, м.б. трудовые функции и / или отдельные действия мыслительного
(когнитивного) типа.
- «Прикладной» экзамен - экзамен, моделирующий профессиональную деятельность;
практическая работа на модельном рабочем месте инженера-технолога в определенной
области наноиндустрии.
«Прикладной экзамен» также может проводиться в виде презентации и защиты работ
соискателя, выполненных им в условиях трудовой деятельности (обучения), аналогично
защите выпускной квалификационной работы в образовательном учреждении.
- Портфолио документов - свидетельств, подтверждающих практический опыт и качество
выполнения ВТД и ТФ
При использовании данной формы, необходимо решить:
- каким д.б. набор документов (свидетельств, подтверждающих практический
опыт и качество выполнения ВТД и ТФ), в т.ч. обязательных и предъявляемых по
инициативе соискателя, приветствуется ли представление профессионального резюме
(CV);
- каковы требования к документам;
- на каком этапе рассматривать портфолио: допуск к экзамену, экзамен,
включающий защиту портфолио, определение оценки.
- необходима ли защита портфолио?
СПРАВКА.
Чаще всего, портфолио рассматривается на этапе допуска к экзамену при
наличии в ПС требований к практическому опыту.
Портфолио также собирается по тем функциям, задание на овладение которыми
трудно (невозможно) выполнить непосредственно на экзамене. В этом случае оно
должно содержать перечень и анализ (самоанализ) опыта трудовой
деятельности. Процедура экзамена будет сведена к защите портфолио, в т.ч.
путем собеседования с членами экзаменационной комиссии, направленного на
проверку достоверности сведений портфолио и самостоятельности и качества
выполнения описанных в нем работ.
Информацию по организации (структуре) экзамена следует представить перед
таблицей «Система контроля и оценки».
Информацию по формам оценки каждой ТФ в соответствующих ячейках столбца 5.
5Б. Методы оценивания, критерии и критериальные значения:
6
- объективные и субъективные (экспертные) методы оценивания, определение их
соотношения при оценке квалификаций в области наноиндустрии (применительно
к разработанным заданиям);
- определение критериев оценки и критериальных значений:
- определение критериев оценки:
если судить о результате по продукту профессиональной деятельности, то
нужно предусмотреть ссылку на эталон качества данного продукта
(например, ГОСТ, технические условия) или описать этот эталон
(требования). Если отсутствует нормативно закрепленный эталон продукта
или процесса (например, ГОСТ), можно использовать качественные
характеристики продукта или процесса (правильность, точность и т.д.), но в
этом случае бывает необходимо установить для них критерии.
если судить о результате по наблюдению процесса деятельности, то
критерием будет служить соответствие усвоенных алгоритмов деятельности
заданному (регламенту, временным параметрам и др.). При этом критерии
оценки основываются на поэтапном контроле процесса выполнения задания.
- формулировку критериев оценки результата необходимо осуществляеть с
учетом следующих правил:
- правило диагностируемости: формулировка должна позволять
давать достоверную (валидную, надежную) и объективную
(независимую от частного мнения или отдельных суждений) оценку;
- правило малых чисел: критериев не д.б. много, при их определении
можно ориентироваться на имеющиеся в ПС перечни умений и
знаний, соответствующих данной ТФ, однако следует помнить, что
ТФ несводима к отдельному умению или знанию, значит, и критерии
ее сформированности должны носить комплексный характер;
- формулировки критериев должны быть понятными не только для
экзаменаторов (экспертов), но и для наблюдателей и соискателей.
- ? бинарная (дихотомическая) или многоуровневая (политомическая)
шкала;
СПРАВКА. Выбор необходимо производить с учетом того, что предметом
оценки является квалификация (готовность к выполнению вида(ов)
трудовой деятельности и / или трудовой(ых) функции (ий). Готовность
либо есть, либо ее нет (частичная готовность = неготовность),
следовательно, наиболее подходящей является дихотомическая шкала или
сводимая к дихотомической.
- проблема агрегирования оценок при использовании нескольких оценочных
средств или нескольких критериев оценки овладения той или иной трудовой
функцией (трудовым действием, умением, знанием)
СПРАВКА. Необходимо определить являются ли выбранные критерии
оценивания равнозначными или нет. Если нет, то решение задачи
многокритериального оценивания начинается с определения важности
критериев (количественные значения – коэффициенты значимости или
качественны, например, выделение критериев – вето).
Скорее всего, для оценки квалификации «взвешивания» критериев не
требуется, т.к. каждый из них (по определению) представляет собой
существенный признак, на основании которого производится оценка. ВТД и
ТФ
могут считаться освоенными при условии соответствия
деятельности всем критериям оценки. Это условие относится также к
элементам к умениям и, в большинстве случаев, к знаниям.
7
Критерии оценки и критериальные значения заносятся в соответствующие ячейки
столбцов 6 и 7 таблицы «Система контроля и оценки».
4В.
Вопросы стандартизации содержания, процедуры оценивания, обработки
результатов и принятия решения при расхождении оценок разных экспертов
ПОСЛЕ ТОГО, КАК ТАБЛИЦА «СИСТЕМА КОНТРОЛЯ И ОЦЕНКИ» ЗАПОЛНЕНА
ПО ОДНОЙ ИЛИ НЕСКОЛЬКИМ ТРУДОВЫМ ФУНКЦИЯМ МОЖНО ПЕРЕЙТИ К
КОНКРЕТИЗАЦИИ ТИПОВЫХ ЗАДАНИЙ, Т.Е. РАЗРАБОТКЕ КОМПЛЕКТА
КОНТРОЛЬНО-ОЦЕНОЧНЫХ СРЕДСТВ (СМ. ФАЙЛ «МАКЕТ ККОС»)
8
СИСТЕМА КОНТРОЛЯ И ОЦЕНКИ
Организация экзамена: ____________________________________________________________________________________________________
_________________________________________________________________________________________________________________________
Трудовая
Типовое
функция
и задание, место
составляющие выполнения,
ее действия
оборудование /
заполняется на материалы и
основе ПС
т.п.1
1.
2.
Длительность
выполнения
(час./мин.)
3.
Объект
оценки
Выбрать:
- процесс
- продукт
- процесс и
продукт
4.
Форма оценивания
Критерии
Например:
оценки
- выполнение практического задания на
экзамене, в т.ч. разработка и защита проекта
(модели, подхода, решения и т.п.);
- анализ случая (кейс-стади) на экзамене;
- письменный опрос: задания с развернутым
ответом, с выбором ответа, на определение
последовательности и т.д.
- устный опрос (???);
- анализ портфолио документов (каких?), в т.ч.
резюме (CV) и / или собеседование по
документам
- анализ
видеозаписи выполнения работ
(фрагментов работ)
- защита проекта и др.
5.
6.
1
Критериальные
значения
Да – нет;
0 – 1;
соответствует –
не
соответствует;
другие варианты
7.
Наблюдение может быть проведено в реальной или моделируемой производственной среде. В любом случае следует определить ее обязательные элементы, т.е. назвать
необходимое оборудование, условия его применения и т.д.
9
10