К разработке оценочных средств итоговой аттестации

КОММЕНТАРИИ
к разработке оценочных (диагностических) средств итоговой аттестации,
выпускников высших учебных заведений
Тенденция существенного усиления внимания к вопросам качества образования,
развитие в высших учебных заведениях систем качества (управления качеством
образования) связана в последние годы с вступлением России в Болонский процесс, где
проблемы сравнительных оценок качества в образовании являются едва ли не
центральными.
Проблема оценки качества образования сводится к проблеме совершенствования
средств и технологий этой оценки и, прежде всего, оценки качества подготовки
выпускников высших учебных заведений.
Активно разрабатываемые в учебно-методических объединениях вузов и во многих
учебных заведениях оценочные средства итоговой государственной
аттестации
выпускников позволили создать федеральный фонд образцов оценочных и
диагностических средств по 228 направлениям и специальностям высшего
профессионального образования (на базе Исследовательского центра проблем качества
подготовки специалистов).
Данный фонд предназначен для установления соответствия (или несоответствия)
уровня подготовки выпускников требованиям соответствующих ГОС ВПО.
Разработка фонда оценочных средств (ФОС) складывается из трех этапов:
1 этап - перевод государственного образовательного стандарта в диагностируемую
форму; обеспечивающую возможность и удобство оценки достижения выпускником
конечных целей обучения.
Перевод ГОС ВПО в диагностируемую форму сводится к составлению трех таблиц
[1]:
•
соотнесенность требований ГОС ВПО к уровню профессиональной
подготовленности выпускника (п. 7.1 ГОС)∗ с видами и обобщенными задачами
профессиональной деятельности (п.1.3 ГОС) (табл. 1);
•
разделение
требований
ГОС
ВПО
к
уровню
профессиональной
подготовленности выпускника (п. 7.1 ГОС) на два массива: один массив для
оценки на госэкзаменах, другой – для оценки в ходе защиты выпускной
квалификационной работы (табл. 2);**
•
соотнесенность требований ГОС ВПО к уровню профессиональной
подготовленности выпускника (п. 7.1 ГОС) с дисциплинами образовательной
программы, обеспечивающих получение профессиональной подготовленности
выпускника, проверяемой в ходе итоговой государственной аттестации (табл. 3).
В случае большой размерности требований к уровню подготовленности выпускника
(п. 7.1 ГОС) и обобщенных задач профессиональной деятельности (п. 1.3 ГОС) для
удобства заполнения таблиц можно ввести коды.
∗
требования, содержащиеся в п. 7.1 ГОС, могут дополняться требованиями, вытекающими из заявленных вузом целей
и академических свобод вуза.
При отсутствии в ГОС задач профессиональной деятельности необходимо дать
рекомендации по составу этих задач.
2 этап – разработка методических материалов, в состав которых входят
для итогового государственного экзамена
•
методические рекомендации по проведению итогового государственного
экзамена;
•
программа итогового государственного экзамена;
•
методические рекомендации по установлению «порогов» выполнения
требований для положительного оценивания подготовленности выпускников на
госэкзаменах. (ПРИЛОЖЕНИЕ)
для выпускной квалификационной работы
•
методические рекомендации по проведению выпускной квалификационной
работы (ВКР) (типовая структура ВКР, методические рекомендации по оценке
качества ВКР);
методические документы для руководителя ВКР, рецензента, члена
государственной аттестационной комиссии (ГАК).
1)
Методические рекомендации по проведению государственного экзамена
включают в себя форму проведения госэкзамена,
•
** требования, содержащиеся в ГОС, могут оцениваться одновременно как на государственном экзамене, так и в ходе защиты
выпускной квалификационной работы.
длительность его, требования к формированию экзаменационной комиссии,
возможность пользования учебной и
справочной литературой, электронной и вычислительной техникой и т.п.
2)
Программа государственного экзамена включает перечень вопросов,
выносимых для проверки на экзамен.
Желательно вопросы формировать в виде междисциплинарной (комплексной)
задачи, для решения которой необходимо освоение определенного раздела или темы
различных учебных дисциплин из образовательной программы.
Соотношение моно- и междисциплинарных вопросов в программе госэкзамена
должно формировать у выпускника комплекс интегральных общеобразовательных,
социальных и профессиональных компетенций, относящихся к различным дисциплинам
и являющихся объектом оценки на итоговом экзамене.
Выпускник соответствует требованиям ГОС ВПО, если он в ходе итогового
и
умений,
государственного
экзамена
демонстрирует
комплекс
знаний
свидетельствующих о его профессиональной и социальной компетентности.
3) Для установления «пороговых» значений, по которым можно судить о
соответствии или несоответствии выпускника требованиям ГОС, предлагается три
варианта действующей бальной системы оценок на госэкзамене (ПРИЛОЖЕНИЯ).
4) Типовая структура ВКР включает в себя перечень возможных разделов и
основные требования к их содержанию.
5) В качестве методических документов при проведении защиты ВКР приводятся
примерные формы:
•
отзыва руководителя работы;
•
отзыва рецензента;
•
протокола для члена ГАК, позволяющего оценивать качество выполнения и
защиты ВКР по единым для всех членов ГАК критериям.
Содержание методических документов приведено в [2, разд.3.2]
Этап 3 - Формирование аттестационных заданий госэкзамена (не менее 3-х заданий
по каждой обобщенной задаче профессиональной деятельности) и примеров тем
выпускных квалификационных работ.
Этап формирования аттестационных заданий на госэкзамен и тем выпускной
квалификационной работы – наиболее ответственный шаг в разработке оценочных
(диагностических) средств.
Формирование конкретных экзаменационных заданий требует от разработчика
обеспечения высокой значимости каждого задания для решения задачи соответствия
ГОС. От его квалификации зависит, насколько ограниченное число таких заданий
позволит вынести интегральное решение о соответствии выпускника требованиям
стандарта.
Следует также обеспечить полноту отражения требований
к уровню
подготовленности выпускника в аттестационных заданиях на государственном экзамене
и в тематике выпускных квалификационных работах. Массив экзаменационных зданий
должен являться универсальным множеством для множества обобщенных
профессиональных задач, выраженных через требования к уровню подготовленности
выпускника.
Темы предлагаемых выпускникам дипломных работ (проектов) должны быть четко
соотнесены с видами и обобщенными задачами профессиональной деятельности,
указанными для специалиста соответствующего направления подготовки (специальности) в
ГОС и отраженные через требования к подготовленности выпускника в табл. 1 [1].
При разработке оценочных (диагностических) средств следует руководствоваться
методическими рекомендациями, приведенными в перечне используемой литературы.
Литература
1. Методические рекомендации по определению структуры и содержания государственных
аттестационных испытаний по направлению подготовки (специальности) высшего
профессионального образования (письмо Министерства образования Российской Федерации от
18.05.2002 г. № 14-55-359 ин/15)/ Бюллетень Минобразования России № 7, 2002 г.
2. Методика создания оценочных средств для итоговой государственной аттестации выпускников
вуза на соответствие требованиям государственного образовательного стандарта высшего
профессионального образования (письмо Минобразования России от 16 мая 2002 г. № 14-55353 ин/15)/Бюллетень Минобразования России № 7, 2002 г.
Приложение
Методические рекомендации
по установлению “порогов”
для положительного оценивания подготовленности
выпускников на государственном экзамене
Вариант 1
Критерии выставления оценок1.
ОТЛИЧНО – минимум четыре вопроса задания (из пяти) имеют полные решения и один
вопрос имеет неполное решение. Содержание ответов свидетельствует об
уверенных знаниях выпускника и о его умении решать профессиональные задачи,
соответствующие его будущей квалификации.
ХОРОШО – минимум четыре вопроса задания имеют полные решения;
Варианты
–
минимум три вопроса задания имеют полные решения и два вопроса имеют
неполные решения;
–
минимум три вопроса задания имеют полные решения, один вопрос имеет
неполное решение и в одном вопросе начато правильное решение, но не доведено до
конца. Содержание ответов свидетельствует об достаточных знаниях выпускника и о
его умении решать профессиональные задачи, соответствующие его будущей
квалификации.
УДОВЛЕТВОРИТЕЛЬНО – минимум три вопроса задания имеют полные решения;
Варианты
–
минимум два вопроса задания имеют полные решения и два вопроса имеют
неполные решения, на один вопрос нет решения;
–
минимум два вопроса задания имеют полные решения, один вопрос имеет
неполное решение, на один вопрос начато правильное решение, но не доведено до
конца, на один вопрос нет решения. Содержание ответов свидетельствует о
недостаточных знаниях выпускника и о его ограниченном
умении решать
профессиональные задачи.
НЕУДОВЛЕТВОРИТЕЛЬНО – три вопроса задания (из пяти) не имеют решения.
Содержание ответов свидетельствует о слабых знаниях выпускника и о его
неумении решать профессиональные задачи.
Получение оценки “неудовлетворительно” на итоговом экзамене не лишает
студента права на продолжение обучения, и сдавать экзамен повторно.
Вариант 2
В основу оценки положен квалиметрический
оценки весомости составляющих его “ветвей”.
1
метод построения дерева свойств
Полное
решение
–
правильное
решение
вопроса
с
правильном
ответом;
неполное решение – ход решения правильный, но конечный результат неверный; нет решения – отсутствует решение или
ход решения выбран неправильно, наличие грубых ошибок.
Оценка качества экзаменуемого студента складывается из его знаний, определяемых
правильностью ответов на вопросы билета, и умений и навыков, проявляющихся в
процессе представления и изложения ответов. Весомость каждой составляющей “ветви”
дерева оценивается каждым членом комиссии (или заранее экспертной группой),
например, по десяти бальной шкале. Затем баллы “весомости” нормируются. Для записи
расчетов используют трехзначную индексацию показателей – κjρ, где к – номер уровня;
j – номер группы на этом уровне, ρ – номер показателя в каждой группе. Тогда весомость
оценки каждой ветви можно обозначить трехзначным индексом mκjι,.
Ветви оценки знаний представляют собой вопросы экзаменационного билета, а ветви
оценки компетентности такие показатели, как общая эрудиция, оформление графического
материала, применение при ответе современных средств, доказательность изложения и
т.п. По каждой ветви нижнего уровня выносится бальная оценка δjι от 2 до 5 баллов. При
этом могут выставляться членами комиссии и дробные балы, например, 3, 7; 4,2; 2,5; и т.д.
Комплексная оценка ι -го результата экзамена Wι, измеряемая в той же шкале, что и
бальные оценки, находится по формуле:
W = m 111 × ∑ m 2jp × ∑ m 3jp …. × ∑ mnjp δ jp
Общая комплексная оценка представляет собой среднее арифметическое комплекс –
оценок всех экзаменов, т.е.
M
N
j =1
i =1
W = k 1∑ mjδj + k 2∑ niδi,
где k1, k2 – «весовые коэффициенты» значимости ветвей 2-го уровня;
mj, ni – «весовые коэффициенты» значимости 3-го уровня знаний, умений, навыков.
Wo = 1/n∑Wι
Пример. На рис. 1 представлено дерево свойств при оценке экзаменуемого студента.
1-й вопрос билета
2-й вопрос билета
знания
3-й вопрос билета
4-й вопрос билета
Оценка качеств
экзаменуемого
5-й вопрос билета
Общая эрудиция
компетенц
навыки
применение современных
технических средств
доказательность
качество оформления
качество изложения
1 уровень
2 уровень
3 уровень
Рис. 1. Дерево свойств при оценке экзаменуемого
Набор компетенций может быть конкретизирован и расширен в зависимости от
ситуации оценивания.
На рис. 2. Приведена иллюстрация к расчету комплексной оценки результата
экзамена Wι
Wι = 1 · [0,27 · 4,5 + 0,25 · 3,5 + 0,25 · 2,5 + 0,05 · 3 + 0,18 · 5] · 0,63 + [0,25 · 3 + 0,22 · 4,5 + 0,
25 · 2,5 + 0,11 · 5 + 0,17 · 4] · 0,37 + 3,62
Бальные оценки
k1=0,63
W
k2m
=0,37
212
m1=0,27
4
m2=0,25
3,5
m 3 = 0,25
2,5
m 4 =0,05
3
m5=0,18
5
n1 =0,25
3
m322 8,0 (0,22)
n2 =0,22
4,5
m323 9,0 (0,25)
n3 =0,25
2,5
m324 4,0 (0,11)
n4 =0,11
5
m325 6,0 (0,17)
n5 =0,17
4
Рис. 2. Иллюстрация к расчету комплексной оценки результата экзамена Wι
Если предложить, что комиссия состояла из четырех человек и других трех
экспертов,
оценки
имели
следующие
значения
W 1 = 3,85; W2 = 4,05; W3 =3,58, то общая комплексная оценка составит:
Wо = (3,62 + 3,85 + 4,05 + 3,58) · 1/4
Предложенная методика будет весьма полезна при изменении четырехбальной
системы оценок подготовки специалистов на большее количество баллов, так как в своей
основе не претерпит никаких изменений.
Вариант 3
Оценка качества экзаменуемого студента складывается из его знаний, проверяемых
правильностью ответов на вопросы билета, и умений и навыков, проявляющихся в
процессе представления и изложения ответов. Весомость каждой составляющей
оценивается каждым членом комиссии.
Критерии оценки должны быть единообразны по всем вопросам контрольных
заданий, а их основополагающим принципом при ответе на качественный вопрос должно
быть четкое соответствие анализа физической и инженерной картины рассматриваемого
процесса или устройства (а, также, при необходимости, их математического описания)
требованиям ГОС в рамках регламентированных видов профессиональной деятельности.
При ответе на количественный вопрос (задачу) ответ считается полноценным, если
получено не только правильное численное значение искомого параметра, но и приведено
решение с обоснованием выбора расчетных зависимостей (формул) и правомочности их
применения, а также даны ссылки на необходимые сведения, заимствованные из
справочников и других источников.
Итоговый государственный экзамен предлагается оценивать по 100-балльной
шкале. Минимально допустимая оценка – 55 баллов.
Применение информационных технологий при ответах на вопросы
экзаменационного билета оценивается максимум 15 баллами.
По каждому вопросу по всем показателям проставляется оценка. Исходя из этого,
выводится общая оценка качества ответа каждого студента по 100 - балльной шкале
всеми членами комиссии и вносится в оценочную ведомость.
Интервал оценок:
85-100 баллов – отлично; 70-84 балла – хорошо; 55-69 баллов – удов-.;
летворительно; менее 55 – неудовлетворительно.
Эта оценка должна стать исходной для обсуждения.
В случае, когда у одного из членов комиссии появится, оценка резко
отличающаяся от других («еретическая оценка»), ее надо рассматривать и обсуждать
отдельно, так как именно она может быть признана более верной, после заслушивания
аргументов, приведенных экспертом ее проставившим.
• Набор показателей для оценки ответов студентов на государственном экзамене
может быть конкретизирован и расширен в зависимости от ситуации оценивания.
Накопление опыта и соответствующее совершенствование экзаменационных
билетов, позволит с течением времени уточнить количество баллов по каждому
показателю оценки ответов и усовершенствовать их набор, а главное их
стандартизировать. В этом случае простейшая программа позволит даже с помощью
карманного калькулятора очень быстро проводить необходимые расчеты.
Оценочная ведомость
Фамилия, И.О. студента _______________________________ группа ___________ Билет № ______________
2.
Логичность
изложения
решения
3.
Доказательн
ость
решения
4.
Применение
информацио
нных
технологий
max 15
баллов
4. 5
3
4. 5
3
4. 5
3
4. 5
3
4. 5
3
4. 5
3
4.
5
3
4
.
3
4.
5
Всего
10
max
min
min
max
min
max
min
max
min
max
max
min
max
min
max
min
max
min
min
Номер вопроса в билете и количество минимальных и максимальных баллов
1
2
3
4
5
6
7
8
9
max
Показатели
для оценки
ответов на
государстве
нном
экзамене
1.
Получение
правильного
ответа
Факт
3
4. 5
3
5
Факт
2
Факт
1
2
Факт
2
Факт
Факт
1
Факт
1
2
Факт
2
Факт
1
Факт
1
2
Факт
2
Факт
1
Факт
1
2
Факт
2
Факт
1
Факт
1
2
Факт
2
Факт
1
Факт
1
2
Факт
2
Факт
1
2
Факт
Фа
кт
1 2
Факт
1 2
Факт
Факт
Факт
1 2
1
Факт
1 2
1
Факт
1
Факт
Факт
1
Факт
2
2
Факт
Факт
ИТОГО:
Подпись члена государственной экзаменационной комиссии
___________________
______________________
/Ф.И.О./