Начальное образование», предмет: «Литературное чтение»

Аналитические
материалы
по
результатам
апробации
педагогических
измерительных
материалов,
специальность
образование»,
предмет:
«Литературное
чтение»
аттестационных
«Начальное
(руководитель
группы
разработчиков Матвеева М.А., г. Пенза).
Внутренняя валидность
аттестационных педагогических измерительных материалов.
В апробации контрольно-измерительных материалов по литературному
чтению участвовали студенты Бурятского педагогического колледжа (Улан-Удэ), в
общей сложности 15 человек.
Аттестационные педагогические измерительные материалы направлены на
оценивание
уровня теоретической и практической подготовки выпускников, их
общекультурных и профессиональных компетенций, необходимых для работы в
начальной школе в условиях введения нового ФГОС.
Пакет КИМ по литературному чтению состоит из трех разделов: «КИМ –
программы», «КИМ – задания, представленные в логике проведения урока», «КИМ
– инструменты оценки». Каждый раздел КИМ состоит из трех уровней,
отличающихся по сложности и рефлексивности: репродуктивный, рефлексивный,
конструктивный.
предложенных
Задания репродуктивного уровня предполагают выбор из
двух
вариантов
однозначно
верного
решения.
Задания
рефлексивного уровня направлены на нахождение верного решения из 3-4
вариантов,
причем каждый комплект вариативен (содержит разное количество
верных и неправильных решений, в том числе фрагмент–дистрактор, который
задаче соответствует формально). Задания конструктивного уровня предполагают
проверку применения умений на практике – самостоятельного выполнения задания
КИМ.
Цель первого раздела «КИМ – программы» - оценить знание студентами
требований Федерального государственного образовательного стандарта начального
общего
образования
к
результатам
освоения
основной
образовательной
программы начального общего образования и к рабочим программам отдельных
учебных предметов.
Выполняя задание 1 уровня (репродуктивного), студенту необходимо было из
предложенных фрагментов рабочих программ по предмету
выбрать вариант,
соответствующий требованиям ФГОС, и аргументировать выбор. Выполнили
задание с максимальным количеством баллов (3 балла) 53% участников; выполнили
задание более чем на 50% баллов – 40% участников; выполнили задание с 0 баллов –
0% участников.
. 2 уровень (рефлексивный), содержит два идентичных варианта задания. В
каждом варианте предлагается рабочая программа по предмету, соответствующая
либо не соответствующая требованиям ФГОС, и две рецензии на нее. Студенту
необходимо было выбрать правильную рецензию и аргументировать свой выбор.
Выполнили задание с максимальным баллом (4 балла) 7% участников; выполнили
задание более чем на 50% баллов – 47% участников; выполнили задание с 0 баллов –
0% участников.
В задании 3 уровня (исполнительского) предлагается фрагмент тематического
планирования рабочей программы по предмету, где в графе «Характеристика
учебной деятельности» к каждому уроку указаны только предметные действия.
Студент должен был самостоятельно дополнить данную графу универсальными
учебными действиями, которые планируется формировать на каждом из уроков,
чтобы указанные универсальные учебные действия соответствовали задачам урока.
Приступили к выполнению 93% участников. Их них выполнили задание с
максимальным количеством баллов (4 балла) – 0% участников; выполнили задание
более чем на 50% баллов – 60% участников; выполнили задание неверно (0 баллов)
– 13% участников. Типичные ошибки и недочеты при выполнении данного уровня:
- отсутствие знаний по классификации УУД и их формированию («формируем
умение высказывать мнение»);
- указание УУД без их конкретизации (личностные, регулятивные и т.д.);
- формальное указание универсальных учебных действий (формируемые УУД
по перечню повторяются из темы в тему);
-
недопонимание
студентами
сути
познавательных
УУД
и
переформулирование их в предметные.
Таким образом, процент выполнения заданий этого раздела уменьшается в
соответствии с возрастанием уровня сложности и рефлексивности, что является
показателем внешней валидности измерительных материалов.
Приступили к выполнению
Выполнили
с
количеством баллов
Репродуктивный
уровень
Рефлексивный
уровень
Конструктивный
уровень
100%
100%
93%
7%
0%
максимальным 53%
Выполнили более чем на 50% баллов
40%
47%
60%
Выполнили неверно – 0 баллов
0%
0%
13%
Цель раздела 2 «КИМ – задания, представленные в логике проведения урока»
- оценить глубину понимания студентами способов формирования универсальных
учебных действий в заданиях уроков различного типа (постановки учебной задачи;
поиска общего способа действия и моделирования; контроля; оценки).
Выполняя задание 1 уровня (репродуктивного), студент из двух предложенных
фрагментов уроков одного и того же предметного содержания должен был выбрать
тот,
который
соответствует
поставленной
задаче
формирования
УУД,
и
аргументировать свой выбор.
Приступили к выполнению заданий данного уровня 100% участников. Из них
выполнили задание с максимальным количеством баллов (10 баллов) – 0%
участников; выполнили задание более чем на 50% баллов – 47% участников;
выполнили задание неверно (0 баллов) – 0% участников. Типичные ошибки и
недочеты при выполнении данного уровня: аргументы представлены частично или
направлены на анализ предметных действий.
Выполняя задание 2 уровня (рефлексивного), студент из трех предложенных
фрагментов различного предметного содержания должен был выбрать тот, который
соответствует поставленной задаче формирования УУД. Сложность для студента в
том, что фрагменты содержат разный предметный материал, т.е. необходимо
выделить некий общий способ диагностирования УУД.
Приступили к выполнению задания 93% участников. Из них выполнили
задание с максимальным количеством баллов (13 баллов) – 0% участников;
выполнили задание более чем на 50% баллов – 7% участников; выполнили задание
неверно (0 баллов) – 0% участников. При выполнении заданий данного уровня
студенты не учитывали наличие фрагмента–дистрактора (провокации), что говорит
о недостаточной сформированности у них рефлексивного контроля. Типичные
ошибки: «ученики применяют знания»
- приводится как аргумент либо
аргументация совсем отсутствует.
Выполняя задание 3 уровня (исполнительского), студент должен был
самостоятельно сконструировать задание, соответствующее поставленной задаче
формирования УУД.
Приступили к выполнению задания 80% участников. Из них выполнили
задание с максимальным количеством баллов (16 баллов) – 0% участников;
выполнили задание более чем на 50% баллов – 0% участников; выполнили задание
неверно (0 баллов) – 40% участников. Наиболее трудными для выполнения
оказались задания из этапов моделирования, контроля и оценки уроков (в
сконструированных студентами заданиях функции контроля и оценки лежат на
учителе, что блокирует формирование соответствующих УУД у учащихся, либо
задание направлено только на усвоение ЗУН).
Таким образом, процент выполнения заданий этого раздела уменьшается в
соответствии с возрастанием уровня сложности и рефлексивности, что является
показателем внешней валидности измерительных материалов.
Приступили к выполнению
Выполнили
с
количеством баллов
Репродуктивный уровень
Рефлек-сивный
уровень
Конструктивный уровень
100%
93%
80%
0%
0%
7%
0%
максимальным 0%
Выполнили более чем на 50% баллов
47%
Выполнили неверно – 0 баллов
0%
0%
40%
Раздел 3 «КИМы – инструменты оценки» также состоит из трех уровней:
репродуктивный, рефлексивный, конструктивный, и определяет степень овладения
студентами инструментами диагностики и оценки сформированности у учащихся
универсальных учебных действий. Успешность решения данных задач во многом
зависит от того, как устроена система оценки: насколько она поддерживает и
стимулирует учащихся; насколько она направлена на метапредметную, а не только
на предметную составляющую; насколько включает учащихся в самостоятельную
оценочную деятельность.
Выполняя задание 1 уровня, студент из четырех предложенных инструментов
оценки результатов учащихся должен выбрать те, которые направлены на оценку
сформированности у учащихся метапредметного результата (УУД).
Приступили к выполнению задания 100% участников. Из них выполнили
задание с максимальным количеством баллов (4 балла) – 0% участников; выполнили
задание более чем на 50% баллов – 80% участников; выполнили задание неверно (0
баллов) – 7% участников. Типичные ошибки и недочеты при выполнении данного
уровня: отсутствие аргументации выбора; задание не понято студентом и
выполняется как задание для учещегося (поиск решения).
2 уровень (рефлексивный). Студентам предлагался фрагмент урока, где
учащиеся выполняют некоторое задание, а также три варианта инструментов
оценки, сформулированных как задание учащемуся и направленных на диагностику
предметных грамотностей или универсальных учебных действий. Студент должен
был определить, на формирование какого УУД направлено задание фрагмента
урока, а затем выбрать из трех предложенных вариантов заданий те, которые
направлены на оценку именно этого УУД.
Приступили к выполнению задания 73% участников. Из них выполнили
задание с максимальным количеством баллов (3 балла) – 0% участников; выполнили
задание более чем на 50% баллов – 7% участников; выполнили задание неверно (0
баллов) – 7 % участников. Типичные ошибки и недочеты при выполнении данного
уровня:
прежде
всего,
неверное
определение
формируемого
на
уроке
универсального учебного действия; часто вместо метапредметного определяется
предметный результат, что ведет к неправильному выбору карточки. Несколько
студентов не аргументируют свой выбор, хотя он сделан верно.
3 уровень (исполнительский). Предлагается фрагмент урока, где учащиеся
выполняют задание, направленное на формирование какого-либо УУД. Студент
должен определить, на развитие/формирование чего (какого УУД) направлено
задание, и самостоятельно спроектировать инструмент оценки (оценочное задание).
Данный уровень оказался самым сложным. Приступили к выполнению
задания 53% участников. Из них выполнили задание с максимальным количеством
баллов (4 балла) – 0% участников; выполнили задание более чем на 50% баллов –
0% участников; выполнили задание неверно (0 баллов) – 40% участников. Типичные
ошибки и недочеты при выполнении данного уровня: студенты не могут определить
формируемое
универсальное
учебное
действие;
инструмент
оценки
сформированности УУД смогла сконструировать только 1 студентка.
Приступили к выполнению
Выполнили
с
количеством баллов
Репродуктивный уровень
Рефлек-сивный
уровень
Конструктивный уровень
100%
73%
53%
0%
0%
максимальным 0%
Выполнили более чем на 50% баллов
80%
7%
0%
Выполнили неверно – 0 баллов
7%
7%
40%
Анализируя процент выполнения заданий, можно сделать вывод, что задания,
требующие теоретической подготовки, выполнены студентами лучше (раздел
«КИМ-программы»). Гораздо более сложными оказались задания, ориентированные
на практические умения (раздел «КИМ-задания»). И совершенно незначительный
процент справился с конструированием контрольно-оценочных инструментов для
универсальных учебных действий. На настоящий момент это наиболее актуальная
проблема введения ФГОС.
Внешняя валидность
аттестационных педагогических измерительных материалов.
Заключение о внешней валидности аттестационных материалов можно
сделать,
сравнивая
успеваемость
студентов
по
методике
преподавания
литературного чтения с результатами выполнения КИМов, т.е. определяя меру
соответствия тестовых оценок уровню теоретической и практической подготовки
выпускников, их общекультурных и профессиональных компетенций, необходимых
для работы в начальной школе в условиях введения нового ФГОС :
- среди участников апробации нет успевающих на «отлично»;
- студентка, набравшая 32 балла (более 50% от всех возможных) успевает на
«хорошо»;
- участники, выполнившие все разделы КИМов с результатами 30-23 баллов,
успевают на «4»;
- участники, выполнившие все разделы КИМ с результатами 22-13 баллов,
успевают на «3» (кроме одной студентки, которая набрала 20 баллов, но имеет
успеваемость «4»).
Также о степени внутренней валидности аттестационных материалов можно
говорить, сравнивая результаты выполнения КИМ студентами вуза и студентами
колледжа (среднее профессиональное образование и высшее профессиональное
образование):
Среднее
профессиональное
образование
Высшее
профессиональное
образование
47%
75%
Выполнили задания
уровня на 100%
репродуктивного 53%
83%
Выполнили
задания
уровня на 100%
рефлексивного 0%
42%
Набрали более 50% возможных баллов
Выполнили задания
уровня на 100%
конструктивного 0%
Не приступили к выполнению того или 67%
иного уровня
8%
0%
Надежность параллельных форм
аттестационных педагогических измерительных материалов.
Если рассмотреть согласованность результатов выполнения заданий одними и
теми же студентами, то можно сделать следующие выводы: у 80% участников
результаты выполнения одного и того же уровня в разных разделах идентичны. Это
может служить одним из показателей надежности КИМов. Как пример, результаты
некоторых студентов приведены в таблице:
КИМы-программы
КИМы-задания
КИМы-инструменты
оценки
1урове
нь
(max
3балла
2урове
нь
(max
4б)
3урове
нь
(max
4б)
1урове
нь
(max
10б)
2урове
нь
(max
13б)
3урове
нь
(max
16б)
1урове
нь
(max
4б)
2урове
нь
(max
3б)
3урове
нь
(max
4б)
Колесникова
Я.
100%
Более
50%
Менее
50%
Более
50%
Более
50%
Менее
50%
Более
50%
Менее
50%
0%
Ягодина Л.
Более
50%
Менее
50%
0%
Более
50%
Менее
50%
0%
Менее
50%
Менее
50%
0%
Терентьева Н.
100%
Менее
50%
0%
Более
50%
Менее
50%
0%
Более
50%
Менее
50%
0%
Мартышева
Е.
100%
Более
50%
Менее
50%
Более
50%
Менее
50%
Менее
50%
Более
50%
Менее
50%
Менее
50%
Не все студенты приступили к выполнению заданий разного уровня
сложности. Это обусловлено, возможно, большим объемом заданий
(либо
недостаточным временем на их выполнение); а также свидетельствует о надежности
контрольно-измерительных
материалов
(нарастающей
трудности
от
репродуктивного к конструктивному уровню). Причем, все студентки, кроме одной,
не приступившие в том или ином разделе к выполнению заданий, успевают по
методике преподавания литературного чтения на «удовлетворительно».
КИМы программы
КИМы - задания
КИМы –
инструменты оценки
Репродуктивный уровень
Рефлексивный уровень
Конструктивный уровень
Репродуктивный уровень
Рефлексивный уровень
Конструктивный уровень
Репродуктивный уровень
Рефлексивный уровень
Конструктивный уровень
Приступили к
выполнению
100%
100%
93%
100%
93%
80%
100%
73%
53%