Итоги Интернет–тестирования (ФЭПО)

Итоги Интернет –
тестирования (ФЭПО-4)
В начале 2009 года (ориентировочно февральмарт) ОГУ будет проходить процедуру
комплексной оценки деятельности (КОД),
которой будут предшествовать:
 Самообследование (С)
 Аттестационное тестирование (АТ)
С
2008 г.
АТ
2009 г.
КОД
Октябрь - декабрь
Февраль - март
Программа оценки содержания и качества
подготовки при самообследовании
Все аттестуемые ООП
 Все циклы дисциплин по каждой ООП
 Важнейшие дисциплины цикла:
 не менее 3-х по циклам ГСЭ и ЕН
 не менее 5-и по циклам ОПД и СД
 Студенческие группы, завершившие
изучение дисциплины не позднее чем за год
до самообследования

Аттестационное тестирование
проводится для целей аттестации
образовательных программ в
процедурах комплексной оценки и
внеплановых проверок
образовательных учреждений
Цель аттестационного
тестирования
оценка соответствия содержания, уровня и
качества подготовки выпускников учебного
заведения требованиям государственных
образовательных стандартов высшего
профессионального образования
(ГОС ВПО).
ОСНОВНЫЕ ПРИНЦИПЫ
ПРОВЕДЕНИЯ АТТЕСТАЦИОННОГО
ТЕСТИРОВАНИЯ

до выезда в вуз комиссии по аттестационной
экспертизе;

одновременно в группе вузов;

по федеральным компонентам ГОС циклов ГСЭ,
ЕН, ОПД, СД, ДПП;

в присутствии ответственного, назначаемого
Рособрнадзором.
Особенности контроля знаний студентов для
целей аттестации образовательных программ





По объекту оценивания – учебные достижения
группы, курса, всех студентов ООП (но не
индивидуальные достижения)
По уровню подготовки – базовый уровень
подготовки (уровень, заданный в ГОС)
По содержанию контроля – оценка всех элементов
содержания дисциплины по ГОС
По шкале оценивания – бинарная оценка (усвоил –
не усвоил)
По характеру процедуры – массовое оценивание в
ограниченные сроки (технологический подход)
ВЫБОР
Образовательных Программ



Осуществляется Управлением
лицензирования аккредитации и надзора в
образовании
Количество ООП не превышает 10
Обязательно указываются в Распоряжении
Рособрнадзора
ВЫБОР ДИСЦИПЛИН ДЛЯ
ТЕСТИРОВАНИЯ ПО ООП


Выбор дисциплин осуществляется на
основании учебных планов, предварительно
прошедших экспертизу в Информационнометодическом Центре аттестации (ИМЦА);
По каждой образовательной программе
тестирование проводится по 5 дисциплинам
ВЫБОР ДИСЦИПЛИН ДЛЯ
ТЕСТИРОВАНИЯ
Блок дисциплин из ГОС
Кол-во
дисциплин
1.
Общие гуманитарные и социально-экономические дисциплины.
Федеральный компонент
1
2.
Общие математические и естественно-научные дисциплины.
Федеральный компонент.
1
3.
Общепрофессиональные дисциплины. Федеральный
компонент.
4.
5.
Специальные дисциплины. Федеральный компонент.
3
Дисциплины предметной подготовки.
Федеральный компонент (для педагогических специальностей).
ВЫБОР ДИСЦИПЛИН ДЛЯ
ТЕСТИРОВАНИЯ

Вариант 1
(при наличии тестов по ОПД, СД):
ГСЭ- 1 дисциплина,
 ЕН - 1 дисциплина,
 ОПД, СД – 3 дисциплины


Вариант 2
(при отсутствии тестов по ОПД, СД):
ГСЭ- 2 (3) дисциплины,
 ЕН – 3 (2) дисциплины.

Технологически тестирование
разделено на 2 группы:


дисциплины циклов ЕН и ГСЭ тестируются
по технологии Интернет-экзамена (ФЭПО) www.fepo.ru, att.nica.ru
тестирование студентов по дисциплинам
блоков ОПД, СД, ДПП осуществляется по
технологии АСТ - www.ctve.ru. ,
www.ast-centre.ru
Модель аттестационного педагогического
измерительного материала (ФЭПО)
Название дисциплины
Контролируемые в
АПИМ дидактические
единицы дисциплины
Дисциплина
Дидактическая
единица №1
Задание 1
Задания АПИМ
Дидактическая
единица №2
Задание 1
Задание 2
Критерий освоения ДЕ дисциплины :
Дидактическая
единица №k
Задание 1
Задание 2
Задание N
………
Задание N
Задание 2
Задание N
не менее 50% правильно решенных заданий из N
Содержание ГОС дисциплины «Философия» для ООП
060800 «Экономика и управление на предприятии (по
отраслям)»
ГСЭ
ОБЩИЕ ГУМАНИТАРНЫЕ И СОЦИАЛЬНО-ЭКОНОМИЧЕСКИЕ ДИСЦИПЛИНЫ
1800
ГСЭ.Ф.00
Федеральный компонент
1260
ГСЭ.Ф.10
Философия
Предмет философии. Место и роль философии в культуре. Становление философии.
Основные направления, школы философии ее исторического развития. Структура
философского знания. Учение о бытии. Монистические и плюралистические концепции
бытия, самоорганизация бытия. Понятия материального и идеального. Пространство,
время. Движение и развитие, диалектика. Детерминизм и индетерминизм. Динамические и
статистические закономерности. Научные, философские и религиозные картины мира.
Человек, общество, культура. Человек и природа. Общество и его структура. Гражданское
общество и государство. Человек в системе социальные связей. Человек и исторический
процесс; личность и массы, свобода и необходимость. Формационная и цивилизационная
концепции общественного развития .Смысл человеческого бытия. Насилие и ненасилие.
Свобода и ответственность. Мораль, справедливость, право. Нравственные ценности.
Представления о совершенном человеке в различных культурах. Эстетические ценности и
их роль в человеческой жизни. Религиозные ценности и свобода совести. Сознание и
познание. Сознание, самосознание и личность. Познание, творчество, практика. Вера и
знание. Понимание и объяснение. Рациональное и иррациональное в познавательной
деятельности. Проблема истины. Действительность, мышление, логика и язык. Научное и
всенаучное знание. Критерии научности. Структура научного познания, его методы и
формы. Рост научного знания. Научные революции и смены типов рациональности. Наука и
техника. Будущее человечества, Глобальные проблемы современности. Взаимодействие
цивилизаций и сценарии будущего.
Фрагмент структуры АПИМ
по дисциплине «Философия»
№ п/п
3
ДЕ ГОС
Учение о бытии
(онтология)
№ п/п
Наименование тем заданий
3.1
Проблема бытия в философии
3.2
Материя
3.3
Пространство и время
3.4
Учение о развитии
3.5
Категории диалектики
3.6
Теории нелинейности и системность бытия
Количество заданий (ФЭПО)


Количество заданий определяется
количеством ДЕ и тем в ДЕ
Время, отводимое на выполнения – от 40 до
80 минут
ПРАВИЛО ПРИНЯТИЯ РЕШЕНИЙ
ПРИ АТТЕСТАЦИИ ДИСЦИПЛИН
(ФЭПО)
ЦИКЛ ДИСЦИПЛИН
ПОКАЗАТЕЛЬ
ОСВОЕНИЯ
ДИСЦИПЛИНЫ
КРИТЕРИЙ
АТТЕСТАЦИИ
ДИСЦИПЛИНЫ
ГСЭ,
ЕН
Доля студентов,
освоивших все
дидактические единицы
ГОС
50% студентов,
освоивших все
дидактические единицы
ГОС
АСТ
По любой дисциплине - 60 заданий
Время на работу с тестом 60 минут
ПРАВИЛО ПРИНЯТИЯ РЕШЕНИЙ
ПРИ АТТЕСТАЦИИ ДИСЦИПЛИН
(АСТ)
ЦИКЛ ДИСЦИПЛИН
ОПД, СД, ДПП
ПОКАЗАТЕЛЬ
ОСВОЕНИЯ
ДИСЦИПЛИНЫ
Средний процент
выполненных заданий
в группе студентов
КРИТЕРИЙ
АТТЕСТАЦИИ
ДИСЦИПЛИНЫ
Индивидуальное
пороговое значение для
каждой учебной
дисциплины
образовательной
программы
CХЕМА ОПРЕДЕЛЕНИЯ ПОРОГОВОГО ЗНАЧЕНИЯ ПО ДИСЦИПЛИНЕ
ДЛЯ ПРИНЯТИЯ РЕШЕНИЯ
(утверждено на 6-ой коллегии (Октябрь) 2004 г.)
доля вузов
Критериальное
(пороговое)
значение
1
0,8
0,6
0,4
Зона успеха
0,2
0
10
20
30
40
50
60
70
80
90
100
средний балл решенных заданий
Пороговые значения
Пороговые значения зоны успеха для учебных
дисциплин ежегодно утверждаются
аккредитационной коллегией Рособрнадзора.
 Утвержденные показатели публикуются на сайте
www.ctve.ru в разделе «Тестирование Вузов» /
«Информация для руководства вузов» /
«Критериальные значения результатов
тестирования»:
http://www.ctve.ru/info/testingvuz/info_for_vuz/kriteri
ali_znacheniya_rezoylit

Критериальные значения результатов дидактического
тестирования студентов при оценке деятельности
образовательного учреждения
Утверждены на Аккредитационной коллегии от 05.10.2006 г.
ОКСО Наименование
050202 Информатика
080105 Финансы и
кредит
Блок
Наименование
ГОС
дисциплины
ОПД Теория и методика
обучения информатики
Технические и
аудиовизуальные
средства обучения
ОПД Статистика
СД Деньги, кредит, банки
Финансовый
менеджмент
Рынок ценных бумаг
Бюджетная система РФ
Страхование
Инвестиции
Налоги и
налогообложение
Финансы
Критериальное
значение
60
60
30
32
45
38
38
34
36
52
22
ПРАВИЛО ФОРМИРОВАНИЯ ВЫБОРКИ СТУДЕНТОВ





В тестировании участвуют студенты 2-5 курсов
обучения
Выборка составляет 25 студентов из курса, вне
зависимости от принадлежности к группе курса.
Если на курсе < 25 человек, то тестируются все
студенты курса
Обучение по дисциплине должно быть
завершено не более 1 года назад
Один студент тестируется не более чем по трем
дисциплинам и не более 2 раз в день
ПРАВИЛО ПРИНЯТИЯ РЕШЕНИЯ ПО РЕЗУЛЬТАТАМ
ТЕСТИРОВАНИЯ
(утверждено на 6-ой коллегии (Октябрь) 2005 г.)
1-2 дисциплины –
аттестация с замечаниями
3-4 дисциплины –
сокращенный срок аттестации
(аттестация на три года)
5 дисциплин – неаттестация
- по дисциплине не преодолено пороговое значение
- результат тестирования выше порогового значения
Результаты Интернет –тестирования
(ФЭПО-4)
(12 декабря 2006 г. – 25 января 2007 г.)
по данным
информационно-аналитической карты
результатов педагогических измерений
Процент студентов, освоивших все ДЕ
010501.65 Прикладная информатика и математика
80%
70%
67%
69%
Философия
Информатика
73%
60%
50%
40%
30%
25%
20%
10%
0%
Отечественная
история
Физика
Математика и
информатика
71%
Концепции
современного
естествознания
Философия
100%
90%
80%
70%
60%
50%
40%
30%
20%
10%
0%
Отечественная
история
Процент студентов, освоивших все
дидактические единицы
031001.65 Филология
96%
68%
11%
Процент студентов, освоивших все ДЕ
031801.65 Религиоведение
60%
50%
50%
40%
38%
30%
30%
20%
9%
10%
0%
Культурология
Политология
Математика и
информатика
Экология
Процент студентов, освоивших все ДЕ
120303.65 Городской кадастр
91%
100%
90%
80%
70%
60%
50%
40%
30%
20%
11%
9%
Отечественная
история
Информатика
10%
0%
Математика
Процент студентов, освоивших все ДЕ
140106.65 Энергообеспечение предприятий
70%
60%
53%
60%
50%
40%
30%
20%
10%
5%
0%
0%
Отечественная
история
Философия
Математика
Теоретическая
механика
Процент студентов, освоивших все ДЕ
190702.65 Организация и безопасность движения
90%
83%
80%
70%
60%
50%
40%
30%
14%
20%
19%
46%
10%
0%
Отечественная
история
Философия
Информатика
Математика
Дисциплина: Математика
100
80
процент студентов, полностью освоивших все
контролируемые ДЕ дисциплины
91
60
50%
40
53
46
20
0
120303(04ГК)
140106(04ЭОП)
190702(04ОБД)
ООП
Дисциплина: Информатика
100
80
процент студентов , полностью осв оив ших в се контролируемые
ДЕ дисциплины
69
60
50%
40
19
20
9
0
010501.65(05ПриМ1)
190702.65(05ОБД)
120303.65(04ГК)
ООП
Дисциплина: Концепции
современного естествознания
100
80
процент студентов , полностью осв оив ших в се контролируемые ДЕ
дисциплины
75
67
60
60
50%
40
20
0
031001.65(04Фил-3(н)) 031001.65(04Фил-1(а)) 031001.65(04Фил-2(ф))
ООП
Дисциплина:
Математика и информатика
100
процент студентов, полностью освоивших все контролируемые
ДЕ дисциплины
80
60
50
50%
40
20
11
0
031801.65(05Рел)
031001.65(05Фил-3(н))
ООП
Дисциплина: Физика
100
80
процент студентов, полностью освоивших все контролируемые ДЕ дисциплины
73
60
50%
40
20
0
010501.65(03ПриМ)
ООП
0
20
25
120303.65(06ГК)
60
010501.65(06ПриМ)
40
140106.65(06ЭОП)
60
86
190702.65(06ОБД)
100
031001.65(06Фил(н))
100
031001.65(06Фил(ф))
50%
100
031001.65(06Фил(а)2)
80
031001.65(06Фил(а)1)
Дисциплина:
Отечественная история
100
83
11
ООП
Дисциплина: Философия
100
80
процент студентов, полностью освоивших все контролируемые
ДЕ дисциплины
78
78
67
60
50
50%
40
14
20
0
0
031001.65(05Фил-
031001.65(05Фил-
1(а))
3(н))
010501.65(04ПриМ)
031001.65(05Фил2(ф))
190702.65(04ОБД)
140106.65(04ЭОП)
ООП
Дисциплина: Политология
100
процент студентов, полностью освоивших
все контролируемые ДЕ дисциплины
80
60
50%
40
20
9
0
031801.65(04Рел)
ООП
Дисциплина: Культурология
100
процент студентов, полностью освоивших все
контролируемые ДЕ дисциплины
80
60
50%
40
38
20
0
031801.65(04Рел)
ООП
Дисциплина: Экология
100
процент студентов, полностью освоивших все
контролируемые ДЕ дисциплины
80
60
50%
40
30
20
0
031801.65(03Рел)
ООП
Дисциплина:
Теоретическая механика
100
80
процент студентов, полностью освоивших все
контролируемые ДЕ дисциплины
60
50%
40
20
5
0
140106.65(04ЭОП)
ООП
Карта коэффициентов решаемости
заданий
Дисциплина: Философия
ООП: 010501.65 «Прикладная математика и информатика» Группа: 04ПриМ
коэффициент решаемости

Карта коэффициентов
решаемости позволяет оценить
уровень подготовки
испытуемых по отдельным
темам измерительных
материалов

По данному графику можно
выявить темы, оказавшиеся
трудными для студентов
контролируемой группы
(коэффициент решаемости
менее 0,4)
1
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
0
номера заданий
на очень низком уровне
выполнены задания по
следующим темам:
№22 «Развитие науки»
информационно-аналитическая
карта результатов педагогических
измерений
Карта коэффициентов освоения ДЕ
Дисциплина: Математика
ООП: 140106.65 «Энергообеспечение предприятий» Группа: 04ЭОП
коэффициент освоения ДЕ
1
0,9
0,8

График позволяет
оценить степень
освоения тематических
разделов дисциплины

Наглядно выявляются
разделы, освоенные на
недостаточном уровне
(коэффициент
освоения менее 0,7)
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
1
2
3
4
5
6
7
8
9
10
11
12
номер ДЕ
Карта коэффициентов освоения ДЕ дисциплины
показывает, что данным контингентом студентов на
недостаточном уровне освоена следующая
дидактическая единица:
№8 «Дифференциальные уравнения»
информационно-аналитическая
карта результатов
педагогических измерений
Ранжирования показателей освоения дисциплин для ООП
ОГУ относительно вузов-участников Интернет-экзамена
в статусе университет или академия
25% лучших результатов
Физика (ПрИМ) 73% 225-123
Философия (ПрИМ) 67% 222-113
Философия (Фил) 71% 486-264
Отечественная история (Фил) 96%
556-296
Отечественая история (ОБД) 83%
988-262
Математика (ГК) 91% 117-72
Средняя часть выборки
50% результатов
Информатика (ПрИМ) 69% 256-140
КСЕ (Фил) 68% 478-262
Отечественая история (ОБД) 83%
988-262
Отечественая история (ЭОП) 60% 988262
Математика (ЭОП) 53% 791-199
Математика и информатика (Рел) 50%
317-192
Математика (ОБД) 46% 791-199
Культурология (Рел) 38% 380-185
Отечественная история (ПрИМ) 25% 318145
Информатика (ОБД) 19% 700-194
Информатика (ГК) 9% 256-140
Теоретическая механика (ЭОП) 5% 13076
25% худших результатов
Экология (Рел) 30% 131-117
Философия (ЭОП) 0% 724-200
Философия (ОБД) 14% 724-200
Политология (Рел) 9%
270-193
Отечественная история (ГК)
11%
988-262
Математика и информатика
(Фил) 11% 317-192
Статистика результатов Интернет-экзамена


По России из 372 тыс.
результатов,
свидетельствующих об
уровне подготовки
студентов вузов,
полностью соответствуют
требованиям ГОС 171 тыс.
(46%)
По ОГУ 45% результатов
197 из 443 полностью
соответствует требованиям
ГОС
Россия
54%
46%
ОГУ
55%
Соответствуют
45%
Проблемы




Расплывчатость описания содержания дисциплины
в ГОС, неоднозначно трактуемая разными
преподавателями, включая разработчиков тестов
Несоблюдение требований ГОС к обязательному
минимуму содержания по дисциплинам
Недостаточно активная работа отдельных
преподавателей по подготовке к тестированию
групп студентов
Недостаточно производительный интернет-канал
Дисциплины Интернет-экзамена на май –июнь 2007 г.
ВПО
ГСЭ
Философия
ЕН
Математика
Отечественная
история
Политология
Культурология
Информатика
Правоведение
Математика и
информатика
Концепции
современного
естествознания
Экология
Педагогика и
психология
Физика
Химия
Русский язык и
культура речи
Английский язык Теоретическая
механика
Экономика
Биология
Социология
СПО
ГСЭ
Основы
философии
Основы
экономики
Основы права
Основы
социологии и
политологии
Русский язык и
культура речи
Английский
язык
Социальная
психология
ЕН
Математика
Информатика
Экологические
основы
природопользования
Из письма заместителя руководителя Федеральной службы по
надзору в сфере образования и науки Е.Н. Геворкян
от 10 марта 2006 г.


... Результаты тестирования могут быть
использованы вузом в отчете по
самообследованию, а также при проведении
мониторинга качества подготовки студентов во
внутривузовских системах менеджмента качества
... При регулярном участии вуза в Интернетэкзамене (не менее, чем по трем дисциплинам
каждого цикла) результаты тестирования могут быть
зачтены в качестве официальных при комплексной
оценки вуза.
СПАСИБО ЗА ВНИМАНИЕ
Проект постановления НМС
1 Информацию о результатах Интернет - тестирования принять к
сведению.
2 Кафедрам, за которыми закреплены дисциплины, по которым
производилось
Интернет-тестирование,
проанализировать
итоговые
результаты, отраженные в информационно-аналитической карте результатов
педагогических измерений (электронный вариант карты можно получить в
методкабинете УМУ, ауд. 1303, или запросить по E-mail: metod@mail.osu.ru )
и принять соответствующие меры по улучшению качества подготовки
студентов по дисциплинам с низкими показателями.
3 Председателям методических комиссий по специальностям взять под
контроль безусловное выполнение требований ГОС ВПО к обязательному
минимуму содержания по дисциплинам федерального компонента ООП.
4 Рекомендовать
преподавателям
использовать
возможности
репетиционного тестирования (сайт www.fepo.ru ) и бесплатного on-line
тестирование (сайт www.ast-centre.ru ) в учебном процессе.
5 Учитывая решение Ученого совета от 2 марта, протокол № 5, деканам
факультетов дать предложения в УМУ по участию студентов в Интернеттестировании (ФЭПО-5) в рамках летней экзаменационной сессии 2006/2007
учебного года до 22.03.2007 г.
6 Во исполнении решения деканского совещания от 12.03.2007г.
учебно-методическому управлению провести тестирование студентов
специальностей 151002 Металлообрабатывающие станки и комплексы,
220301 Автоматизация технологических процессов и производств, 151001
Технология машиностроение по дисциплинам математика; физика;
теоретическая механика и студентов специальности 130304 Геология нефти и
газа по дисциплинам математика и физика.