Тренинговый центр Института управления образованием РАО «Проектирование национальных и территориальных систем оценки качества образования: организационные, технологические и содержательные аспекты» СЕССИЯ 2 Факторы, определяющие качество системы ОКО технология О.А. Решетникова Заместитель директора Тренингового центра Ст.научный сотрудник ИУО РАО Проектирование национальных и территориальных систем оценки качества образования: организационно-технологические аспекты Институт управления образованием РАО Объекты оценки в системе образования: • • Образовательные программы Образовательные организации/учреждения • Индивидуальные образовательные достижения обучающихся Продукт оценки индивидуальных достижений – информационный поток Задачи по: - Упорядочиванию информационных потоков Сбору и структурированию информации Созданию баз данных и управление ими Обработке информации и её оформлении в соответствии с требованиями пользователей 2 Проектирование национальных и территориальных систем оценки качества образования: организационно-технологические аспекты Институт управления образованием РАО Что должна обеспечивать технология? Качество собранной информации Существенно сокращать время сбора информации Предоставлять равные возможности участникам оценивания Должна быть понятна для исполнителей и испытуемых Должна быть отказоустойчива по признакам: - количество участников - по осознанию «ставок» процедуры - по учету территориальных особенностей - по учету временных особенностей 3 Проектирование национальных и территориальных систем оценки качества образования: организационно-технологические аспекты Институт управления образованием РАО Системно-целевая направленность формирования информационных потоков системы массовой оценки индивидуальных достижений: - Стандартизированность процедур и механизмов применительно ко всем оцениваемым объектам Четко обозначенные цели оценочной процедуры ВОПРОСЫ: 1. 2. 3. 4. Кто Заказчик того или иного вида оценки? Каковы цели и задачи процедуры? Какие структуры и элементы должны быть сформированы? Какие могут быть издержки и насколько они оправданы эффектом от использования результатов оценки? Какая информация является конченым продуктом оценки, кто и как её планирует использовать? 4 Проектирование национальных и территориальных систем оценки качества образования: организационно-технологические аспекты Институт управления образованием РАО Технология - совокупность производственных процессов и операций в определенной отрасли производства. Управление Регулирование Контроль Анализ - функции логистики Объект логистики массовой оценки индивидуальных достижений – сервисный поток, складывающийся из продуктов деятельностей, обслуживающих процесс оценки Логистические активности: планирование, дистрибьюция, проведение, обработка/проверка 5 Проектирование национальных и территориальных систем оценки качества образования: организационно-технологические аспекты Институт управления образованием РАО • Планирование • Дистрибьюция • Проведение • Обработка/проверка • Планирование • Дистрибьюция • Проведение • Обработка/проверка • Планирование • Дистрибьюция • Проведение • Обработка/проверка Управле ние Регулиро вание Анализ Контроль • Планирование • Дистрибьюция • Проведение • Обработка/проверка 6 Проектирование национальных и территориальных систем оценки качества образования: организационно-технологические аспекты Институт управления образованием РАО Принципы управления логистическими процессами массовой оценки индивидуальных достижений – «Логистическая миссия» или правила «семи Н» Обеспечить: 1) Нужный продукт 2) В нужном количестве 3) Нужного качества 4) В нужном месте 5) В нужное время 6) Для нужного потребителя 7) С наименьшими затратами 7 Проектирование национальных и территориальных систем оценки качества образования: организационно-технологические аспекты Институт управления образованием РАО Реализация «Логистической миссии» и использование правил«семи Н» при проектировании технологии оценочной процедуры ИНВАРИАНТ- набор обязательных процессов, необходимых для реализации любой оценочной процедуры ВАРИАТИВНОСТЬ – процессы, учитывающие «ставки» процедуры, её особенности с учетом поставленных целей и задач Примеры реализации некоторых принципов «Логистической миссии»: 8 Проектирование национальных и территориальных систем оценки качества образования: организационно-технологические аспекты Институт управления образованием РАО Реализация «Логистической миссии» и использование правил«семи Н» при проектировании технологии оценочной процедуры Нужный продукт Инвариант основных процессов Вариативность процессов -разработка измерительных - экспертиза разработанных материалов; - апробация разработанных материалов; - обеспечение информационной безопасности на этапе разработки, включая учет и контроль передачи измерительных материалов на всех этапах разработки; - процесс микширования (перемешивания); - создание банка измерительных материалов; - разработка макета бланка/бланков ответов, анкеты, опросника и др. материалов ( и сопутствующих материалов) 9 Проектирование национальных и территориальных систем оценки качества образования: организационно-технологические аспекты Институт управления образованием РАО Реализация «Логистической миссии» и использование правил«семи Н» при проектировании технологии оценочной процедуры Нужное количество Инвариант основных процессов Вариативность процессов - определение выборки: генеральная совокупность /репрезентативная выборка; - формирование базы данных потенциальных участников и организаторов (полная информация: ФИО, реквизиты, ОУ и др. информация) в соответствии с утвержденной структурой; -предварительный сбор данных по определенным типам ОУ, (только количественные показатели); - централизованное тиражирование измерительных материалов; - децентрализованное тиражирование измерительных материалов; - передача оригинал-макетов для самостоятельного тиражирования в условиях класса/ОУ; - проведение инструктажа определенных задействованных в процедуре специалистов (разовая процедура); -проведение длительного обучения всех задействованных в процедуре специалистов кустовым способом; - обеспечение в пунктах проведения оценочной процедуры наличия необходимого кол-ва кратких инструкций -определение количества и качества (структуры) информации, необходимой для проведения процедуры оценивания и обработки её результатов; -расчет необходимого количества расходных материалов, необходимых для обеспечения процедуры оценивания; -тиражирование необходимого количества материалов; - подготовка необходимого количества специалистов для обеспечения проведения процедуры и обработки данных; 10 Проектирование национальных и территориальных систем оценки качества образования: организационно-технологические аспекты Институт управления образованием РАО Реализация «Логистической миссии» и использование правил«семи Н» при проектировании технологии оценочной процедуры Нужное качество Инвариант основных процессов Вариативность процессов -формирование оригинал-макетов измерительных материалов -комплектация стандартизированных индивидуальных пакетов участников; - централизованная комплектация; -децентрализованная комплектация; -отсутствие комплектации, разработка рекомендаций по комплектации; - разработка программ обучения специалистов по направлениям деятельности и категориям; - разработка инструктивных материалов для всех категорий специалистов; - сертификация задействованных структур и специалистов ; - разработка правил для участников процедуры (испытуемых); - разработка краткой инструкции по проведению процедуры для специалиста, обеспечивающего её проведение в ОУ; - проведение циклов обучения/инструктажей для персонала; -нагрузочное тестирование аппаратно-технического и программного парка с отработкой возможных рисков сбоев в работе; - проверка работоспособности необходимого аппаратнотехнического парка; - обеспечение консультационной поддержки на весь интервал времени проведения оценочной процедуры; - обеспечение работы «горячей линии» для консультационной и технической поддержки специалистов, обеспечивающих проведение процедуры -подготовка специалистов для обеспечения проведения процедуры обработки данных -подготовка необходимого аппаратнотехнического парка -подготовка потенциальных участников - консультационная поддержка 11 Проектирование национальных и территориальных систем оценки качества образования: организационно-технологические аспекты Институт управления образованием РАО Реализация «Логистической миссии» и использование правил«семи Н» при проектировании технологии оценочной процедуры ВАЖНО: • Отработка «стыков» приведенных правил в цепочке обеспечения Нужный продукт нужное количество нужное качество нужное место нужное время нужные потребители наименьшие издержки • Применение правил как «по горизонтали», так и «по вертикали» • Понимание показателя эффективности качества процедуры: расхождение (англ. GAP – разрыв) между ожиданием потребителя (предполагаемый сервис) и реальным восприятием (познаваемый сервис). Чем меньше «gap», тем эффективнее результат процедуры оценивания. 12