Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования
advertisement
Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Московский государственный гуманитарный университет им. М.А. Шолохова» На правах рукописи Полихрониди Александр Христофорович Технология интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы Специальность: 13.00.08 - Теория и методика профессионального образования Диссертация на соискание ученой степени кандидата педагогических наук Научный руководитель – кандидат педагогических наук, доцент Переверзев В.Ю. Москва – 2014 Содержание Введение 3 Глава 1 Теоретические основы интерактивного мониторинга 18 качества освоения студентами колледжа основной профессиональной образовательной программы 1.1 Современное состояние проблемы мониторинга качества освоения 18 обучающимися образовательной программы 1.2 Интерактивный мониторинг качества освоения обучающимися 36 образовательной программы 1.3 Инновационные формы контроля для проведения интерактивного 53 мониторинга Выводы по первой главе 75 Глава 2 Технология компьютерного адаптивного контроля для проведения интерактивного мониторинга тестового 79 2.1 Развитие систем компьютерного тестового контроля для проведения 79 интерактивного мониторинга 2.2. Разработка интерактивных тестовых заданий 99 2.3. Опытно-экспериментальная работа по проверке эффективности 126 интерактивного мониторинга качества подготовки студентов колледжа (на примере специальности Страховое дело) Выводы по второй главе 155 Заключение Список литературы 158 165 2 Введение Актуальность. Одной из главных задач модернизации российского профессионального образования является повышение качества подготовки специалистов. С этих позиций в современных педагогических исследованиях рассматриваются все основные компоненты педагогического процесса, анализируется их потенциал, а также создаются новые технологии обучения и контроля. Мониторинг качества освоения студентами колледжа профессиональной образовательной программы является основной неотъемлемым компонентом педагогического процесса, а в свете современных тенденций модернизации образования он приобретает особую значимость. Для формирования адекватных моделей мониторинга необходимы систематический сбор и анализ объективных данных о результатах обучения студентов, применение новых контрольно-оценочных технологий в условиях образовательного учреждения. В Российской Федерации за последние несколько лет вышел целый ряд основополагающих нормативных документов, касающихся мониторинга качества образования и независимой оценки качества образовательных услуг. Все эти документы - Федеральный Закон «Об образовании в РФ» принятый в декабре 2012; Государственная программа Российской Федерации "Развитие образования" на 2013 - 2020 годы (в новой редакции), Постановление Правительства Российской Федерации от 5 августа 2013 г. N 662 "Об осуществлении мониторинга системы образования"; Приказ Министерства образования и науки Российской Федерации (Минобрнауки России) от 14 июня 2013 г. N 462 "Об утверждении Порядка проведения самообследования образовательной организацией" и, наконец, Приказ Министерства образования и науки Российской Федерации от 15 января 2014 г. № 14 (утвердил показатели мониторинга для всей системы отечественного образования) - отвечают современным тенденциям модернизации образования, 3 направленным на развитие мониторинга качества и эффективности работы образовательных организаций и системы образования в целом. Таким образом, профессионального в настоящее образования, время заметно в отечественной возросла системе потребность в педагогическом мониторинге как важнейшем факторе обеспечения качества и эффективности процесса обучения. Тем не менее, вопреки принимаемым по отношению формирования к мониторинговой деятельности и функционирования адекватного мерам, проблема в его организациях профессионального образования остается нерешенной. Более того, реализация основной профессиональной образовательной программы на базе ФГОС СПО, структурно ориентированной на компетентностный подход, во многом сдерживается неэффективностью существующей системы мониторинга выполнения его требований. Профессиональные компетенции, как результат обучения в колледже, выражают способность и готовность выпускников применять знания, умения, практический опыт при решении профессиональных задач. Компетентность, как комплексное, многогранное и интегрированное качество личности выпускника, чрезвычайно трудно поддается оценке. Однако отдельные её составляющие могут быть подвержены инструментальным измерениям. В качестве эффективного средства измерения отдельных «знаниевых», теоретических уровня сформированности составляющих профессиональных компетенций выступает компьютерное тестирование. В настоящее время мониторинг качества освоения образовательной программы представляет собой один из наиболее трудоемких и ответственных этапов процесса обучения. Анализ литературы по данной проблеме и исследование практики организации мониторинга в колледжах выявляют ряд недостатков в осуществлении контролирующей деятельности: - чрезмерное влияние субъективного фактора на процедуру оценивания педагогом достижений обучающегося; 4 - результатом мониторинга является, как правило, количественная оценка, которая не всегда учитывает многомерную качественно- количественную характеристику сформированности компетенций студента; - процедуры мониторинга и оценивания знаний и умений студентов в первую очередь носят констатирующий характер, и не в полной мере используется такие характеристики как обратная связь, интерактивность, а также обучающий, развивающий и воспитывающий потенциал мониторинга; - реализуемые на практике системы мониторинга и оценивания не формируют у студентов в достаточной степени устойчивых навыков взаимо- и самоконтроля, в основном из-за отсутствия элементов интерактивности. Поэтому в качестве одного из направлений совершенствования оценочных технологий в современном образовании выступает повышение уровня интерактивности сегодняшний мониторинга учебных достижений. При этом на день наиболее технологичным способом педагогического контроля является компьютерное тестирование, которое получает все большее распространение благодаря внедрению в образование информационных и коммуникационных технологий, а также повсеместному развитию систем дистанционного образования. Одно из направлений модернизации оценочных средств связано с увеличением масштабов педагогического тестирования и улучшением его качественных характеристик, всемерным развитием его компьютерных интерактивных модификаций. Следует отметить особую значимость интерактивного позволяющего постоянно и систематически мониторинга, диагностировать качество освоения образовательной программы и при этом максимально реализовать единство контролирующей и обучающей, воспитывающей и развивающей функций педагогического контроля. Следовательно, именно интерактивный мониторинг обладает большим потенциалом в повышении качества профессионального образования. Одним из методов повышающих качество контроля и позволяющих объективно и достоверно оценить достижения 5 студента, является компьютерное интерактивное тестирование, осуществляющее диагностическую, контролирующую, аналитическую и обучающую функции. Несмотря на наличие многочисленных научных работ по проблемам педагогического контроля и диагностики качества обучения, исследований, посвященных проблемам интерактивного именно мониторинга с применением информационных технологий явно недостаточно. Более того, в современных научных трудах не освещаются аспекты влияния интерактивности контроля на повышение качества обучения, а также не рассматриваются современные технологии мониторинга и средства оценивания знаний, умений и практического опыта студентов, позволяющие внедрить элемент обратной связи и рефлексии в процесс мониторинга. Остаются содержания диагностики студентов. неразработанными и организации важных вопросы компьютерных составляющих методики конструирования, интерактивных профессиональных тестов для компетенций А лучший отечественный и мировой опыт доказывает, что высококачественные компьютерные адаптивные тесты могут обеспечить оперативную, достоверную и надежную диагностику уровня знаний, практических навыков и умений, компетенций обучаемых, внести необходимые коррективы в содержание, организацию и методику преподавания учебных дисциплин и модулей, повысить объективность и сопоставимость оценки учебных достижений обучающихся. Введение ФГОС в практику современного российского образования детерминировало требования к результатам освоения основной профессиональной образовательной программы. Однако, без эффективной технологии диагностики и контроля, в том числе и различных интерактивных компьютерных модификаций контроля, выполнения требований ФГОС СПО, а также адекватное функционирование образовательного стандарта практически невозможно. Существующие методы диагностики и контроля уровня профессиональной подготовки во многом субъективны и нуждаются в совершенствовании. Объективным средством определения параметров качества 6 и результативности образовательного процесса может выступать тестовый контроль как один из элементов педагогического контроля. Тесты позволяют обеспечить своевременное выявление уровня знаний, практических навыков и умений, компетенций обучаемых в соответствии с образовательными стандартами. В теоретическом обосновывается плане недостаточной актуальность научной проблемы исследования разработанностью теоретико- методологических основ интерактивного мониторинга качества освоения студентами колледжа профессиональной образовательной программы и технологий реализации компьютерных диагностических и адаптивных систем критериально-ориентированного тестирования. Явно недостаточно представлены теоретические исследования по проблемам автоматизации педагогического тестирования в нашей стране, где лишь в последнем десятилетии XX века и в начале ХХI века появились публикации педагогов - исследователей, затрагивающие важные вопросы создания и применения в педагогическом контроле компьютерных тестов. К их числу относятся работы В. С. Аванесова, Н.Ф. Ефремова, В.И. Звонникова, А.Н. Майорова, Е.А. Михайлычева, В. И. Нардюжева, В.Ю. Переверзева, И.В. Роберт, В.П. Тихомирова, М.Б. Челышковой, А, Г. Шмелева и др. Однако, следует отметить, что при всей теоретической и практической значимости проведенных исследований в области педагогического тестирования и несомненной важности в разрешении образовательных задач, связанных с измерением и оценкой учебных достижений обучающихся, все еще ощущается недостаточная полнота сформированных концепций, необходимая для проведения интерактивного анализа сущностных характеристик процесса контроля, не вскрыт механизм его становления, не разработаны методы создания адекватных компьютерного тестовых педагогического заданий и тестирования результатов. 7 моделирования и процесса интерпретации его Таким образом, актуальность исследования проблематики создания и применения интерактивного мониторинга качества освоения образовательной программы в профессиональном образовании, задаваемая требованиями современного этапа социально-экономического развития российского общества, обуславливается: - активизацией внедрения в практику деятельности учебных заведений эффективных систем управления качеством обучения и необходимостью оптимизации управления учебным процессом; - неразработанностью теоретико-методологических основ в области автоматизированного педагогического диагностирования и образовательной квалиметрии, нечетким обозначением требований и стандартов, предъявляемых к образовательному мониторингу, недостаточным методическим и технологическим обеспечением процесса реализации систем контроля; - недостаточной квалификацией преподавательского состава в области информатизации контроля и диагностики, несогласованностью специалистов в работе по созданию тестовых материалов, слабым владением авторамипредметниками методами и средствами анализа результатов тестирования, недооценкой и недоверием к возможностям использования компьютерного тестирования в педагогической практике; - необходимостью формирования комплексного научно-методического обеспечения процесса компьютерного тестирования, создания адекватных математических моделей проведения интерактивных и адаптивных процедур компьютерного тестового контроля, экспериментально обоснованных тестовых технологий оценки профессиональной подготовки. В процессе исследования выявлены следующие противоречия: 1) между необходимостью достижения результативности выполнения требований ФГОС СПО и эффективной системой мониторинга и оценки качества освоения образовательных программ, адекватной современным требованиям к результатам образовательного процесса; 8 2) между потребностью в интерактивном мониторинге результатов обучения будущих специалистов, и неразработанностью методик объективного адаптивного оценивания с применением современных информационных технологий; 3) между потенциальными возможностями современных тестовых технологий контроля и неразработанностью их методических, содержательных и технологических аспектов. Таким образом, проблема диссертационного исследования сводится к необходимости разрешения противоречий, вызванных возросшей потребностью педагогической теории и практики в методологических основах организации интерактивного мониторинга в контексте обеспечения качества подготовки конкурентоспособных специалистов, что предопределило тему диссертационного исследования «Технология интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы». Объект исследования – оценка качества освоения студентами колледжа основной профессиональной образовательной программы. Предмет исследования – интерактивный мониторинг, как технология оценки качества освоения студентами колледжа основной профессиональной образовательной программы. Цель исследования: разработать, теоретически обосновать и экспериментально апробировать модель интерактивного мониторинга качества освоения основной профессиональной образовательной программы студентами колледжа. Гипотеза исследования: технология интерактивного мониторинга освоения студентами колледжа основной профессиональной образовательной программы станет эффективным инструментарием повышения качества обучения, если: 9 - цели, задачи и модели мониторинга формируются в соответствии с требованиями ФГОС СПО, а также отвечают потребностям всех субъектов системы профессионального образования; интерактивный - мониторинг основывается на принципах взаимодействия, активности обучаемых, опоре на групповой опыт, на взаимной оценке, самоконтроле и эффективной обратной связи; - интерактивный мониторинг реализуется в комплексе способов и форм контроля: компьютерных адаптивных тестов, технологии виртуальных учебных фирм; решения интерактивных практических заданий; постоянного и систематического наблюдения за динамикой изменения в профессиональном и личностном развитии студентов колледжа; уровня адаптивные компьютерные сформированности тесты ориентированы на диагностику важнейших компонентов профессиональных компетенций, за счет использования инновационных компьютерных форм тестовых заданий, реализации адекватных методов и алгоритмов их проведения; - при конструировании адаптивных тестов учитываются требования к качеству тестовых заданий, к адекватным показателям уровня трудности, дискриминативности, надежности, содержательной и критериальной валидности. В соответствии с объектом, предметом, целью и гипотезой были определены следующие задачи исследования: - концептуально определить теоретическое и практическое значение интерактивных мониторинговых технологий для диагностики качества подготовки студентов; - разработать модель интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы, включающую в себя целеполагание, разработку инструментария, процедуры проведения и анализа результатов, формирование обратной связи и корректирующих мероприятий; 10 - разработать современную модель адаптивного компьютерного тестирования, ориентированную на интерактивный мониторинг качества освоения студентами колледжа основной профессиональной образовательной программы за счет использования инновационных форм тестовых заданий; методов повышения надежности, содержательной и критериальной валидности тестирования; - провести экспериментальную проверку эффективности технологии интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы на примере специальности Страховое дело. Методологическую основу исследования составляют идеи: - философии образования и методологии психолого-педагогических наук (С.И. Архангельский, Ю. К. Бабанский, М.К. Бахтин, В.П. Беспалько, Л.С. Выготский, П.Я. Гальперин, А.Т. Глазунов, В.И. Загвязинский, В.В.Краевский, В.С.Леднев, А.Н. Леонтьев, И.Я. Лернер, Ж. Пиаже, С.Л. Рубинштейн, В.В. Рубцов, М.Н. Скаткин и др.); - информатизации профессионального образования (А.А. Андреев, А.С. Бешенков, Я.А. Ваграменко, О.А. Козлов, А.А. Кузнецов, Ю.И. Лобанов, Л.П. Мартиросян, В.Л. Матросов, В.А. Поляков, И.В. Роберт, Н.В. Софронова и др.). - теорий профессионального образования (С.Я. Батышев, А.Н. Беляева, А.Т. Глазунов, Э.Ф. Зеер, Е.А. Климов, П.Ф. Кубрушко, В.С. Леднев, А.М. Новиков, И.П. Смирнов, Е.В. Ткаченко, В.А. Федоров, Ю.В. Шаронин и др.); - исследования в области педагогических технологий (В.П. Беспалько, В. В. Гузеев, О.В. Долженко, З.Д. Жуковская, А.С. Казаринов, М. В. Кларин, Ю.Н. Семин, Т.В. Машарова, Н.Ф. Талызина, Ю.К. Чернова и др.); - оценки качества образования (А.А. Аветисов, Ю.К. Бабанский, И.В. Блауберг, В.С. Белозеров, Н.Б. Вернигор, А.Т. Глазунов, Н.Ф. Ефремова, В.И. Звонников, В.В. Краевский, В.С. Леднев, Ю.И. Лобанов, А.Н. Майоров, Д.Ш. Матрос, В.Ю. Переверзев, М.М. Поташник, Ю.Г. Татур, П.И. Третьяков, С.А. 11 Сафонцев, А.А. Скамницкий, А.И. Субетто, Н.Ф.Талызина, В.С.Черепанов, Ю.В. Шаронин и др.); - применения педагогическом современных процессе (С.И. образовательных Архангельский, В.П. технологий Беспалько, в Б.С. Гершунский, И.К. Колесникова, А.П. Панфилова, Л.Г. Семушина, А.И. Субетто, Ю.В. Шаронин и др.); - педагогической диагностики (В.С. Аванесов, А.Анастази, К. Ингенкамп, Е.А. Михайлычев, Дж. Равен, В.С.Черепанов и др.); - исследований в области таксономии целей образования (Б.И. Ананьев, А.С. Белкин, Б.С. Блум, А.Т. Глазунов, В.В. Гузеев, М.В. Кларин, В.В. Рубцов, Л.Я. Зорина, В.А. Якунин и др.); - исследований в области педагогической тестологии (В.С. Аванесов, А.Анастази, В.П. Беспалько, Н.Ф. Ефремова, В.И. Звонников, К. Ингемкамп, Г.С. Ковалева, И.И. Легостаев, А.Н. Майоров, Е.А. Михайлычев, В.И. Нардюжев, Ю.М. Нейман, В.Ю. Переверзев, А.О. Татур, В.А. Хлебников, Р. Хэмбелтон, М.Б. Челышкова, А.Г. Шмелев); - квалиметрии в образовании (А.А. Аветисов, Ю.К. Бабанский, А.Г. Бермус, В.И. Звонников, М.В. Кларин, Н.И.Максимов, Н.А. Селезнева, А.И. Субетто, Н.Ф. Талызина, Ю.Г. Татур , М.Б. Челышкова, В.С. Черепанов и др); - принципов реформирования и стандартизации общего и профессионального образования (Ю.И. Дик, А.Т. Глазунов, А.Н. Лейбович, Г.Л. Луканкин, Г.В. Мухаметзянова, A.M. Новиков, В.Д. Поляков, Г.М. Романцев, М.В. Рыжаков, И.П. Смирнов, Е.В. Ткаченко и др.); - личностно-ориентированного и развивающего образования (М.К. Акимова, Н.А. Алексеев, Е.В.Бондаревская, И.П. Волков, Л.С. Выготский, В.В. Давыдов, Л.В. Занков, Е.Н. Ильина, А.Н. Леонтьев, В.В.Сериков, В.Т.Фоменко, Д.Б. Эльконин, И.С. Якиманская, Е.А. Ямбург); - компетентностного подхода (В.И. Байденко, С.Я. Батышев, А.С. Белкин, А.П. Беляева, А.А. Вербицкий, О.Н. Голубева, А.Т. Глазунов, И.А. Зимняя, Н.В. Кузьмина, Н.Н. Нечаев; М.В. Рыжаков, Н.А. Селезнёва, И.П. Смирнов, 12 А.Д. Суханов, А.И.Субетто, Н.Ф. Талызина, Ю.Г. Татур, Е.В. Ткаченко, А.В. Хуторский , В.Д. Шадриков, Ю.В. Шаронин). Для решения поставленных задач и проверки гипотезы применялись следующие методы исследования: - теоретические – изучение и анализ педагогической, научно-методической и специальной литературы по проблеме исследования, диссертационных исследований, анализ государственных образовательных стандартов, программ и методических материалов; обобщение, систематизация, синтез, моделирование, классификация, сравнение, объяснение, индукция и дедукция, научное доказательство, абстрагирование, математико-статистические методы, включавшие определение основных параметров распределения эмпирических результатов тестирования, байесовскую процедуру и метод максимального правдоподобия, проектирование структуры и содержания банка интерактивных компьютерных тестовых заданий; - эмпирические тестирование, – методы анкетирование, педагогической метод групповых диагностики: экспертных опрос, оценок; педагогический эксперимент; изучение опыта преподавателей, педагогическое наблюдение; методы математической статистики при обработке результатов эксперимента и их анализе. Исследование выполнялось поэтапно: - первый этап (2009-2010 гг.) - поисково-аналитический: изучение нормативно-правовой документации; теоретическое обоснование актуальности проблемы диссертационного исследования, изучение философской, психологической, педагогической и иной литературы, проведение теоретико практического проблемно-ориентированного анализа состояния объекта и предмета исследования, формирование фактологической базы исследования; разработка понятийного аппарата и детализированной программы проведения научно - исследовательских работ, формирование рабочей гипотезы, определение научно-концептуального аппарата исследования, формулирование задач исследования; 13 - второй этап (2011-2012 гг.) - опытно-экспериментальный: проверка и уточнение гипотезы исследования, выявление условий, форм и методов, обеспечивающих разработку и реализацию концептуальных положений, создание концепции принципов, интерактивного регламентирующих мониторинга, научную формулирование организацию адаптивного компьютерного тестирования, определение функций и задач тестирования в образовании, разработка методики отбора содержания диагностического теста; публикация статей, раскрывающих содержание диссертационного исследования; - третий этап (2013-2014 гг.) - заключительный: разработка интерактивного тестового инструментария; статистическая обработка данных, систематизация и обобщение результатов, сверка и корректировка аналитического материала с целью, задачами, гипотезой исследования; формирование рекомендаций и окончательных выводов по проблематике исследования; апробирование и внедрение результатов и выводов диссертационного исследования в педагогическую практику; литературное оформление диссертационной работы. Экспериментальная база исследования. В апробации результатов исследования и проведении серии педагогических экспериментов по созданию и внедрению интерактивного мониторинга на основе адаптивных компьютерных тестов в учебный процесс были задействованы 232 студента ГБОУ СПО «Колледжа индустрии гостеприимства и менеджмента № 23» г. Москвы. Научная новизна исследования состоит в том, что: 1. Сформирована и описана концепция интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы. 2. Разработана модель интерактивного мониторинга качества освоения студентами колледжа программы, включающая основной в себя профессиональной такие 14 структурные образовательной элементы как целеполагание, разработку инструментария, процедуры проведения и анализа результатов, формирование обратной связи и корректирующих мероприятий. 3. Представлена современная классификация тестовых заданий и их многочисленных модификаций, применяющихся в компьютерных интерактивных тестах. Описаны инновационные формы тестовых заданий для компьютерного тестирования, обладающие элементами интерактивности. 4. Предложена теоретически обоснованная модель конструирования и применения компьютерных интерактивных систем тестовой диагностики в учреждениях профессионального образования, направленных на эффективное формирование содержания тестов и достижение высоких показателей качества тестирования - валидности и надежности. Теоретическая значимость диссертационной работы обеспечивается решением ряда задач общенаучного и специального характера и состоит в том, что: - теоретически обоснованно понятие интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы, уточнены его сущность, целеполагание, задачи, функции, структурные элементы и принципы, возможные инструменты реализации; -предложена совокупность общеметодологических и педагогических принципов создания адаптивных компьютерных тестов для мониторинга качества освоения образовательной программы; - представлена уточненная классификация и описание тестовых заданий и их многочисленных модификаций, применяющихся в современных адаптивных компьютерных тестах; - спроектированы технология и модель реализации процесса адаптивного компьютерного достижений тестирования, основанного на применении современных тестовой теории, обеспечивающем максимально использование возможностей информатизации образования. Практическая значимость исследования состоит в том, что: 15 полное 1) разработанная технология проведения интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы может быть внедрена в учебный процесс образовательных организаций СПО; 2) разработан и апробирован диагностический (адаптивные компьютерные тесты, банк тестовых заданий по специальности виртуальной учебной фирмы, инструментарий интерактивных компьютерных «Страховое дело», методика работы интерактивные практические задания), обеспечивающий реализацию технологии интерактивного мониторинга; 3) подготовлен по результатам исследования банк тестовых заданий по специальности «Страховое дело», который способствует внедрению технологии интерактивного компьютерного тестирования в учреждениях СПО; Достоверность и обоснованность полученных в исследовании результатов обеспечиваются методологической аргументированностью исходных теоретических положений, выбором методов исследования, проведением научных исследований в единстве с практической деятельностью; опытноэкспериментальной проверкой, показавшей эффективность предлагаемой методики конструирования интерактивных компьютерных тестов для диагностики профессиональной подготовки обучающихся по специальности «Страховое дело». На защиту выносятся следующие положения: 1. Концепция студентами интерактивного колледжа мониторинга качества основной профессиональной интерактивного мониторинга основной профессиональной освоения образовательной программы. 2. Технология студентами колледжа качества освоения образовательной программы, включающую в себя целеполагание, разработку инструментария, процедур проведения и анализа результатов, формирование обратной связи и корректирующих мероприятий. 16 3. Модель реализации процесса адаптивного компьютерного тестирования для мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы. Структура и содержание диссертации. Диссертация состоит из введения, двух глав, заключения, библиографии и приложений. 17 Глава 1 Теоретические основы интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы 1.1 Современное состояние проблемы мониторинга качества освоения обучающимися образовательной программы В отечественных педагогических исследованиях проблемы мониторинга качества обучения рассматриваются в контексте модернизации системы образования и поиска новых подходов к формированию адекватных механизмов оценки качества образования. Действительно, качество образования чрезвычайно важная категория в образовании в целом и в педагогических исследованиях в частности. Однако, анализ литературы показывает, что среди ученых и педагогов-практиков пока еще нет единых подходов, не сложились однозначные трактовки данного понятия, не сформировались показатели и критерии качества образования, а также не разработаны соответствующие методы его диагностики и мониторинга. В контексте настоящего исследования необходимо разобраться в современной трактовке понятий «качество профессионального образования», «качество профессиональной подготовки», поскольку в дальнейшем речь пойдет о критериях и инструментах диагностики и мониторинга качества образования, педагогических измерениях, технологиях тестирования. Естественно, необходимо обобщить существующие на сегодня определения, подходы и точки зрения ученых –педагогов по этому вопросу. Болотов В.А., Н.Ф. Ефремова [19], Н.А.Селезнева [139] и др. на основе системы менеджмента качества сформулировали основные направления деятельности образовательных учреждений по обеспечению качества: 18 - планирование качества, т.е. определение потребителей образовательных услуг, выявление их потребностей, разработка характеристик, требований, стандартов; - диагностика и контроль качества, в смысле обеспечения измерения показателей качества, анализ и сравнение достигнутых показателей качества с заданными образовательными стандартами, корректировка процесса обучения в соответствии с результатами диагностики; - улучшение качества, т.е. создание системы непрерывного усовершенствования процесса обучения, выявление и устранение недостатков в образовательном процессе. Отметим, что ключевой проблемой внедрения вышеперечисленных принципов в сфере образования является обеспечение постоянной диагностики и объективного мониторинга показателей качества, где все большую роль играет технология педагогического тестирования, в том числе и его автоматизированная модификация – компьютерное адаптивное тестирование. По мнению М.Б. Челышковой [158], В.И. Звонникова [51, 52], Н.Ф. Ефремовой [46], показатели качества образования можно разделить на три группы: - экономические показатели, характеризующие вложения в образование, информацию о финансировании образования, его материально-техническом, кадровом, информационном и другом обеспечении; - показатели качества учебного процесса, обуславливающие качество программ обучения, и вообще деятельность образовательного учреждения; - показатели, характеризующие уровень подготовки, результаты учебных достижений и ценностной ориентации студентов, а также информацию о дальнейшей профессиональной карьере выпускников. В условиях мировой тенденции перехода к массовым педагогическим измерениям появляется возможность стандартизировать параметры качества подготовки обучающихся, обеспечив мониторинг, то есть сбор и анализ сопоставимых результатов измерений на разных уровнях и ступенях 19 образования. Очевидно, что для этого необходимо выявить измеряемые показатели и критерии качества образования, что само по себе является довольно сложной научной задачей, решение которой возможно, в том числе, и в рамках методологии интерактивного компьютерного педагогического тестирования. Несмотря на то, что качество профессионального образования является более комплексным, более многогранным понятием, чем качество подготовки специалистов, но именно оценка качества подготовки обучаемых чаще всего рассматривается как результат учебного процесса. Поэтому, по глубокому убеждению автора настоящего исследования, вся остальная информация - о размерах финансовых затрат на образование, кадровом обеспечении, методических системах и программах обучения, и многое другое является только фоном или условиями для выявления факторов, влияющих на результаты обучения – качество профессиональной подготовки, качества освоения обучающимися профессиональной образовательной программы. В Российской Федерации за последние несколько лет вышел целый ряд основополагающих нормативных документов, касающихся мониторинга качества образования и независимой оценки качества образовательных услуг. Все эти документы отвечают современным тенденциям модернизации образования в нашей стране, направленным на развитие государственнообщественного контроля над качеством и эффективностью работы образовательных организаций и системы образования в целом. На наш взгляд, эта тенденция четко обозначилась в Указе Президента РФ от 7 мая 2012 г. N 597 "О мероприятиях по реализации государственной социальной политики" [149], в котором планируется «…обеспечить формирование независимой системы оценки качества работы организаций, оказывающих социальные услуги, включая определение критериев эффективности работы таких организаций и введение публичных рейтингов их деятельности». 20 Одним из первых в этом ряду нормативных документов стоит новый Федеральный Закон «Об образовании в РФ» [150] принятый в декабре 2012 г., во многих статьях которого описываются требования к мониторингу и оценки качества образования на всех уровнях. Например, в Статья 47 Закона «Об образовании в РФ» гласит, что в рабочее время педагогических работников включается работа по ведению мониторинга. В статье Статья 89 Закона отмечается, что управление системой образования включает, помимо прочего, в себя проведение мониторинга в системе образования; независимую оценку качества образования, общественную и общественно-профессиональную аккредитацию. В Статье 97 (Информационная открытость системы образования. Мониторинг в системе образования) в п. 3 дается определение: «Мониторинг системы образования представляет собой систематическое стандартизированное наблюдение за состоянием образования и динамикой изменений его результатов, условиями осуществления образовательной деятельности, контингентом обучающихся, учебными и внеучебными достижениями обучающихся, профессиональными достижениями выпускников организаций, осуществляющих образовательную деятельность, состоянием сети организаций, осуществляющих образовательную деятельность.». В Постановлении Правительства Российской Федерации от 30 марта 2013 г. N 286 устанавливаются Правила формировании независимой системы оценки качества работы организаций, оказывающих социальные услуги, в которых отмечается, что «…независимая система оценки качества работы организаций включает в себя: а) обеспечение полной, актуальной и достоверной информацией о порядке предоставления организацией социальных услуг, в том числе в электронной форме; б) формирование результатов оценки качества работы организаций и рейтингов их деятельности». Постановление Правительства Российской Федерации от 5 августа 2013 г. N 662 "Об осуществлении мониторинга системы образования" [131] регламентирует Правила осуществления мониторинга системы образования и 21 перечень обязательной информации о системе образования, подлежащей мониторингу. Согласно данному документу « …мониторинг включает в себя сбор информации о системе образования, обработку, систематизацию и хранение полученной информации, а также непрерывный системный анализ состояния и перспектив развития образования, выполненный на основе указанной информации (далее - сбор, обработка и анализ информации)», а также «Мониторинг осуществляется на основе данных федерального статистического наблюдения, обследований, в том числе социологических обследований деятельности организаций, осуществляющих образовательную деятельность, информации, размещенной на официальных сайтах образовательных организаций в информационно-телекоммуникационной сети "Интернет" (далее - сеть "Интернет"), информации, опубликованной в средствах массовой информации, а также информации, поступившей в органы государственной власти, органы исполнительной власти субъектов Российской Федерации и органы местного самоуправления от организаций и граждан…» Утвержденный в этом документе «Перечень обязательной информации о системе образования, подлежащей мониторингу» включает в себя, в том числе сведения о развитии профессионального обучения - основные показатели по содержанию образовательной деятельности и организации образовательного процесса, а также показатели по учебным и внеучебным достижениям обучающихся. Приказ Министерства образования и науки Российской Федерации (Минобрнауки России) от 14 июня 2013 г. N 462 "Об утверждении Порядка проведения описывает самообследования процедуру образовательной самообследования, организацией" включающей в себя [132] оценку образовательной деятельности, системы управления организации, содержания и качества подготовки обучающихся, организации учебного функционирования внутренней системы оценки качества образования. 22 процесса, Приказ Министерства образования и науки РФ от 10 декабря 2013 г. № 1324 "Об утверждении показателей деятельности образовательной организации, подлежащей самообследованию" [133] утвердил показатели деятельности образовательных организаций всех уровней. В государственной программе Российской Федерации "Развитие образования" на 2013 - 2020 годы (в новой редакции) [39] ставится задача создания современной системы оценки качества образования на основе принципов открытости, объективности, прозрачности, предусматривающая разработку и внедрение национальной системы оценки качества образования, мониторинговых исследований в образовании. Одной из задач программы является создание системы поддержки сбора и анализа информации об индивидуальных образовательных достижениях, то есть создание системы мониторинговых исследований качества образования. Методические рекомендации по проведению независимой системы оценки качества работы образовательных Минобрнауки от 14.10.2013 организаций г. ) [90] подготовлены (Письмо Министерством образования и науки Российской Федерации с целью содействия развитию системы независимой системы оценки качества работы образовательных организаций. В Методических рекомендациях дано определение независимой оценки качества образования с указанием основных «потребителей» результатов работы соответствующей системы, описаны формы независимой оценки качества, указаны возможные направления применения системы в деятельности органов управления образованием – соответствующая обобщенная информация представлена в разделе «Общие положения». Также в методические рекомендации включены разделы, характеризующие объект, инструменты, заказчиков, участников независимой оценки качества образования, порядок использования инструментов независимой оценки качества образования для разработки и принятия управленческих решений. В документе уточняется, что объектом независимой оценки качества образования могут быть: 23 - образовательные программы, реализуемые образовательными организациями; - условия реализации образовательного процесса, сайты образовательных организаций и др.; - результаты освоения обучающимися образовательных программ. К инструментам независимой оценки качества образования в данных рекомендациях относят: Рейтинги в сфере образования; Публичные доклады и другие открытые данные; измерительные материалы (тесты, оценочные задания, др.). Одна из актуальных проблем модернизации системы управления образовательным процессом и повышения качества обучения – непрерывное диагностико-прогностическое, деятельности участников систематическое образовательного отслеживание процесса. В результатов современной педагогической науке и практике такая деятельность определяется понятием «педагогический мониторинг» или «образовательный мониторинг». Научные и методические аспекты мониторингового подхода в оценке результатов образовательного процессам нашли свое отражение в работах В.И.Андреева и Орлова А.А. [104], В.П. Беспалько[18], К. Ингенкампа[61], В.А. Кальней [63], А.Н. Майорова [83 ,84 ], Д.Ш. Матроса [87], С.Е. Шишова[159] и многих других. Обобщая результаты научных исследований, необходимо отметить, что мониторинговый подход обеспечивает целостность и системность в управлении качеством образования. Например, в работах В.И. Андреева и др. перечисляются наиболее важные аспекты педагогического мониторинга. По его мнению, смысл педагогического мониторинга состоит в усилении аспекта диагностики качества функционирования образовательных систем, что, тем самым, позволяет прогнозировать и управлять качеством образования [107]. Ряд ученых (П.Ф.Анисимов [8], В.М.Зуев [59], А.Н.Майоров [84]) рассматривают мониторинг в качестве совершенствования системы информационного обеспечения управления образовательным учреждением. 24 В работах представлен П.Ф. Анисимова, Л.Г.Семушиной и др. [8] мониторинг как средство повышения эффективности стратегического планирования развития профессионального образования. С другой стороны В.А. Кальней [64], Н.Н.Михайлова [91], Н.А.Селезнева [139] в своих работах описывают мониторинг как средство оценки качества образования. Наибольший интерес с точки проблематики нашего исследования в области компетентностного подхода представляют работы В.А.Болотова[19], И.Д.Фрумина [153], А.В.Хуторского [155], Э.Ф.Зеера [53], И.Н.Зимней [58]. На наших глазах происходит смена образовательной парадигмы, в которой предлагаются новое содержание, новые подходы и методы, иное целеполагание и иные инструменты оценки, в конечном счете иной педагогический менталитет. Речь идет о парадигме компетентностного целеполагания в образовании. В этой новой парадигме образования предусматривается не только обучение сумме знаний, но и способам умственных действий; не только развитие умений и навыков, но их закрепление и превращение в компетенции: предметные и межпредметные, ключевые и профессиональные. Сегодня для соответствующего достижения потребностям высокого развитого качества образования, общества, необходимо целенаправленно формировать у учащихся совокупность компетенций как результата современного образования, проявляющегося в способности учащихся интегрировать, переносить и использовать полученные знания и умения в различных профессиональных ситуациях. При этом следует не только выявить и описать в образовательных стандартах сами компетенции, но и разработать методики измерения уровня их сформированности. Можно утверждать, что в последнее десятилетие, и особенно после введения ФГОС СПО нового поколения, сложилась новая парадигма профессионального образования: результат образования определяют не только на основе усвоенных студентами знаний, умений и навыков, но и посредством оценки сформированности компетенций, приобретаемых в образовательном 25 процессе. Соответственно, данная парадигма является базисом для выработки новых подходов к оцениванию качества образования. Таким образом, результаты образования – это ожидаемые и измеряемые конкретные достижения студентов и выпускников, выраженные на языке знаний, умений, навыков, способностей, компетенций, и которые описывают, что должен будет в состоянии делать студент (будущий выпускник) по завершению всей или части образовательной программы. С позиций компетентностного подхода основным результатом образовательной деятельности становится формирование профессиональной компетентности специалиста. Готовность специалиста к профессиональной деятельности заключается в усвоении им полного состава профессиональных знаний, действий и социальных отношений, в сформированности и зрелости профессионально значимых качеств личности. Укажем еще одно чрезвычайно современное определение: компетентностный подход – это подход, при котором результаты образования признаются значимыми за пределами системы образования [74]. Многие исследователи руководствовуются следующим определением: компетентностный подход – это подход, акцентирующий внимание на результате образования, которым является способность человека действовать в различных проблемных ситуациях [60]. Г.В. Безюлева рассматривает профессиональную компетентность с точки зрения психолога. По ее определению, профессиональная компетентность представляет собой, с одной стороны, интегральный критерий качества профессионального обучения и трудовой деятельности, а с другой – свойство личности, проявляемое в социально значимых и профессионально важных качествах. Значимой является мотивационная направленность личности к конкретной деятельности, которая определяется как готовность к обучению, результативному труду, карьерному росту. Таким образом, с позиции психологической науки профессиональная компетентность понимается, как способность и готовность специалиста к 26 реализации приобретенных знаний, умений, навыков, опыта в реальной профессиональной деятельности [13]. Дж. Равен, анализируя отличия компетенций от знаний, умений и навыков отмечает, что компетенции можно оценивать только с учетом высокой мотивации респондентов для демонстрации достижений [135]. И.А. Зимняя рассматривает компетенции как некоторые внутренние, потенциальные, сокрытые психологические новообразования: знания, представления, программы (алгоритмов) действий, систем ценностей и отношений [58]. А.И. Субетто отмечает, что компетенции являются такими компонентами качества результатов образования, в которых присутствует синтез качества образования и качества человека, включая «природное качество», отраженное в его антропотипе [143]. Наконец, компетенции – это обобщенные и глубокие качества личности, отображающие ее способности наиболее универсально использовать и применять полученные знания, умения и опыт, владеть приемами, действовать и принимать решения в стандартных и нестандартных ситуациях [45]. В стратегии модернизации российского образования большое внимание уделено обновлению целей образования и основным условиям их достижения. В качестве одного из таких условий называется необходимость проведения диагностических мониторинговых исследований реального качества образования и поиск возможных путей перехода к новой парадигме качества образования, базирующейся на реализации компетентностного подхода. В связи с этим возникает необходимость организации всеобъемлющего мониторинга результатов деятельности образовательного учреждения, как важнейшего инструмента оценки эффективности используемых методик преподавания, содержания образовательных программ. Мониторинг призван служит основой для устранения недостатков учебного процесса, для принятия эффективных управленческих решений. Само понятие «мониторинг» в образовании достаточно новое и не имеет однозначного толкования, поскольку пришло в педагогику из других наук, в 27 основном из экологии и социологии. В экологии под мониторингом понимают систему наблюдений и контроля за состоянием окружающей природной среды. С позиции социологии – это «определение небольшого числа показателей, отражающих состояние социальной среды». В общем виде мониторинг можно определить как «постоянное наблюдение за каким-либо процессом с целью выявления его соответствия желаемому результату или исходному положению» [84]. А в педагогике это новое перспективное направление, посредством которого возможно способствовать повышению качества образования во всех его основных составляющих. Н.Ф. Ефремова [44] провела анализ и выяснила, что понятие мониторинга и его синонимы трансформировались от более общего – «проверка и учет знаний учащихся», количественного – «оценка знаний и умений», к более жесткому – «контроль и учет знаний и умений», далее к неопределенному – «отслеживание учебных достижений учащихся» – и более диагностичному – «измерение уровня достижения учащимися образовательного стандарта» – и, наконец, к современным понятиям – «диагностика качества образования», «образовательный мониторинг», «экспертиза качества образования», «квалиметрический мониторинг»[46] . Анализ частоты использования тех или иных терминов позволяет выделить наиболее употребимые из них при характеристике мониторинга: система, наблюдение, анализ, прогнозирование, диагностика состояния объекта или процесса, экспертиза. Одна из составляющих мониторинга - диагностика (от греч. diagnostikos – способность распознавать) – средство выявления результатов обучения и практика оценивания качества учебно–воспитательной деятельности. Как верно отмечает И.П. Подласый, «диагностика должна быть индикатором качества – категорическим определителем успеваемости обучаемого или, наоборот, должна существовать как показатель преимуществ или недостатков той или иной системы» [121]. Практическая реализация диагностических наблюдений и экспертных оценок осуществляется через систему мониторинга. С.Е. Шишов и 28 В.А. Кальней мониторинг качества образования рассматривают как систематическую и регулярную процедуру сбора данных по важным образовательным аспектам, используемую для эффективного управления учебно–воспитательным процессом [64]. Согласно А.Н. Майорову, это «постоянное наблюдение за каким–либо процессом с целью выявления его соответствия желаемому результату или исходному положению» [83]. Проблемы педагогического мониторинга отражены в исследованиях В.П.Беспалько [18], П.О.Вербицкой и В.Ю.Бодрякова [27], И.С.Крамаренко [77], В.К.Муратовой [96], А.М.Кукуева [78], А.Н. Майорова[84], Д.Ш.Матроса, Д.М.Полева, Н.Н. Мельниковой [87]. В этих исследованиях мониторинг рассматривают как средство совершенствования системы информационного обеспечения и управления образованием. Мониторинг, по А.Н. Майорову, позволяет обеспечить объективность, своевременность, надежность получаемых данных, что в свою очередь позволяет своевременно и адекватно реагировать на те или иные изменения обследуемого объекта [84]. В.И. Звонников и М.Б. Челышкова [52] под мониторингом понимают «… систему постоянного сбора данных о наиболее значимых характеристиках качества образования, их обработку, анализ и интерпретацию с целью обеспечения общества и системы образования достоверной, достаточно полной и дифференцированной по уровням использования информацией о соответствии процессов и результатов образования нормативным требованиям, происходящих переменах и прогнозируемых тенденциях». Другими словами, мониторинг — это стандартизированное наблюдение за образовательным процессом и его результатами, позволяющее создавать историю состояния объекта во времени, количественно оценивать изменение субъектов обучения и образовательной системы, определять и прогнозировать направления их развития (В.И. Звонников [51]) . Мониторинг как технология должен обладать тиражируемостью, воспроизводимостью результатов, устойчивостью и надежностью. 29 Наличие ФГОС СПО (государственных образовательных стандартов), как эталона содержания образования и диагностики его качества, позволяет создать систему мониторинга в колледже, главная задача которого - оценка качества профессионального образования. Управленцы, мониторингом руководители понимают образовательных выявление организационно-управленческих и и организаций оценивание педагогических под проведенных действий. При этом обеспечивается обратная связь, информирующая руководителей о соответствии фактических результатов деятельности педагогической системы ее конечным (заданным целям) [36]. Отметим, что во всех исследованиях категория «мониторинга» рассматривается как более широкая категория, чем «контроль», поскольку включает в себя контроль, анализ, диагностику и прогнозирование. В исследованиях таких ученых, как Заславская Т.И. [49], Кагерманьян В.С. [62], Майоров А.Н. [84], и др. нашли свое отражение теоретикометодологические проблемы мониторинга. Описанию опыта мониторинга посвящены работы исследователей и практиков как в социальной сфере в целом, так и в образовании [119] , [33, 63,95]. Ученые и практики предлагают различные подходы к мониторингу в образовании. Большинство ученых в своих исследованиях рассматривают мониторинг как средство совершенствования системы информационного обеспечения управления стратегического профессионального образованием, планирования образования, повышением развития среднего повышения качества эффективности и высшего управленческих решений, в том числе при реализации педагогических инноваций, оценке качества образования (Кагерманьян В.С. [62] , Майоров А.Н. [84] , Михайлова Н.Н. [91], Орлов А.А. [104], Селезнева Н.А. [139], Ткаченко Е.В. [147]). Так, по мнению Н.Н. Михайловой, в «реальном образовательном процессе мониторинг тесно связан со всеми функциями и стадиями управления». [91]. 30 С.Е. Шишов и В. А. Кальней подчеркивают, что «органическая связь мониторинга с другими функциями проявляется в том, что каждая функция управления выступает как основная точка мониторинга, т. е. мониторинг затрагивает цели, информацию, прогнозы, решения, организацию и исполнение педагогической деятельности, коммуникацию, коррекцию» [64]. Мониторинг управления становится качеством средством образования в информационного условиях обеспечения управления сложной педагогической системой. Мониторинг ставит своей задачей фиксацию состояния системы, ее системное описание, оценку эффективности системы целиком или отдельных подсистем, определение неисправностей и сбоев [107]. Кроме того, одна из основных целей мониторинга – прогноз состояния системы профессионального образования целиком или отдельных подсистем. С учетом новых требований к подготовке специалистов, нового понимания качества профессионального образования предметными областями мониторинговых структурные исследований элементы определяются педагогической системы следующие учреждения основные среднего профессионального образования: 1) содержание профессиональной подготовки: - структура образовательной деятельности (специальности и уровня подготовки); - содержание образовательной деятельности по реализации основных профессиональных образовательных программ (цели образования, рабочий учебный план, рабочие программы, программы практики, программа итоговой государственной аттестации выпускников); 2) условия (ресурсы) образовательной деятельности: - нормативно-правовое и организационно-управленческое обеспечение образовательного процесса; - кадровое обеспечение; - учебно-материальные ресурсы; 31 - научно-информационные и учебно-методические ресурсы; - воспитательная среда; - научно-экспериментальная педагогическая деятельность; 3) качество профессионального образования: абитуриенты - (мотивация, уровень сформированности общеобразовательных знаний и учебных навыков); студенты - (мотивация, уровень сформированности общепрофессиональных и специальных знаний и умений); - выпускники (соответствие знаний, умений, навыков и компетенций ФГОС СПО); - специалисты – субъекты рынка труда (профессиональная компетентность и социальная адаптивность). С.Н.Силина определяет педагогический мониторинг как «метод анализа педагогического процесса» и ставит его в один ряд с такими «нестандартными методами и средствами деятельности педагога, как диагностические таблицы, оценочное шкалирование и т.д.» [140]. Контроль за качеством не должен быть эпизодическим, а постоянным и действенным, с хорошей обратной связью. Следовательно, возникает задача проведения оценочных исследований. Проверенный способ оценки качества профессиональной подготовки – педагогический мониторинг, обеспечивающий выявление обратной связи. Для сохранения и улучшения уровня профессиональной подготовки студентов необходимо постоянно анализировать состояние учебного процесса, выявлять причины снижения качества подготовки и намечать пути их устранения. Для этого необходимо создать систему показателей государственным оценки стандартом качества и образования, социальным заказом, связанного с необходимо диагностировать те компоненты профессионализма, которые обеспечат востребованность специалиста на рынке труда. 32 Применение мониторинга рассматривается на различных уровнях: региональном, на уровне образовательного учреждения, на уровне отдельного педагога, группы обучающихся. В исследовании А.Н. Майорова [84] отмечается, что существуют различные виды мониторинга, которые отличаются целями и объектами анализа. На уровне образовательного учреждения чаще всего мы можем иметь дело с мониторингом качества образования, мониторингом развития образовательного учреждения и мониторингом образовательных процессов. А.Н.Майоров предлагает следующую систему классификации мониторинга в образовании: 1. Классификация в зависимости от цели мониторинга: - информационный мониторинг: сбор →накопление →систематизация →распространение; - базовый: выявление новых проблем и опасностей до того, как они станут осознаваемы на уровне управления; - проблемный: выявление закономерностей, процессов, опасностей, которые известны и насущны с точки зрения управления; - управленческий: отслеживание и оценка эффективности последствий и вторичных решений, принятых в области управления. 2. Классификация по направлениям проведения мониторинга: - педагогический; - социологический; - психологический; - медицинский; - экономический; - демографический. 3. Классификация по иерархии систем управления: - образовательное учреждение; - районный; - региональный; 33 - федеральный. 4. Классификация по основаниям экспертизы: - динамический, когда основанием для экспертизы служат данные о динамике развития того или иного объекта, явления или показателя; - сравнительный, когда в качестве основания для экспертизы выбираются результаты идентичного обследования других образовательных систем; комплексный, когда используются несколько оснований для экспертизы. В основу классификации видов мониторинга, по мнению Звонникова В.И. [51] , могут быть положены разные основания, к числу которых относятся: цели проведения мониторинга; его основные функции; область применения данных; инструментарий; модель или технология проведения мониторинга и др. Наиболее важными для образовательной организации становятся два вида мониторинга: информационный и диагностический. Проведение информационного мониторинга нацелено на сбор, накопление, анализ, структуризацию и интерпретацию данных по выделенной совокупности показателей при условии, что анализ носит не сопоставительный или прогностический, а констатирующий характер. Отличительной чертой информационного мониторинга является отсутствие анализа эффектов связи и взаимного влияния показателей, сопоставления результатов мониторинга на различных уровнях управления качеством образования, выявления тенденций в образовании и прогнозирования их влияния на качество образования. Диагностический мониторинг предназначен для определения того, как справляются с различными темами или разделами учебного плана большинство учащихся. Диагностический мониторинг может проводиться на различных уровнях. Преподаватели выявляют проблемы усвоения учебного материала. Сбор данных для диагностического мониторинга проводится с помощью педагогических измерений. В качестве основного инструментария используются критериально-ориентированные тесты, которые сопровождаются 34 интерактивными диагностическими заданиями для установления причин пробелов в усвоении учебного материала. В диагностическом мониторинге главная цель состоит в том, чтобы идентифицировать сильные и слабые стороны в учебных достижениях и образовательной деятельности учащихся. Кроме систем классификаций мониторинга, ученые, занимающиеся мониторингом качества образования, выделяют следующие функции мониторинга: - контроля, обследования и диагностики; - анализа и оценки, накопления баз данных по годам и идентификации на базе этих данных реальных тенденций; - подготовка рекомендаций для корректировки целей «политики качества» (на федеральном уровне – цели образовательной политики, доктрины российского образования, стратегии и реформ); - прогноза оценки перспектив развития; - подготовки мероприятий по оказанию помощи образовательным системам разного ранга (А.Н.Майоров [84]). К составляющим мониторинга В.И. Звонников относит: объекты и субъекты образовательного процесса, комплекс показателей качества образования, инструментарий, базы данных для накопления информации, методики анализа, переработки и интерпретации информации, программноинструментальные средства обработки данных. А ведущими функциями мониторинга в образовании, по его мнению, являются: информационная, диагностическая, сравнительная и прогностическая. [51]. В.И. Звонников выделяет ряд условий эффективности мониторинга, среди которых: - использование системного подхода, обеспечивающий сбор, обработку, анализ и интерпретацию информации; - сочетание количественных и качественных методов измерения и контроля в мониторинге; 35 - привлечение к проведению мониторинга квалифицированных специалистов и преподавателей; - использование надежного и валидного инструментария, современного программного обеспечения для обработки и анализа данных мониторинга. Звонников В.И. описывает динамическую модель мониторинга, которая строится на измерениях скорости прироста учебных достижений учащихся в течение некоторого временного периода. Таким образом, под мониторингом мы будем понимать постоянное отслеживание, наблюдения за образовательным процессом, анализ его состояния посредством измерения реальных результатов с заданными целями, оценки и прогнозирования профессионального становления студентов, эффективности применяемых педагогических технологий. 1.2 Интерактивный мониторинг качества освоения обучающимися образовательной программы В настоящее время еще не сложилась система классификации различных видов, уровней способов мониторинга в образовании. Сейчас пока только можно говорить о существовании его некоторых модификаций, причем каждый из исследователей под мониторингом в образовании подразумевает что-то свое ( [В.Г. Горб [38], И.А. Зимняя [56], Н.А. Кулемин [79]). Однако анализ литературы позволяет нам сделать общий вывод, что в большинстве случаев мониторинг качества образования разделяется на два типа: мониторинг качества образовательной деятельности (условий и процесса обучения) и мониторинг качества учебных достижений обучающихся, то есть качества освоения обучающимися образовательной программы. Именно второй тип мониторинга и является предметом настоящего исследования. 36 Не вызывает сомнения, что постоянный мониторинг как качества образовательного процесса, так и его результатов становится особенно актуальным в условиях модернизации отечественного образования. Н.Ф. Ефремова [46] называет первый тип «образовательным мониторингом», а второй тип - «педагогическим мониторингом». Она рассматривает образовательный эффективности управления, мониторинг: исследования «…как метод реальных повышения параметров и характеристик объектов и субъектов обучения, воспитания и развития, как способ накопления результатов, позволяющий сопоставлять их, анализировать и строить прогноз развития отдельного субъекта образовательного процесса и педагогической системы». По мнению Н.Ф. Ефремовой педагогический мониторинг включает в себя дидактический и воспитательный. Основные задачи педагогического мониторинга [46] – оценка знаний, умений и навыков, или в более широком смысле – учебных достижений, и соотнесение их уровня с заданным эталоном (стандартом) или статистическими нормами. Далее Н.Ф. Ефремова отмечает, что разносторонняя информация, обеспечиваемая педагогическим мониторингом, способствует повышению уровня взаимодействия (т.е. фактически уровня интерактивности) между различными субъектами образовательного процесса, создает условия самооценки и самоидентификации (т.е. обратной связи), самовоспитания и саморазвития для этих субъектов. Н.Ф. Ефремова вводит понятие «квалиметрического мониторинга», принципиальное отличие которого от традиционного заключается в использовании таких технологий контроля, которые ориентированы не на субъективные оценочные механизмы локального применения, а на «современные объективизированные (независимые «дистанцированные» от учителя) оценочные процедуры, удовлетворяющие требованиям объективности, сопоставимости и репрезентативности оценок». Принципы его организации и функционирования опираются на современную теорию тестов, 37 информационные технологии накопления и обработки данных, сравнение показателей качества исследуемых объектов со статистическими нормами. В отличие от мониторинга, основанного на традиционном оценивании, многоуровневый квалиметрический мониторинг базируется на квалиметрической концепции и имеет возможность воздействовать на систему образования, задавая совокупность определенных требований к органам управления образованием, образовательному учреждению, педагогу, обучающемуся. [45]. Можно отметить, что в данной модели мониторинга есть много элементов интерактивности. Далее Н.Ф. Ефремова формулирует ряд признаков, характерных для квалиметрического мониторинга: 1) функциональность отражает присущее ему качество технологичности и психологической комфортности для испытуемых во время контроля, оптимальности нагрузок, содержательной информативности, оперативности анализа и представления информации и др.; 2) надежность характеризует квалиметрический характер процедур получения информации, организованность, стандартизированность, точность и дифференцирующую способность педагогических измерений, согласованность исполнения планов, расписания, решений, указаний, действий и т.д.; 3) эффективность проявляется в достижении планируемого результата при экономном расходовании времени, средств, труда и психологических нагрузок участников контрольно–оценочного процесса, обработки и получения результатов; 4) современность касается стандартов, методов обучения и развития, средств и методов контроля и получения образовательной информации, статистического характера обработки и анализа результатов; 5) оптимальность обеспечивает выбор необходимых корректировок учебных программ и их вариантов, прогнозируемые результаты подготовленности обучающихся при соблюдении норм учебной деятельности (работоспособность, утомляемость и др.); предполагает обоснованность используемых методов, технологий и принципов обучения и контроля, системность применения 38 контроля; 6) реализуемость устанавливает меру возможностей и полноты воплощения идей, подходов и планов в оценке образовательной деятельности. Перейдем к описанию понятия интерактивного мониторинга. Одним из условий эффективности формирования в процессе обучения профессиональных и общих компетенций является использование активных и интерактивных технологий как обучения, так и мониторинга освоения студентами колледжа профессиональной образовательной интерактивности представляется исследователям важнейшим программы. многим Именно современным направлением аспект педагогам- совершенствования образовательного процесса. Например, в недавнем исследовании [86] совершенно справедливо утверждается, что интерактивные образовательные технологии основаны на принципах взаимодействия, активности обучаемых, опоре на групповой опыт, обязательной обратной связи. При этом создается информационная среда образовательного общения, которая характеризуется открытостью, постоянным взаимодействием участников, накоплением совместных умений и компетенций, возможностью взаимной оценки и контроля, мониторингом качества освоения программы и эффективной обратной связью. Актуальным становится выявление ресурса интерактивных технологий обучения и мониторинга качества освоения программы как средств формирования требуемых компетенций. Под интерактивной технологией обучения мы понимаем такую организацию процесса обучения, в которой определяющую роль играет активная позиция обучающегося в постоянном индивидуальном и групповом взаимодействии с другими субъектами и средствами обучения. При этом ключевую роль играют способы мониторинга, оценки и самооценки учебных достижений, направленных основанных на на коррекцию валидных и объективных образовательной критериях траектории, на и выбор эффективных приёмов и моделей обучения. Другими словами, интерактивное обучение – это, по сути, диалоговое обучение, в ходе которого осуществляется 39 взаимодействие студентами, между между контролирующей студентом студентом программой, и преподавателем, и компьютерной между студентом между самими обучающей и или информационно- образовательной средой колледжа (если она создана и функционирует в образовательной организации). Главное отличие интерактивных методов обучения и контроля от традиционных состоит в том, что преподаватель отказывается от монологической формы общения и переходит к диалогу, что открывает для студентов самостоятельный путь к познанию. Студент становится познающим субъектом, а преподаватель помогает и корректирует процесс познания. В результате такого подхода формируется личность специалиста, способная мыслить и принимать решения самостоятельно. В настоящее время среди специалистов по теории информации, социологии и педагогики отсутствует конкретное устоявшееся определение значения термина «интерактивность». В контексте настоящего исследования этот термин, с точки зрения пользователей образовательной системы, можно определить так: «Интерактивность (от англ. interaction — «взаимодействие») — понятие, которое обнаруживает характер и степень взаимодействия между объектами и субъектами образовательной системы». Интерактивность — это принцип организации системы, при котором цель образовательного процесса достигается информационным обменом элементов этой системы. В словаре [72] дополняется, что «Интерактивность - взаимодействие с обратной связью. Действия субъекта изменяют реакцию системы». Например, с точки зрения компьютерной обучающей программы (система: студент-компьютер), интерактивность информационно-коммуникационной системы — активно это способность и разнообразно реагировать на действия пользователя (обучающегося). С точки зрения образовательной системы, интерактивность – это взаимодействие, нахождение в режиме диалога с кем-либо. От собственно активных методов обучения интерактивные отличаются тем, что они включают 40 в себя более широкое взаимодействие учащихся не только с преподавателем, но и друг с другом, а также с обучающими компьютерными программами. Во время интерактивного обучения происходит многосторонний диалог, а не монолог преподавателя. Интерактивность выражается как готовность к общению, сотрудничеству, как умение найти себе место в совместной учебной и внеучебной деятельности, как склонность к установлению благоприятных отношений с членами группы. Термин «диалог», как подчеркивает А.М. Новиков, используется не только в качестве собственно вербального диалога, но и как опосредованный диалогически организованный образовательный процесс [100]. Интерактивность относится также к учебной работе в реальном времени в сети Интернет. Эффективность интерактивных методов обучения обусловлена следующими аспектами [там же]: 1) зависимостью уровня запоминаемости от степени вовлеченности учащихся в процесс познания (запоминается лучше то, что мы говорим и делаем); 2) возможностью вовлечь в процесс познания максимальное количество учащихся; 3) возможность студентов рефлексировать по поводу того, что и как они усвоили, каково их мнение по обсуждаемой проблеме; 4) постоянный обмен идеями позволяет высказать свое мнение каждому студенту и внести свой вклад в процесс общего познания; 5) кроме непосредственно знаний и умений, студенты приобретают необходимый сегодня навык работы в команде и учатся различным формам кооперации и сотрудничества, тем самым, формируя опыт профессионального общения. Можно выделить два основных типа интерактивных образовательных сред: 1) среда «преподаватель-студенты-компьютер»; 2) среда «преподаватель-студенты». 41 Обучение в среде «преподаватель-студенты-компьютер» помогает подготовить студентов к жизни в информационном обществе, где уже невозможно представить себе ни одно рабочее место без компьютера. Внедрение средств ИКТ помогает повысить эффективность образовательного процесса. Студенты учатся работать с информацией, развивают свои коммуникативные способности, в то время как преподаватель может корректировать процесс обучения, выбирая оптимальное соотношение методов индивидуальной и групповой работы. Такие методы также называются компьютерно - диалоговыми, при этом компьютер частично выполняет роль преподавателя. Студент в программируемой учебной среде самостоятельно принимает решения и несет за них, в той или иной степени, ответственность. Интерактивная компьютерная обучающая программа по разному «откликается» на те или иные действия студента, осуществляя, таким образом, диалог. Несколько лет назад процесс работы с компьютером был индивидуален, а сейчас, с развитием коммуникационных - сетевых и «облачных» технологий студенты могут работать над решением задачи в группе, взаимодействуя по сети. При этом, интерактивные компьютерные технологии обеспечивают оптимальный переход к самостоятельному обучению. Для осуществления преподавания дисциплин с применением данных методов необходимы мультимедийные электронные учебники, обучающие программы. Это позволяет визуализировать информацию, установить обратную связь «студент-компьютер», обеспечить легкий доступ к информации, в том числе в виде баз данных, автоматизировать обучение и мониторинг учебных достижений. С другой стороны, интерактивная среда «преподаватель-студенты», в свою очередь, включает в себя групповые и фронтальные методы. Групповые методы предполагают взаимодействие небольших (до 8 человек) групп, фронтальные методы применяются для организации взаимодействия всей аудитории. 42 По мнению ряда ученых [40, 118], оптимизация процесса обучения будет достигнута, если реализовать следующие разнообразные методы интерактивного обучения и интерактивного мониторинга качества освоения образовательной программы: групповые дискуссии; работа с интерактивным учебным материалом; индивидуальные или групповые консультации; виртуальные учебные фирмы; компьютерные тренажеры и симуляторы; телеконференции, компьютерные адаптивные тесты (он-лайн и офф-лайн типов), групповые и индивидуальные проекты; индивидуальные и групповые интерактивные задания и др. Главным сочетание преимуществом индивидуализации в контексте обучения с интерактивности предоставлением является студентам постоянной обратной связи в процессе обучения. Таким образом, сущность интерактивных методов обучения состоит в такой организации учебного процесса, когда практически все студенты оказываются вовлеченными в процесс познания, имея постоянную возможность осуществлять рефлексию своих учебных достижений. При этом, совместная учебная деятельность студентов по освоению нового материала позволяет каждому вносить свой вклад, осуществлять обмен знаниями, идеями, методами деятельности, создавая атмосферу доброжелательности и взаимной поддержки, что способствует не только получению нового знания, но и развитию познавательных и коммуникативных компетенций. В работе Л.А. Песковой [118] роль преподавателя при интерактивном взаимодействии определяется как помощника в обучении. Он направляет процесс обмена информацией, выявляет многообразие точек зрения, обращается к личному опыту студентов, поддерживает их активность, поощряет взаимопонимание и творчество студентов. Задачей преподавателя становится создание условий для проявления инициативы студентов. Поэтому при интерактивном взаимодействии студенты выступают полноправными участниками, а преподаватель не столько дает готовые знания, сколько побуждает студентов к самостоятельному поиску. 43 Нельзя не согласиться с Л.А. Песковой [118], что вместе с новыми методами и технологиями современное обучение привносит в теоретическую педагогику и образовательную практику новые понятия и термины, к которым относятся: виртуальный класс (группа), виртуальна учебная фирма; сетевая поддержка обучения студентов, учебные телекоммуникационные проекты, обратная связь, диалоговая технология, компьютерная связь, компьютерные адаптивные тесты; телеконференция и др. Важной особенностью интерактивного мониторинга является то, что остается полная база данных (подробная запись) всех учебных и результирующих материалов, получаемых от всех участников в процессе обучения. Кроме того, не стоит забывать, что использование интерактивных методов обучения, это не самоцель. Это средство для достижения целей, которые должны быть четко сформулированы, а их достижение должно быть проконтролировано. Время, потраченное на внедрение интерактивных методов в обучение, компенсируется значительным повышением уровня подготовки студентов к реальной жизни в информационном обществе, без чего сегодня немыслима адаптация к нему и полная самореализация выпускников вузов. Особое внимание в современных исследованиях уделяется формированию информационной (виртуальной) образовательной среды в образовательной организации и использованию ее отдельных интерактивных компонентов. Под информационной образовательной средой М. Е. ВайндорфСысоева понимает информационное содержание и коммуникативные возможности локальных и глобальных компьютерных сетей, используемых для образовательных целей всеми участниками образовательного процесса [26]. В Статье 97 Закона «Об образовании в РФ» [150] дается определение мониторинга в системе образования в широком смысле как систематического стандартизированного наблюдения за «… состоянием образования и динамикой 44 изменений его результатов, … учебными и внеучебными достижениями обучающихся…». В результате теоретического анализа исследуемой проблемы нами было сформулировано определение понятия интерактивного мониторнга. На локальном уровне образовательной организации интерактивный мониторинг качества освоения студентами колледжа профессиональной образовательной программы – это систематическое стандартизированное наблюдение за состоянием образования и динамикой изменений его результатов, за учебными и внеучебными достижениями обучающихся, основанное на принципах их взаимодействия и активности, опоре на групповой опыт, обязательной обратной связи. При осуществлении интерактивного мониторинга качества освоения профессиональной образовательной программы в колледже необходимо создать информационную среду образовательного общения, которая характеризуется открытостью, постоянным взаимодействием участников, накоплением совместных умений и компетенций, возможностью взаимной оценки и контроля, эффективной обратной связью. В ходе исследовательского проекта нами была разработана и внедрена модель интерактивного мониторинга качества освоения студентами колледжа профессиональной образовательной программы по специальности Страховое дело. Была сформирована информационная среда образовательного общения на основе разработанных результативных критериев (владение технологиями информации и коммуникации в страховании, умение создавать, представлять и реализовывать страховые продукты и др.) и уровней (репродуктивный, продуктивный с использованием профессиональной педагогической поддержки, творческий - умение решать задачи нестандартного содержания). В модель интерактивного мониторинга был включен авторский диагностический инструментарий (компьютерно-адаптивное тестирование, виртуальная учебная фирма, защита проектов, решение интерактивных практических задач и др.). Был выявлен значительный ресурс интерактивных технологий обучения и 45 мониторинга качества освоения программы как средств формирования общих и профессиональных компетенций студентов колледжа. Система интерактивного педагогического мониторинга – это совокупность его элементов, взаимосвязанных между собой, обеспечивающих осуществление всех мониторинговых процедур для достижения поставленных задач и целей. Как и всякая сложная система, интерактивный мониторинг состоит из нескольких подсистем и их элементов для получения количественных показателей качества результата обучения. К таким элементам можно отнести: предмет, объекты и субъекты мониторинга, комплекс мониторинговых показателей, инструментарий мониторинговых обследований, системы накопления информации, процедуры анализа и переработки информации, методы педагогической интерпретации и форматы предъявления результатов, программно–инструментальные осуществление прогнозов средства дальнейшего их анализа развития и интерпретации, объекта. Система интерактивного педагогического мониторинга должна обладать обратными связями, посредством которых обеспечивается управление ее подсистемами, обусловливая как стабильность, так и развитие. Вместе с тем система такого мониторинга не является замкнутой, так как другие, связанные с ней системы (система образования, система тестирования, система воспитания, система управления, общественные системы и др.) способны оказывать на нее воздействие, а она, в свою очередь, влиять на них. Предметом интерактивного педагогического мониторинга выступает качество подготовленности обучающихся, уровень их обученности. Объектами мониторинговых наблюдений могут выступать как отдельные обучающиеся, так и учебные группы, а также, косвенно, педагоги, образовательные учреждения, педагогические системы и др. Субъектами интерактивного педагогического мониторинга являются как педагоги, так и проводящие обследование организаторы, независимые аттестационные службы и комиссии. 46 Инструментарием интерактивных мониторинговых исследований могут быть анкеты, тесты, практические задания; другие контрольно-измерительные материалы. Современными инструментами мониторинговой деятельности являются технические и информационные средства (компьютерные адаптивные тесты, тренажеры), программно–инструментальные продукты (виртуальные учебные фирмы), средства коммуникации и т.д. Критерии оценивания уровня подготовки обучающихся зависят от поставленных целей мониторинга. Совокупность научных методов и процедур интерактивного мониторингового исследования выводит педагогов на комплекс действенных способов сбора и анализа результатов независимого контроля учебных достижений обучающихся. Можно утверждать, что система интерактивного мониторинга качества учебных достижений является многоуровневой, многофакторной, целенаправленной, динамической, саморазвивающейся. Следует отметить также междисциплинарный характер оценочного инструментария. Проведенное нами исследования позволяет сделать вывод о том, что тестирование, и, особенно, адаптивное компьютерное тестирование, в настоящее время относится к высоким технологиям контроля качества учебных достижений обучающихся, позволяющим осуществлять научно– инновационный подход к организации интерактивного мониторинга качества образования по определенным показателям. Поэтому можно рекомендовать педагогам проводить интерактивный мониторинг на основе использования различных тестовых систем: критериально–ориентированных, нормативно– ориентированных, компьютерных и бланковых (на бумажной основе). Следует отметить, что накопление и анализ результатов мониторинга в виде тестового контроля по каждому тематическому разделу дисциплины и по каждому обучающемуся в течение всего периода обучения обеспечит фактор индивидуализации образования, позволит выявить способности и предрасположенности каждого обучающегося к определенному спектру 47 учебных дисциплин и тем, а также, наоборот, слабо усвоенные темы для проведение коррекции и дополнительных занятий.. Результаты педагогического мониторинга на уровне отдельных групп обучающихся педагогам могут для предоставить ценную совершенствования информацию, навыков необходимую оценивания, выработки объективных критериев оценивания как учебных достижений студентов, так и собственной педагогической деятельности, для корректировки образовательных программ, для выбора эффективных технологий обучения. Основной функцией интерактивного мониторинга являются наблюдение, выявление, анализ и оценка качества состояния уровня учебных достижений обучающихся на основе сопоставимых результатов педагогических измерений. К другим функциям интерактивного мониторинга качества учебных достижений можно также отнести следующие: •получение оперативной и среднесрочной, всесторонней и валидной информации о состоянии уровня учебных достижений по результатам независимого контроля; •обеспечение движения потоков валидной образовательной информации для создания надежной и оперативной обратной связи; •выявление результативности образовательного процесса на различных его стадиях, начиная с ранних, и качества учебных программ путем сравнения с нормами и требованиями стандартов; • обеспечение валидной диагностики особенностей учебного процесса, выявление достижений и пробелов в образовании конкретных учащихся, дифференциация и индивидуализация их обучения и развития; •прогнозирование и управление развитием образовательных программ на основе анализа комплексной образовательной информации; рейтинга •определение образовательного учреждения, обучающегося, на основе групп обучающихся, сопоставимости результатов массового тестирования; • формирование интерактивных 48 информационных систем самоподготовки, самоконтроля, самоаттестации и рефлексии обучающихся; потребности •выявление в повышении квалификации и профессиональной переподготовки педагогических кадров. Алгоритм проведения интерактивного педагогического мониторинга может быть следующий. 1. Определение требований образовательных (ФГОС СПО) и профессиональных стандартов, а также требований работодателей. 2. Операционализация требований стандартов. Перевод их в измеряемые индикаторы; установление комплекса показателей и критериев, для обоснования норм, как мер качества образования, по которым можно судить о степени достижения стандартов. 3. Разработка стандартизированных контрольно–измерительных материалов, контрольно–оценочных процедур, адаптивных тестов. Создание математических моделей автоматизированной проверки и обработки результатов тестирования. 4. Разработка методик шкалирования и оценивания результатов педагогических измерений. 5. Сбор и накопление метрических характеристик качества учебных достижений обучающихся с использованием информационных технологий и программно–инструментальных средств. 6. Систематизация информации и анализ результатов мониторинговых исследований, оценивание достигнутых результатов относительно требований стандартов и норм. 7. Представление образовательной индивидуальной и статистической информации по результатам тестового контроля в формате, обеспечивающем ее доступность большому числу пользователей, многоуровневый и многофакторный педагогический анализ. 8. Интерпретация образовательной системы, результатов, моделирование прогнозирование направлений состояния ее развития, выработка рекомендаций по совершенствованию образовательного процесса. 49 Принятие обоснованных управленческих решений и мер, направленных на получение положительных изменений в образовательной деятельности учебных учреждений в целях повышения ее результативности. 50 Требования ФГОС СПО по специальности Требования работодателей Учебный план. Рабочие программы дисциплин и модулей Учебно-методические комплексы по специальности Цель: постоянное интерактивное отслеживание качества освоения ОПОП Задачи Определение содержания контролируемой информации Организация процедуры мониторинга Разработка промежуточного мониторинга качества освоения ОПОП Определение базового уровня студента Анализ результатов Итоговая оценка качества освоения ОПОП Инструментарий мониторинга Разработка технологии «виртуальной учебной фирмы» Создание банка интерактивных тестовых заданий Промежуточный мониторинг: анкетирование, компьютерное тестирование, виртуальная учебная фирма Предварительный (входной) мониторинг: анкетирование, тестирование Разработка базы данных мониторинга освоения ОПОП Итоговый мониторинг: анкетирование, компьютерное тестирование, виртуальная учебная фирма, защита дипломного проекта Результаты Начальный (входной) мониторинг Информация о качестве освоения ОПОП (знания, умения, практический опыт) Информация о сформированности общих и профессиональных компетенций Уровни Репродуктивный Продуктивный Творческий Анализ результатов мониторинга Обратная связь и корректирующие действия Рис. 1.1 Модель интерактивного мониторинга качества освоения ОПОП 51 Результаты проведенного теоретического исследования позволили нам составить модель интерактивного мониторинга качества освоения основной профессиональной образовательной программы (ОПОП). Как видно из схемы модели (Рис. 1.1), разработка интерактивного мониторинга начинается с изучения: а) требований ФГОС СПО по специальности; б) требований работодателей (профессиональных стандартов, отраслевых и корпоративных квалификационных стандартов). Далее, разрабатывается комплект учебной документации с учетном требований предыдущего этапа: учебный план; рабочие программы дисциплин и модулей; учебно-методические комплексы по специальности. И все это должно работать на цель мониторинга - постоянное интерактивное отслеживание качества освоения ОПОП. Затем ставятся задачи мониторинга: - определить содержания контролируемой информации; - провести мероприятия по организации процедур мониторинга - разработать методы анализа результатов; - определить первоначальный (базовый) уровень подготовки студентов; - разработать средства промежуточного мониторинга качества освоения ОПОП - сформировать комплекты для итоговой оценки качества освоения ОПОП. На следующем этапе разрабатывается инструментарий мониторинга: 1) создается банк интерактивных тестовых заданий по каждому разделу дисциплин и модулей программы 2) разрабатывается сценарии для технологии «виртуальной учебной фирмы»; 3) разрабатывается база данных мониторинга освоения ОПОП; 4) создаются измерительные материалы для предварительного (входного) мониторинга: анкеты, тесты; 52 5) создаются оценочные средства для промежуточного мониторинга качества освоения ОПОП: анкеты, компьютерные тесты, материалы для «виртуальной учебной фирмы»; 6) формируются комплект материалов для проведения итогового этапа мониторинга, в который входят анкетирование, компьютерное тестирование, технология «виртуальная учебная фирма», защита дипломного проекта. После проведения мониторинга все его субъекты получают информацию о его результатах: о начальном (входном) мониторинге; о качестве освоения ОПОП (знания, умения, практический опыт студентов); о сформированности общих и профессиональных компетенций. В процессе анализа выявляются уровни освоения ОПОП: репродуктивный; продуктивный; творческий. После анализ результатов мониторинга выстраивается обратная связь и корректирующие действия, которые влияют на содержание образовательной программы, задачи мониторинга и инструменты мониторинга. 1.3 Инновационные формы контроля для проведения интерактивного мониторинга Как известно, с технологиями мониторинга и диагностики тесно связано понятие педагогического контроля. Действительно, сама возможность осуществления различных видов мониторинга, в том числе и интерактивного, зависит от качества соответствующих средств контроля. Причем педагогический контроль, педагогическое измерение уровня достигнутого качества учебных достижений предполагают в основном получение количественной информации, а уже на ее основании проводится качественный анализ, формулируются выводы, например, по совершенствованию образовательного процесса. Традиционная система контроля непригодна для организации интерактивного мониторинга в профессиональном образовании. Причины этого 53 кроятся в ее недостатках, таких как стихийность, нерациональность, отсутствие систематичности, единых средств и критериев оценивания, субъективность. Чаще всего диагностика уровня знаний и умений обучающегося в традиционной системе контроля строится на качестве его ответа отдельному преподавателю по нескольким вопросам по дисциплине взятым случайным образом. Состояние такого комплексного и многоуровневого объекта как уровень учебных достижений обучаемого выявляется при этом по отдельным показателям и по несопоставимым данным, что непригодно для мониторинга. Традиционными методами контроля оцениваются разные свойства обучаемых, полученные на основе субъективных оценок в разное время наблюдения, что не соответствует требованиям мониторинга исследуемых объектов. Поэтому выводы, сделанные на основе таких оценок, не отображают истинное состояние исследуемых обучающихся, и не способствуют выявлению качества их учебных достижений. Традиционный способ контроля не дает полного представления о состоянии объекта мониторинга (уровня учебных достижений) и не позволяет сравнивать между собой показатели исследуемых групп обучающихся. Только в профессиональном условиях использования образовании появляется тестового возможность контроля в организации интерактивного педагогического мониторинга для получения оперативной, валидной и разносторонней образовательной информации с элементами обратной связи. Педагогический тест становится важнейшим инструментом мониторинга и методом выявления достоинств и недостатков различных образовательных программ и компонентов образовательной среды, средством управления качеством образования. К педагогическому тестированию как методу измерения, используемому для интерактивного мониторинга и объективизации диагностики качества образования, наиболее применимы такие понятия как «индикатор», «измеритель», «показатель», «критерий». 54 Более того, интерактивный мониторинг качества учебных достижений средствами педагогического тестирования ориентирован, с одной стороны, на точное отражение в тестах содержания образования и требований ФГОС СПО, профессиональных стандартов. С другой стороны, как справедливо отмечает Н.Ф. Ефремова [46] тест делает возможным стандартизированное измерение знаний, умений и практического опыта во всем комплексе их качественных характеристик: - полноты, т.е. совокупности всех знаний по изучаемой дисциплине, предусмотренных образовательной программой (стандартом), запросами работодателей и др.; - глубины и осознанности, т.е. понимания связей между знаниями, путей получения и закрепления знаний, умения их предъявлять и доказывать. - оперативности и гибкости, т.е. применения знаний в сходных и вариативных ситуациях за счет умения анализировать, обобщать, интегрировать и дифференцировать общепредметные знания и умения; а также быстроты нахождения вариативных способов применения знания в разных ситуациях; - конкретности и обобщенности, т.е. способности к раскрытию конкретных проявлений обобщенного знания или подведению конкретных знаний под обобщенные; - систематизированности, т.е. осознания состава некоторой совокупности знаний, их иерархии и взаимосвязанной последовательности, осознания необходимости наличия одних знаний как базы для усвоения других; - адекватности, т.е. такой совокупности знаний в сознании учащихся, структура которых соответствует структуре научной теории и этапу обучения. Концептуально интерактивный мониторинг на основе использования данных тестового контроля обеспечивает объективность характеристик исследуемых объектов. Тестовый, квалиметрический подход в отличие от традиционного педагогического контроля, позволяет извлечь максимум 55 объективной информации из полученных количественных оценок и с большой точностью оценить состояние исследуемых групп обучающихся. В последние десятилетия развитие тестов характеризуется широким использованием новых моделей педагогического измерения в таких направлениях современных педагогических технологий как дистанционное обучение, модульный принцип организации обучения, интерактивное обучение и адаптивный тестовый контроль с активным использованием компьютера. Проведенные исследования педагогов и психологов показали, что использование современных моделей педагогического измерения, основной единицей которых является компьютерный интерактивный тест, делает возможным создание адаптивных интерактивных обучающих и контролирующих программ. При этом интерактивные компьютерные тесты позволяют проводить надежную оценку объема и качества овладения учебными материалами различного уровня трудности. В настоящее время все большее значение в профессиональном образовании приобретает компьютерное тестирование. В некоторых случаях традиционные бланковые («бумажные») тесты преобразуются в компьютерный формат, причем, зачастую, единственная причина этого – не более чем «дань моде», тенденция. Однако выбор компьютерного формата для тестовой диагностики должен основываться на более важных и обоснованных предпосылках. Действительно, компьютерная тестовая диагностика имеет целый ряд неоспоримых преимуществ перед традиционным бланковым тестированием: - экономию затрат образовательного учреждения на печать тестов «на бумаге»; - возможность усовершенствования защиты информации в процессе тестирования; - возможность упрощения процесса подсчета результирующих баллов, так как результаты автоматически обрабатываются компьютером в процессе тестирования; 56 - большая эффективность, надежность и точность педагогического измерения по сравнению с бланковым форматом теста; - возможность непрерывного, т.е. в любое удобное время для испытуемого, проведения тестирования, что очень ценно для дистанционных форм обучения; - возможность применения инновационных типов тестовых заданий, которые в принципе невозможно воспроизвести на «бумаге»; - расширения возможностей как по форме педагогических измерений, так и в типах измеряемых познавательных навыков, знаний , умений испытуемых; - возможность определить различие между "пропущенными" заданиями и заданиями, до которых "испытуемый не успел дойти"; - возможность определить время на выполнение каждого задания; - возможность создания интерактивных, адаптивных диагностических тестов. Управление учебным процессом, как известно, является одним из определяющих факторов повышения его качества и эффективности. Н.Ф.Талызина [144] рассматривает коррекцию процесса управления, за счет действия обратной связи как самостоятельный и важный этан управления. Коррекция возможна только при условии, если есть возможность получения достоверной, объективной мониторинговой информации о состоянии системы, в том числе педагогической. Поэтому, именно надежные компьютерные тесты могут стать главным механизмом мониторинга. В этой связи необходимо отметить важность диагностичности целей и задач, решаемых системой управления процессом обучения. Под диагностичностью мы пониманием определенное однозначное описание целей, способов их выявления, измерения и оценки. Только наличие диагностических целей обучения позволяет контролировать состояние процесса, и, следовательно, его коррекцию и оптимизацию. Как пишет в монографии Ким B.C.[ 65]: «…Достижение высокого качества обучения возможно только мри наличии объективных методов 57 диагностики. …При этом традиционная форма оценивания уровня знаний в форме опроса, экзамена, проводимого человеком, весьма субъективна. … столь неточный «измерительный прибор», каковым является человек, существенно снижает эффективность диагностики учебного процесса». Поэтому, как справедливо отмечает В.С. Ким, в качестве контрольноизмерительного инструмента мониторинга выбирается тестирование. Процесс тестирования учебных достижений разбивается по В.С. Киму на три этапа: 1) разработка теста; 2) процедура тестирования; 3) обработка и интерпретация результатов тестирования. В данном контексте становится важным другое замечание В.С. Кима, что «… если рассматривать учебный процесс как управляемую систему, то становится очевидной важность такого элемента системы как обратная связь.» Действительно, именно обратная связь позволяет преподавателю: 1) получать информацию о текущем состоянии учебных достижений учащихся; 2) выполнять коррекцию хода учебного процесса и эффективно организовывать его. С другой стороны, обратная связь позволяет обучающемуся осуществлять самоконтроль,,; самодиагностику и рефлексию своего процесса учения. Как известно, обратная связь организуется в учебном процессе в разнообразных формах, однако, среди них все большее значение, и все большее применение находят педагогические тесты, в том числе и компьютерные. Тесты являются объективным инструментом педагогической диагностики и мониторинга, позволяя организовать эффективную систему обратной связи в современном учебном процессе. Н.Ф. Ефремова [46, С. 109] доказательно утверждает, что наиболее интересные и перспективные формы контроля и мониторинга в настоящее время являются различные модификации компьютерного тестирования, как на уровне образовательного учреждения, так и централизованное, массовое. По ее мнению, есть основание предполагать, что в «…информационном обществе именно такие технологии со временем станут преимущественными». 58 Особенностью этих организационных форм мониторинга качества образования является использование метода адаптивного тестирования, когда процесс формирования тестов и обработка полученных результатов осуществляются автоматически [46]. Компьютерная программа подбирает либо методом случайной выборки, либо по специальному алгоритму тестовые задания непосредственно перед предъявлением их на экран монитора в процессе тестирования с использованием интерактивной обратной связи, то есть в зависимости от уровня подготовленности испытуемого, от его ответов на предыдущие задания. В данном интерактивном мониторинге компьютерная программа адаптирует, приспосабливает уровень трудности заданий к уровню подготовленности тестируемого. Н.Ф. Ефремова отмечает [46, С. 110] : «… некоторые ограничения, характерные для компьютерного тестирования: • невозможность предварительного просмотра всего теста, так как задания решаются по мере их предъявления на экране; • ограничение времени работы над заданием, «скоростные тесты», компьютерная программа фиксирует время выполнения задания, если время выполнения задания не адекватно его трудности, выделяются «подозрительные протоколы»; • невозможность возврата к прошлым заданиям; • достижение рандомизации случайным предъявлением на экране различных вариантов вопросов и правильных и неверных ответов к ним; • исключение или снижение вероятности угадывания…». Заметим, что вышеперечисленные Н.Ф. Ефремовой пункты - это именно ограничения, а не недостатки компьютерного тестирования. Например, «невозможность предварительного просмотра всего теста», с психологической точки зрения лишают экзаменующегося некоторого комфорта, однако с другой стороны при этом повышается надежность и достоверность педагогического измерения. Затем, «ограничение времени работы над заданием», хотя и лишают испытуемого некоторого удобства, но 59 являются часто обязательной составляющей профессиональной компетенции, а именно «скорости принятия решения». Проведенное исследование позволило сформировать ряд требований к проведению и организации компьютерного адаптивного тестирования, применяемого для интерактивного мониторинга качества освоения ОПОП: 1. Структуризация содержания образования и образовательной программы с целью определение требований ФГОС СПО и др. стандартов в индикаторах (измеряемых величинах) и установление критериев, по которым можно судить об уровне учебных достижений и качестве освоения ОПОП. 2. Разработка стандартизированных контрольных измерительных материалов, моделей тестирования и проверки результатов, адекватных структуре содержания и требованиям критериев. 3. Выбор методов шкалирования и оценивания уровней учебных достижений обучающихся. 4. Объективность и независимость оценки качества образования. 5. Алгоритмизация и автоматизация системы тестового контроля и мониторинга. 6. Сбор данных о качестве учебных достижений по различным выборкам испытуемых с использованием информационных технологий и программно– инструментальных средств. 7. Систематизация и анализ результатов тестового мониторинга, оценивание достигнутых результатов относительно требований ФГОС СПО и профессиональных стандартов. 8. Интерпретация результатов анализа и выработка рекомендаций по совершенствованию образовательного процесса для получения положительных изменений в деятельности образовательных учреждений и повышения качества образования. Таким образом, уже сегодня и теоретически, и технологически компьютерные адаптивные тесты позволяют обеспечить формирование в 60 образовательной организации системы интерактивного квалиметрического мониторинга качества подготовки студентов. С помощью компьютерного тестирования сегодня удается оценить знания, умения, навыки обучаемого; уровень развития интеллекта; выявлять способности в некоторых предметных областях. Однако тесты учебных достижений в принципе не могут измерить и оценить такие комплексные категории образованности, как общие и профессиональные компетенции. Тесты не могут оценить такие категории как талант или творческие способности личности. Более того, некоторые ученые, например Дж. Равен [136] , критически относятся к тестам и считают вредным их использование в качестве средств оценки уровня подготовки и сформированности личности. Действительно, человеческая компетентность, человеческие способности чрезвычайно разнообразны, и имеющиеся в распоряжении преподавателей тестовые технологии могут измерить лишь некоторые составляющие компетенций человека, но в принципе не могут оценивать и стимулировать развитие комплексных компетенций и различных талантов. В процессе обучения возможно натаскивание учеников на получение высоких баллов, способных обеспечить дальнейшее обучение в вузе или поступление на хорошую работу. Для решения комплексных проблем и достижения современных целей образования нужно использовать иные модели формирования и измерения компетенций и способностей обучающихся, например, такие как метод проектов, технология «виртуальных учебных фирм» и др. Не следует забывать: а) тестирование является лишь одной из форм оценки результатов обучения; б) от тестирования нельзя ожидать больше того, что оно может обеспечить. А что касается измерения компетенций и способностей человека, то здесь нужны, скорее всего, другие «измерители», создание которых также может быть основано на информационных технологиях. В настоящем исследовании хорошо зарекомендовал себя метод «виртуальных учебных фирм». 61 В условиях традиционного обучения редко удаётся организовать полноценную практику будущего специалиста на действующем предприятии с целью формирования у него профессиональных компетенций и практического опыта. Альтернативой или дополнением учебной и производственной практикам могут стать виртуальные виртуальные учебные практикумы, фирмы (ВУФ), компьютерные которые симуляторы создаются и средствами современных информационных технологий. В сочетании с компьютерным тестированием виртуальные учебные фирмы являются, по нашему убеждению, эффективной формой интерактивного обучения и мониторинга. Описанный в специальной литературе опыт использования виртуальных компьютерных систем учебного назначения свидетельствует о том, что имитировать профессиональную деятельность позволяют такие педагогические программные продукты, как виртуальные предприятия [129]. Виртуальная учебная фирма - это комплекс технических, программных и методических средств, обеспечивающих имитацию работы на предприятии или в организации. Программно-методическое средства типа ВУФ позволяют по индивидуальному заданию выбирать объект изучения из предлагаемого множества альтернатив (например, воображаемое предприятие или организация, на котором имитируется профессиональная деятельность), настраивать его параметры, конфигурировать заданную схему и режимы проведения учебно-профессионального проекта, обрабатывать результаты и проводить их математическую оценку (в том числе расчет вероятностей рисков при страховании, оценку экономической эффективности и др.) Здесь в полном объеме реализуется комплекс образовательных функций, возложенных на учебную и производственную практику. Виртуальная учебная фирма – это один из перспективных видов эффективной имитации профессиональной деятельности, позволяющей реализовать и усилить многие элементы самостоятельного обучения. Его интерактивная компонента заключается в обеспечении коллективного доступа 62 обучающихся к объектам управления и их взаимодействия по компьютерным сетям для решения поставленной профессиональной задачи [128]. В основе функционирования виртуальной учебной фирмы лежит тесная интеграция педагогических и информационных технологий. Особенно эффективно, на наш взгляд, ВУФ позволяет в полной мере реализовать метод проектов. Под методом проектов понимается способ достижения дидактической цели через детальную проработку и решение некоторой проблемы. При этом обучающийся должен достичь вполне реальный, практический результат, оформленный тем или иным образом в виде некоего конечного продукта [102]. Таким образом, образовательная технология «Виртуальная учебная фирма» открывает широкие возможности для использования на практике теоретических знаний и приобретения профессиональных компетенций, что является очень важным для адаптации специалиста на рынке труда. Хорошо организованная учебная фирма должна обеспечивать решение следующих задач: - формирование навыков конкретных видов деятельности на рабочем месте при помощи имитации ситуации работы реальной фирмы; - организация занятий и деятельности, направленных на активное поведение обучаемого, связанное с решением практических задач; - овладение новыми технологиями, в том числе информационными и коммуникативными; - ознакомление с коммерческой и другой деятельностью в бизнесе, торговле, страховом деле; - развитие навыков самостоятельности, творческого отношения к работе, умения принимать решения, работы в команде, способности разрешать конфликты. Как известно, основное предназначение метода проектов состоит в предоставлении обучающимся возможности самостоятельного приобретения знаний в процессе решения практических, проблемных задач, в том числе и 63 профессиональной направленности. Эта технология интегрирует исследовательские, творческие навыки обучающихся, а преподавателю в рамках проекта отводится роль координатора, эксперта и консультанта. Поэтому, совершенно обоснованно применение ВУФ для реализации учебных проектов. Проблематика и содержание учебных проектов в рамках виртуальной фирмы должны быть такими, чтобы их выполнение совершенно естественно требовало бы от обучающихся: – систематического наблюдения за теми или иными экономическими, социальными явлениями, требующие сбора данных для решения поставленной проблемы; – сравнительного исследование того или иного явления, факта, события, для выявления тенденций или принятия решения, разработки предложений и т.д.; – определения эффективности использования разных способов решения поставленной проблемы; – групповой творческой разработки некоторой идеи, ведущей к решению задачи. С нашей точки зрения, применение ВУФ в профессиональном обучении, в том числе и в учебных проектах, открывает новые возможности для организации познавательной деятельности студентов. Применение технологии виртуальных фирм позволяет: – практически любому числу обучающихся иметь удаленный доступ к воображаемой учебной фирме; – варьировать начальные условия и имитировать различные виды хозяйственной деятельности, что позволяет искать различные варианты решения поставленных задач; – проводить наблюдение за виртуальным хозяйственным или социальным процессом, исследуемым в ходе воображаемого эксперимента; – использовать при интерпретации полученных данных такие методы исследования, как анализ, сравнение, синтез и т.д. 64 Автором настоящего исследования была разработана и апробирована на практике организационно-педагогическая модель дистанционного обучения студентов колледжа по специальности «Страховое дело» на основе автоматизированного комплекса «Виртуальная учебная фирма» с удалённым доступом. Автоматизированный комплекс «ВУФ» – это многофункциональное информационное средство организации учебной деятельности студентов, реализующее функции управления учебным проектом, обучения и контроля знаний (тестирования). Данный комплекс создает педагогические условия для: – ознакомления удаленного пользователя с теоретическими основами, практикой и методами функционирования учебной фирмы; – проведения тестирования обучаемых в целях выявления качества усвоения знаний; - формирования в интерактивном режиме программы активного поиска решения поставленных проблем; – проверки заданных начальных условий проекта и осуществления студентами (индивидуально и в группах) активных действий в соответствии со сформированной программой проекта; – предоставления преподавателю, в том числе и удаленному при дистанционном обучении, дополнительных возможностей для коррекции и контроля правильности решения студентами поставленных задач. Предлагаемый автоматизированный комплекс «Виртуальная учебная фирма» имеет модульную структуру (Рис.1.2). 65 Рис.1.2 Структура автоматизированного комплекса «Виртуальная учебная фирма» Назначение модулей описано в таблице 1.1. 66 Таблица 1.1 Назначение модулей автоматизированного комплекса «Виртуальная учебная фирма» Название модуля 1.Модуль управления Назначение Позволяет перенастраивать систему под новые проекты и осуществлять его функционирование в заданном преподавателем режиме работы Проверяет, имеет ли данный пользователь право на работу в системе и в каком статусе 2.Модуль идентификации пользователя 3.Коммуникационный Обеспечивает связь удаленного пользователя с Webмодуль сервером образовательного учреждения, а также связь всех пользователей между собой Позволяет пользователям знакомиться с системой управления учебной фирмы и имитировать 4.Модуль имитации элементарные операции и настройки условий деятельности фирмы заданного проекта, а также получать параметры результатов Позволяет наглядно представить результаты 5.Модуль деятельности учебной фирмы в форме, удобной для визуализации анализа Содержит полную информацию о проекте, краткие 6.Обучающий модуль теоретические положения, методики проведения экспериментов Содержит текстовые, табличные и графические 7.Справочный модуль данные, необходимые для работы учебной фирмы 8.Модуль Предназначен для контроля усвоения знаний о фирме, тестирования принципах и методике ее работы В ходе проектирования автоматизированного комплекса была составлена модель учебной деятельности и интерактивного взаимодействия студентов на основе создания информационной среды «Виртуальная учебная фирма» (рис. 1.3). В процессе моделирования были выявлены компоненты: обучающий, диагностическо-мониторинговый и организационно-управленческий. Результат применения предлагаемой дидактической технологии, основанной на данной модели, состоит в комплексном и синхронном формировании теоретических знаний, умений 67 и практического опыта студентов, профессиональных компетенций, а также развитие мотивационного и поведенческого компонентов информационной и профессиональной культуры личности студентов. Рис. 1.3 Модель учебной деятельности студентов на основе комплекса «Виртуальная учебная фирма» Таким образом, применение виртуальных фирм в учебном процессе, наряду с другими электронными системами учебного назначения, позволит педагогу в полной мере: - осуществлять мониторинг учебной деятельности каждого студента; 68 - сравнивать достигнутые результаты с показателями предыдущих лет обучения; - выявлять лучших студентов, - повысить их мотивацию. Но самое главное – применение технологии виртуальных фирм может стать значимым фактором формирования как общих, так и профессиональных компетенций будущих специалистов. Еще одной перспективной формой контроля для внедрения исследуемой технологии являются интерактивные практические заданий по формированию профессиональной компетенции. Данные интерактивные практические задания, как пример реализации методов проблемного обучения, позволяют сформировать отдельные признаки, черты профессиональной компетенции, состоят из условия, в которой поставлена практическая профессиональная проблема, и эвристического алгоритма ее поэтапного решения. В ходе данного исследования нами был наработан педагогический опыт по разработке и применению интерактивных практических заданий для мониторинга освоения образовательной программы. Общие рекомендации для преподавателей по разработке и использованию интерактивных практических заданий заключаются в следующем: - не задавать вопросы и не ставить проблемы, на которые можно ответить однозначно: «да» или «нет»; - по возможности, в условии задания избегать вопросы, подразумевающие только один правильный ответ; - формулировать проблемы (вопросы в условиях) так, чтобы они заставляли студентов делиться своими мыслями и мнениями, чувствами, а не давать заученных ответов из учебника; - для усиления интерактивности, при проведении практического занятия пользоваться вопросами в режиме «эстафеты», то есть направлять вопросы и комментарии от одного студента к другому; - для повышения альтернативности мышления студентов использовать вопросы типа: «А кто из вас думает иначе?»; 69 - уважать достоинство студентов, признавая их право на ошибочное суждение, при этом избегать однозначные оценочные реакции даже на неверный ответ студента, всегда поблагодарите его за участие в обсуждении; - в ходе практического занятия ориентировать студентов на общение друг с другом, на поиск алгоритма самостоятельного решения поставленной проблемы, а не на ожидание вашей подсказки преподавателя. Для каждой рассматриваемой на практическом занятии проблемной ситуации преподаватель должен предварительно подготовить конкретные вопросы для обсуждения, предусмотреть варианты реакции студентов, заранее продумать свои комментарии и корректировку хода обсуждения. В процессе диалога предпочтительными должны быть вопросы, побуждающие студента к рефлексивной деятельности. Например, такого типа: «Как вы об этом догадались? Как у вас получилось? Как вы рассуждали, когда решали эту задачу?». В качестве формы представления профессиональных ситуаций может быть использована такая компетентностно-ориентированная образовательная технология, как метод проектов, реализуемый в виде виртуальных учебных фирм (ВУФ). Таким образом, можно объединить на практическом занятии обсуждение результатов работы студентов в виртуальной фирме с разбором решения интерактивного практического задания. подразумевается специально организованный Так как под проектом преподавателем и самостоятельно выполняемый студентами комплекс действий, завершающихся созданием некоего результата, то метод проектов также является технологией, позволяющей формировать педагогические ситуации на основе различных профессиональных проблем. При этом заметим, что компетенции, в свою очередь, как проявляются, так и формируются в ситуации [88]. Таким образом, можно объединить на практическом занятии обсуждение результатов работы студентов в виртуальной фирме с разбором решения интерактивного практического задания. При этом возникает возможность 70 проведение мониторинга формирования профессиональных компетенций, определенных в ФГОС СПО. В данном аспекте - форм контроля за результатами обучения – различие традиционной оценки и интерактивного мониторинга качества освоения ОПОП проявляется наиболее отчетливо. Таким образом, теоретический анализ проблемы позволил сформулировать концепцию интерактивного мониторинга качества освоения студентами основной профессиональной образовательной программы. Результат обучения является целевым элементом данной концепции. Результат обучения процесса, это реальный итог многолетнего образовательного образовательной деятельности студентов колледжа. Взаимосвязанными этапами такой деятельности в данном концептуальном подходе являются: диагностирование полученных результатов, их сопоставление с прогнозируемыми результатами (то есть с требованиями ФГОС СПО), коррекция отдельных учебных действий, условий их протекания и др. Все это в современных образовательных системах называет мониторингом, а мы уточняем и называем данную систем интерактивным мониторингом качества освоения образовательной программы. Концепция образовательной интерактивного программы мониторинга позволяет качества выявить его освоения следующие принципы: 1) непрерывности, те постоянного и систематического сбора данных; 2) диагностичности, подразумевающей наличие целевой модели или критериев, с которыми можно соотнести (сопоставить) реальное состояние отслеживаемого объекта, системы или процесса; 3) информативности (включение в состав критериев для отслеживания наиболее важных, проблемных показателей и критериев, на основании которых можно делать выводы динамики изменений в отслеживаемых процессах); 4) научности, подтверждающей обоснованность применяемых моделей и отслеживаемых параметров; 71 5) обратной связи, позволяющей на основе полученных результатов вносить коррективы в ход отслеживаемого процесса. Если традиционные способы оценивания не могут зафиксировать наличие узкоспециальных знаний, то еще в меньшей степени они способны улавливать формирование навыков, практического опыта, мотивов, способов мышления и видов деятельности, профессиональных компетенций, способных составить в будущем арсенал компетентного специалиста. Сегодня главными факторами интерактивного мониторинга в системе СПО по существу должны стать: диагностика динамики профессионального развития студентов, внесение соответствующих коррективов в процесс профессионального образования, а также отслеживание характеристик процесса становления личности, что в комплексе обладает традиционными большей сведениями информативностью о результатах по обучения. сравнению В с процессе интерактивного мониторинга, в современных формах контроля основной упор необходимо делать на применение полученных знаний, на выявление использованных методов, на оценку способа действий, на самооценку студентом своих действий, т.е. на приобретение профессиональных и общих компетенций. Концепция интерактивного мониторинга качества освоения образовательной программы среди множества существующих способов и форм контроля при осуществлении компетентностного подхода в системе СПО особо выделяет такие как: 1. Постоянное и систематическое наблюдение, отслеживания динамики изменений в осуществляемое для профессиональном и личностном развитии студентов колледжа. 2. Интерактивные практические задания, позволяющие получить информацию об уровне выраженности или сформированности основных компонентов ОПОП, о динамики развития профессионально значимых качеств субъектов образовательного процесса на основе анализа письменных или устных ответов на специально выбранные вопросы и проблемные ситуации. 72 3. Виртуальные учебные фирмы, позволяющие формировать и оценивать профессиональные навыки при помощи имитации работы реальной организации, связанной с решением практических задач; а также развивать навыки активного поведения обучаемого, самостоятельности, творческого отношения к работе, умения принимать решения, работы в команде. 4. Компьютерные адаптивные тестовые технологии, позволяющие оперативно получать валидную мониторинговую информацию о качестве учебных достижений студентов с элементами обратной связи, выполнять коррекцию хода учебного процесса и эффективно его организовывать. Компьютерные адаптивные тесты отражают содержание образования и требования ФГОС СПО, позволяют оценить полноту, совокупность всех знаний по изучаемой дисциплине (модулю), их глубину и осознанность, определить систематизированность знаний студентов. Проведенное исследование позволило нам схематически представить структурную схему технологии интерактивного мониторинга качества освоения студентами колледжа ОПОП (Рис. 1.4). 73 Рис. 1.4. Технология интерактивного мониторинга качества освоения студентами колледжа ОПОП ФГОС СПО (авторская структурная схема на примере специальности Страховое дело) Следует отметить, что на рис. 1.4 технология интерактивного мониторинга изображена только схематически. Основной смысл приведенной здесь схемы состоит в том, что разные формы применяемого нами мониторинга нацелены на оценку разных компонентов результатов освоения ОПОП ФГОС СПО по специальности Страховое дело. Например, компьютерные адаптивные тесты направлены, в основном, на оценку знаний, однако часть заданий помогают оценить умения студентов. Интерактивные практические задания формулируется так, чтобы осуществить мониторинг становления умений студентов, но естественно, решение поставленных здесь проблем затрагивают и знания обучаемых, и их практический опыт. 74 Виртуальная учебная фирма, как способ мониторинга, нацелена, в основном, на оценку сформированности практического опыта студентов, однако, естественно, она затрагивает и накопленные студентами за время обучения знания и умения. Таким мониторинга образом, последовательное позволяет сформированности обеспечить профессиональных зафиксированных в ФГОС СПО: осуществление интеграцию интерактивного трех компетенций аспектов студентов, знаний, умений и практического опыта. Очевидно, что сегодня возникает необходимость в новой концепции измерения , оценки и мониторинга достижений обучающихся в системе начального профессионального образования. На наш взгляд, технология интерактивного мониторинга качества освоения студентами ОПОП, отвечает на многие запросы педагогических коллективов образовательных организаций СПО. Внедрение подобной технологии мониторинга в практику обучения в образовательных организациях системы СПО явится продуктивным шагом в направлении основной цели образования – формирования компетентного, всесторонне развитого специалиста, конкурентоспособного в современных экономических условиях. Выводы по первой главе Проведенное мониторинга теоретическое качества освоения исследование обучающимися проблемы технологии профессиональной образовательной программы позволило нам сделать следующий выводы: 1. Ключевой проблемой внедрения принципов системы менеджмента качества в сфере профессионального образования является обеспечение постоянной диагностики и объективного мониторинга показателей качества освоения обучающимися профессиональных образовательных программ, при этом все большую роль играет технология педагогического тестирования, в 75 том числе и его автоматизированная модификация – компьютерное адаптивное тестирование. 2. В Российской Федерации за последние несколько лет вышел целый ряд основополагающих нормативных документов, касающихся мониторинга качества образования и независимой оценки качества образовательных услуг. Все эти документы отвечают современным тенденциям модернизации образования в нашей стране, направленным на развитие государственнообщественного контроля образовательных Законодательные над организаций и качеством и и системы исполнительные органы эффективностью работы образования целом. власти, в образовательная общественность взяли курс на модернизацию всей системы мониторинга и оценки качества образования. 3. В последнее десятилетие сложилась новая парадигма профессионального образования: результат образования определяют не только на основе усвоенных студентами знаний, умений и навыков, но и посредством оценки сформированности компетенций, приобретаемых в образовательном процессе. С этих позиций основным результатом образовательной деятельности становится формирование общих и профессиональных компетенций специалиста. 4. Разносторонняя мониторингом, фактически информация, способствует уровня обеспечиваемая повышению интерактивности) уровня между педагогическим взаимодействия различными (т.е. субъектами образовательного процесса, создает условия самооценки и самоидентификации (т.е. обратной связи), самовоспитания и саморазвития для этих субъектов. 5. В результате теоретического анализа исследуемой проблемы было сформулировано определение данного понятия: «Интерактивный мониторинг качества освоения студентами колледжа профессиональной образовательной программы – это систематическое стандартизированное наблюдение за состоянием образования и динамикой изменений его результатов, за учебными и внеучебными достижениями обучающихся, основанное на принципах их 76 взаимодействия и активности, опоре на групповой опыт, обязательной обратной связи». 6. В ходе проведенного теоретического исследования был разработан алгоритм проведения интерактивного педагогического мониторинга, а также сформирована модель интерактивного мониторинга качества освоения основной профессиональной образовательной программы (ОПОП). Данная модель включает: изучение требований ФГОС СПО и работодателей; разработку на этой основе комплекта учебной документации, процедур и инструментария мониторинга (банка интерактивных тестовых заданий; анкет, сценариев и технологии «виртуальной учебной фирмы» и др.) Заключительным этапом является анализ результатов мониторинга, после которого выстраивается эффективная обратная связь и корректирующие действия, которые влияют на изменения содержания образовательной программы и, при необходимости, инструментов мониторинга. 7. Теоретический анализ проблемы позволил сформулировать концепцию интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы. Результат обучения является целевым элементом данной концепции, а взаимосвязанными этапами концепции являются: диагностирование полученных результатов, их сопоставление с прогнозируемыми результатами (то есть с требованиями ФГОС СПО), коррекция отдельных учебных действий, условий их протекания и др. 8. Концепция образовательной интерактивного программы мониторинга позволяет качества выявить его освоения следующие принципы: - непрерывности, те постоянного и систематического сбора данных; - диагностичности, подразумевающей наличие целевой модели или критериев, с которыми можно соотнести (сопоставить) реальное состояние отслеживаемого объекта, системы или процесса; 77 - информативности (включение в состав критериев для отслеживания наиболее важных, проблемных показателей и критериев, на основании которых можно делать выводы динамики изменений в отслеживаемых процессах); - научности, подтверждающей обоснованность применяемых моделей и отслеживаемых параметров; - обратной связи, позволяющей на основе полученных результатов вносить коррективы в ход отслеживаемого процесса. 7. Среди существующих способов и форм проведения интерактивного мониторинга в ходе настоящего исследования особо выделили следующие: - постоянное и систематическое наблюдение за профессиональным и личностным развитием студентов колледжа; - интерактивные практические задания, позволяющие получить информацию об уровне сформированности основных компонентов ОПОП, о динамики развития профессионально значимых качеств субъектов образовательного процесса; - виртуальные учебные фирмы, позволяющие формировать и оценивать профессиональные навыки при помощи имитации работы реальной организации; - компьютерные адаптивные тестовые технологии, позволяющие оперативно получать валидную мониторинговую информацию о качестве учебных достижений студентов с элементами обратной связи, выполнять коррекцию хода учебного процесса и эффективно его организовывать. 78 Глава 2 Технология компьютерного адаптивного тестового контроля для проведения интерактивного мониторинга 2.1 Развитие систем компьютерного тестового контроля для проведения интерактивного мониторинга В отечественном профессиональном образовании наряду с традиционной системой оценки и контроля качества обучения студентов начинает складываться культура тестирования, в которой педагогические тесты выступают в качестве средства педагогического измерения учебных достижений. Более того, модернизация экономики и новые социальные условия обусловили потребность общества в получении независимой, объективной информации о качестве получаемого образования. Интерактивные компьютерные тесты, разработанные на научно-обоснованных методиках, обладают высокой надежностью и валидностью (при этом вышеупомянутые характеристики теста можно объективно оценить), и в этом они существенно отличаются от всех традиционных форм и методов педагогического контроля. В последние два десятилетия развитие тестов, с учетом информатизации образования, характеризуется широким использованием инновационных моделей педагогического измерения, в том числе и в таком направлении из современных педагогических технологий как адаптивный тестовый контроль с активным использованием компьютера. Исследования педагогов и психологов показали, что использование современных моделей измерения, основной единицей которых является педагогический тест, делает возможным создание адаптивных обучающих и контролирующих программ, которые позволяют проводить вероятностную оценку объема и качества овладения учебным материалом. В научно-педагогической литературе нет единства по вопросу определение самого понятия "тест". Одни авторы стоят на базе его научного 79 истолкования, а другие авторы показывают явно упрощенное восприятие этого понятия как простого перевода английского слова "test", т.е. испытание, проверка, проба. Отметим, что упрощение такого многопланового понятия как педагогический тест создает немало трудностей как в теории, так и в практике. Как справедливо отмечал В.С. Аванесов [3, 5] «… в теории это приводит к терминологической путанице и к засорению понятийного аппарата науки словами обыденной речи, а в педагогической практике - к подмене надежных и валидных тестов тестоподобной, примитивной и некачественной формой проверки». Сам В.С. Аванесов в работе [2] дает следующее определение педагогического теста: «Педагогический тест - это система фасетных заданий определенного содержания, возрастающей трудности, специфической формы, позволяющая качественно оценить структуру и эффективно измерить уровень знаний, умений, навыков и представлений.» Педагогические тесты по своей природе также являются тестами достижения, так как они измеряют результаты обучения. А в качестве прошлого опыта здесь выступает изучавшийся испытуемыми определенный учебный курс, определенная учебная дисциплина. Педагогические тесты направлены на оценку степени усвоения содержания учебного материала. К вопросу классификации тестов разные ученые подходят с разных позиций. Например, В.Ю. Переверзев [113] рассматривает несколько подходов к решению проблемы классификации педагогических тестов. Во-первых, педагогические тесты, по его мнению [112] в системе среднего и профессионального образования подразделяются на вступительные (входные), текущие, тематические, а также на тесты промежуточной (рубежной) и итоговой аттестации. Входной контроль – вступительные испытания – проводится для оценки уровня и качества подготовки абитуриентов с целью выявления их потенциальных возможностей обучения по выбранной специальности. Для стандартизации требований к абитуриентам и унификации (единообразия) 80 процедуры вступительных испытаний тестовый контроль абитуриентов должен быть организован централизованно. В настоящее время в российском образовании занял свое место Единый государственный экзамен (ЕГЭ), который проводится по основным предметам средней школы по окончании 11 класса. Особенность ЕГЭ состоит в том, что он совмещает два экзамена — выпускной школьный и вступительный в высшее или среднее профессиональное учебное заведение РФ. Входной контроль – точка начального отсчета в любом образовательном мониторинге. Текущий контроль осуществляется с помощью устного опроса, письменных контрольных работ, а также с помощью педагогических тестов. Текущий контроль характеризуется дидактической целью отслеживания хода обучения и фактически является основным источником информации для внутреннего мониторинга качества обучения. Проведение текущего контроля самый распространенный метод получения оперативной мониторинговой информации о соответствии (несоответствии) знаний обучаемых планируемым эталонам усвоения. В интерактивном мониторинге эта информация создает условия для своевременной коррекции процесса усвоения знаний, умений и навыков обучаемыми, помогает педагогу перестроить в нужном направлении учебный процесс. Текущий тестовый контроль может осуществляться в ходе повседневной учебной работы с помощью нескольких вариантов теста, разработанного самим преподавателем или группой преподавателей. Особое значение для интерактивного мониторинга качества обучения играют компьютерные адаптивные тесты. Этот вид тестов имеет большое значение для стимулирования у обучаемых стремления к систематической самостоятельной работе над выполнением классных и домашних заданий, повышения интереса к учению и ответственности за его результаты. Тематический контроль выявляет степень усвоения раздела или темы учебной программы. На основании данных тематического контроля преподаватель может сделать вывод о необходимости дополнительной 81 проработки данной темы в случае неудовлетворительных результатов контроля, либо перейти к изучению следующей темы, если результаты контроля подтверждают хорошую подготовку обучаемых. В тематическом контроле наиболее интересна информация, которая дает представление о динамике усвоения обучаемыми материала раздела, о степени рациональности мыслительных процессов или алгоритмов, использованных для выполнения заданий теста. Назначение промежуточного (рубежного) контроля сводится, в основном, к выявлению результатов определенного этапа обучения. В этом случае оценка уровня подготовки обучаемых производится с помощью зачетов по разделам программы, экзаменов или тестов. Промежуточный тестовый контроль проводится обычно после изучения логически законченной части (раздела, модуля) программы или в конце учебного периода (семестра, курса). Он играет большую роль в мониторинге и нацелен на проверку результатов учебной деятельности студентов по освоению сравнительно большего объема материала. Поэтому к промежуточному педагогическому тесту предъявляются повышенные требования: он должен обладать достаточно высокой надежностью и валидностью. Одна из важных сфер осуществления итогового контроля в системе профессионального образования — аттестация выпускников. В сфере образования под аттестацией понимается процедура установления соответствия уровня и качества подготовки выпускников общепризнанной, документально зафиксированной системе требований к уровню и к качеству образования. Различные виды аттестации предполагают использование разных систем. При итоговой аттестации выпускников роль общепризнанной нормы играют требования образовательных стандартов (ФГОС СПО). Процедура аттестации допускает использование различных форм и методов контроля, среди которых важное место по праву отводится научно обоснованным тестам. Тесты открывают новые возможности в процессе аттестации, поскольку именно они обеспечивают оценки, обладающие 82 необходимыми свойствами: обоснованностью, объективностью и сопоставимостью. Результаты итогового теста, совместно с другими формами итоговой аттестации, являются окончательной точкой отсчета для интерактивного педагогического мониторинга. Педагогические тесты по своему содержанию различаются на гомогенные и гетерогенные. Гомогенный педагогический тест основывается на содержании какойлибо одной дисциплины. При его разработке авторы должны четко отслеживать, чтобы каждое задание не выходило по своему содержанию за рамки данной дисциплины. Гомогенный тест может быть как нормативноориентированным, так и критериально-ориентированным, в зависимости от цели его создания. Такой тип педагогического теста наиболее распространен в учебном процессе. Гетерогенный педагогический тест основывается на содержании нескольких дисциплин. Гетерогенный педагогический тест является по своему существу междисциплинарным. В большинстве случаев каждое задание гетерогенного теста включает в себя элементы содержания нескольких дисциплин. При его разработке авторы должны представлять себе цели его создания и быть компетентными во многих дисциплинах. Естественно, что процесс формирования гетерогенного теста значительно сложнее, чем гомогенного. Одной из разновидностью гетерогенного теста является набор гомогенных тестов, т.е. гетерогенный тест может состоять из ряда гомогенных частей (субтестов). Наибольшее распространение гетерогенные тесты получили при тестовом итоговом контроле студентов, а также при профессиональной аттестации кадров. По методологии интерпретации результатов педагогические тесты классифицируются тестирования на нормативно-ориентированные и критериально-ориентированные. Нормативно-ориентированный педагогический тест (по-английски normreferenced test) позволяет сравнивать учебные достижения (уровень подготовки, 83 уровень профессиональных знаний и умений) отдельных испытуемых друг с другом. Нормативно-ориентированные педагогические тесты используются для получения надежных и нормально распределенных баллов для сравнения испытуемых. Критериально-ориентированный педагогический тест (по-английски criterion-referenced test) позволяет оценивать, в какой степени испытуемые овладели необходимым учебным материалом. Критериально-ориентированные педагогические тестирования тесты в применяются соответствии для уровнем интерпретации обученности результатов испытуемых на определенной области содержания. На основании анализа отечественной и зарубежной литературы В.Ю. Переверзев [112] сформулировал следующее определение критериальноориентированного педагогического теста: «Критериально-ориентированный педагогический тест представляет собой систему заданий, позволяющую измерить уровень индивидуальных учебных достижений относительно определенного критерия, функционально связанного с полным объемом знаний, навыков и умений, которые должны быть усвоены обучаемыми». Полный объем знаний, навыков и умений, которые должны быть усвоены студентами в результате изучения учебной дисциплины и степень овладения которыми измеряет такой тест, называется областью содержания теста. С ней соотносятся учебные достижения отдельных обучаемых посредством некоторого критерия (критериального балла, критерия оценивания) для того, чтобы определить, какую долю учебного материала они усвоили. Другими словами критериальный балл (критерий оценивания) функционально связан с областью содержания теста. Для каждого критериально-ориентированного теста должна быть четко очерчена (ограничена) область содержания. В.Ю. Переверзев [108, 116] , классифицируя возможные типы педагогических тестов, подразделяет их на бланковые (на бумажной основе) и компьютерные. Причем компьютерные тесты могут быть предъявлены испытуемому, как компьютерном классе, так и в дистанционном режиме (в сети 84 Интернет), а также в ординарной (традиционной) или адаптивной (интерактивной) технологии. Педагогические тесты на бумажном носителе (бланковые тесты) предъявляемые испытуемым в виде распечатки, традиционны и наиболее распространены, как редактирование и у нас, так вариативная и за рубежом. распечатка Однако, педагогического хранение, теста в современных условиях должна происходить с помощью специализированных компьютерных программных средств. Особое внимание разработчиков и пользователей бланкового педагогического теста должно привлекать качество печати, отсутствие дефектов, грамотное расположение заданий. Результаты тестов бланкового формата могут подсчитываться в ручном режиме или с использованием сканирующих устройств. Компьютерный формат предъявления педагогических тестов имеет свои особенности, которые необходимо учитывать при их разработке. Компьютеризованное тестирование имеет ряд неоспоримых преимуществ перед бланковым и хорошие перспективы применения в образовании и профессиональной аттестации кадров. На современном этапе компьютерные тесты подразделяются на ординарные и адаптивные. Ординарные (традиционные, линейные) включают в себя два основных типа тестов: с фиксированным набором заданий и с автоматизированной компоновкой вариантов. Анализ публикаций и педагогического опыта позволил нам выявить современную типологию компьютерных тестов в среднем профессиональном образовании (рис . 2. 1). 85 Компьютерные тесты Ординарные Линейные тесты с фиксированным набором заданий Интерактивные Тесты с автоматизированной компоновкой вариантов Адаптивные тесты Рис. 2.1 Типология компьютерных тестов в среднем профессиональном образовании Как видно из рис. 2.1., компьютерные тесты подразделяются на ординарные и интерактивные. Ординарные (линейные, традиционные) представляют собой тесты с фиксированным набором заданий. Интерактивные подразделяются на два типа: тесты с автоматизированной компоновкой вариантов и компьютерные адаптивные тесты. Компьютерный тест с фиксированным набором заданий - самый простой метод предъявления. Этот неадаптивный компьютерный тест, имеющий формат, подобный обычному бланковому, иногда упоминается в литературе как "линейное тестирование". Он имеет заранее установленную длину (т.е. количество заданий), причем этот набор заданий может предъявляться или в установленном порядке или методом случайной выборки. Интерактивный компьютерный тест с автоматизированной компоновкой вариантов создается путем выбора тестовых заданий из банка по специальному алгоритму в соответствии со спецификацией теста. При этом используются как содержательные, так и статистические условия и ограничения. Данные тесты 86 имеют заранее установленную длину и не адаптивны. Выборка экзаменующихся получает различные варианты теста, которые могут быть созданы специальной компьютерной программой либо перед экзаменом, либо непосредственно во время его проведения. При компьютерно - адаптивном предъявлении тестовые задания с помощью специализированной программы индивидуально выбираются для каждого экзаменующегося. Причем этот выбор основан на результатах ответа обучающегося на предыдущие задания. Цель этого типа теста состоит в том, чтобы получить высокоточную и адекватную оценку уровня подготовки каждого экзаменующегося в некоторой установленной шкале. Количество заданий, их типы и порядок предъявления варьируются от одного экзаменующегося к другому. При этом методе для каждого экзаменующегося фактически формируются уникальные тесты, путем согласования трудности каждого предъявляемого задания к постоянно оцениваемому компьютером уровню подготовки экзаменующегося. Именно компьютерно-адаптивное тестирование приобретает в последнее время все большее значение, особенно с применением локальных и глобальных (Интернет) сетей. В настоящее время все большее значение в профессиональном образовании компьютерная приобретает тестовая компьютерное диагностика тестирование. имеет целый ряд Действительно, неоспоримых преимуществ перед традиционным бланковым тестированием: - возможность упрощения процесса подсчета результирующих баллов, так как результаты автоматически обрабатываются компьютером в процессе тестирования; - большая эффективность, надежность и точность педагогического измерения по сравнению с бланковым форматом теста; - возможность непрерывного, т.е. в любое удобное время для испытуемого, проведения тестирования, что очень ценно для дистанционных, а также для очно-заочных форм обучения; 87 - возможность применения инновационных типов тестовых заданий, которые в принципе невозможно «воспроизвести на бумаге» (например, с включением мультимедиа); - расширения возможностей как по форме педагогических измерений, так и в типах измеряемых познавательных навыков, знаний, умений испытуемых; - возможность определить различие между "пропущенными" заданиями и заданиями, до которых "испытуемый не успел дойти"; - возможность точно определять время, затраченное испытуемым на выполнение каждого задания; - возможность создания интерактивных, адаптивных диагностических тестов. Несмотря на очевидные преимущества компьютерного тестирования, существуют как теоретические, так и практические ограничения, препятствующие внедрению данной технологии в учебный процесс колледжа. Непосредственно для адаптивных тестов существуют трудности, свойственные разработке соответствующего метода подсчета баллов для интерактивных заданий на основе многошагового моделирования. В принципе, методы подсчета баллов в таких тестах должны учитывать много факторов, включая оптимальный вес различных компонентов задачи и зависимости различных ответов экзаменующихся на задачу. Несмотря на эти трудности, совершенно ясно, что данная инновация в технологии компьютерного тестирования имеет большой потенциал. По существу - это новые направления в развитии педагогического измерения. В свое время была предложена модель компьютерного интерактивного теста, каждое задание в котором являлось интерактивным и в процессе выполнения обязательно доводилось до верного результата. Данная модель была описана, в том числе, и в работе В.Ю. Переверзева [116]. В ходе выполнения данного исследована нами была создана модифицированная модель интерактивного адаптивного компьютерного теста, где каждое задание 88 с помощью специальной компьютерной программы «реагирует» на действия студента тем или иным образом, т.е. адаптируется к уровню его подготовки. На Рис. 2.2 предоставлен алгоритм выполнения компьютерного интерактивного тестового задания. В данном примере имеется ввиду тестовое задание закрытой формы с четырьмя вариантами ответа (один из них верный). Рассмотрим этот алгоритм пошагово. Рис. 2.2 Алгоритм выполнения компьютерного интерактивного тестового задания Шаг 1. Испытуемый читает тестовое задание закрытой формы (в данном случае с выбором одного из четырех вариантов ответа) и выбирает ответ. Затем он получает немедленную обратную связь относительно правильности его выбора. Если выбран правильный ответ, то испытуемому начисляется 3 балла и предлагается перейти к следующему заданию. 89 Если выбран неправильный ответ, то испытуемому начисляется штраф (минус один балл). При этом он информируется, что ответ неверный и ему предлагается сделать еще один выбор в данном задании. Переход к следующему заданию не осуществляется. Шаг 2. Испытуемый второй раз делает выбор. Если выбран правильный ответ, то испытуемому начисляется уже 2 балла (3 балла за верный ответ - 1 штрафной балл = 2) и предлагается перейти к следующему заданию в тесте. Если выбран неправильный ответ, то испытуемому начисляется еще один штраф (минус два балла). При этом он информируется, что ответ неверный и ему предлагается сделать еще один выбор из оставшихся вариантов. Переход к следующему заданию не осуществляется. Шаг 3. Испытуемый третий раз делает выбор. Если выбран правильный ответ, то испытуемому начисляется всего 1 балл (3 балла за верный ответ - 2 штрафных балла = 1 балл) и предлагается перейти к следующему заданию. Если выбран неправильный ответ, то испытуемому начисляется с учетом штрафных баллов 0 баллов за выполнение данного задания. При этом он информируется, что все ответы неверные и ему предлагается перейти к следующему заданию в тесте. Таким образом, для данной модели интерактивного тестового задания испытуемый может получить: - 3 балла, если он хорошо подготовлен и сразу выбрал верный ответ; - 2 балла, если студент имеет нетвердые знания и до верного ответа догадался только на втором шаге после одного неверного выбора; - 1 балл, если студент обладает очень слабыми знаниями, и он два раза выбрал неверный ответ, и только на третьем шаге догадался выбрать верный ответ; - 0 баллов, если у испытуемого отсутствуют знания по данному разделу, и он три раза подряд выбирал неверный ответ. 90 Итак, предлагаемая модель, по сравнению с традиционной методикой подсчета баллов за выполнение тестового задания, имеет явные диагностические преимущества – больший диапазон шкалы оценок и, как следствие большую дифференцирующую способность задания. Для подсчета результирующих тестовых баллов по данной модели интерактивного тестирования в работах [24, 166, 173] была предложена следующая формула: X i (k 1) Ri Wi (2.1), где i – количество заданий в тесте; Хi - скорректированный индивидуальный балл, Ri - число правильных ответов за весь тест, Wi - число неправильных ответов за весь тест, k - число вариантов ответов в каждом задании. Если все задания в тесте имеют одинаковую форму с четырьмя вариантами ответа (k=4), то вышеприведенная формула будет иметь следующий более простой вид: X i (4 1) Ri Wi 3 Ri Wi (2.2) Нами была выведена более простая и удобная для практического внедрения формула подсчета баллов за выполнение заданий в адаптивном тесте данного типа: X k МАХ Wk . (2.3) где МАХ – это максимальное количество баллов, которые можно получить в данном тесте (например, если в тесте 30 заданий, то максимальное количество баллов при идеальном выполнении МАХ = 90 баллов); Wk – сумма штрафных баллов, полученных k –ым студентом (за каждый ошибочный выбор начисляется один балл). 91 Приведем гипотетический пример, который проиллюстрирует функционирование предлагаемой модели адаптивного теста м интерактивными заданиями. . В Таблице 2.1 представлены результаты гипотетического тестирования по данной модели для шести студентов с разными уровнями подготовки. Компьютерный интерактивный тест состоит из 30-ти заданий закрытой формы, каждое из которых предъявляется по описанному выше методу. В таблице представлены значения для результирующих данных: количество правильных ответов –Ri; максимальное количество баллов в данном тесте – МАХ; сумма штрафных баллов – Wk; скорректированный индивидуальный X k МАХ Wk ; результаты диагностики качества подготовки. 92 балл Таблица 2.1. Результаты выполнения теста (модель компьютерного адаптивного тестирования с интерактивными заданиями) Испыту емый Количеств о правильны х ответов, Ri Максим альное количест во баллов в данном тесте 90 90 Сумма штрафн ых баллов , Wk Скорректированн ый индивидуальный балл, 9 18 81 72 Результаты диагностики качества подготовки X k МАХ Wk А Б 27 27 В Г 21 21 90 90 38 48 52 42 Д Е 6 6 90 90 76 80 14 10 Высокий уровень Более слабый уровень подготовки по сравнению со студентом А Средний уровень подготовки Более слабая подготовка, по сравнению со студентом В Слабый уровень Отсутствие подготовки Студент А и студент Б имеют в результате тестирования одинаковое количество правильных ответов, Ri = 27 (из 30-ти возможных). Если бы результат теста подсчитывался бы традиционным методом, то оценка их подготовки не отличалась. Так как у них разное количество неправильных ответов, то после пересчета скорректированный индивидуальный балл у них разный, что говорит о более слабой подготовке студента Б (72 скорректированных балла против 81 баллов у студента А ). Штрафных баллов у студента Б больше, он чаще ошибался. Студент В и студент Г показали в результате тестирования одинаковое количество правильных ответов, Ri = 21 (из 30-ти возможных). Если бы результат теста подсчитывался бы традиционным методом, то оценка их подготовки не отличалась бы. Так как у них разное количество неправильных ответов, то после пересчета скорректированный индивидуальный балл у них разный, что говорит о более слабой подготовке студента Г (у него 42 скорректированных балла против 52 баллов у студента В). 93 Студент Д и студент Е показали очень слабую подготовку. В результате тестирования у них одинаковое количество правильных ответов, Ri = 6 (из 30ти возможных). Если бы результат теста подсчитывался бы традиционным методом, то их оценка не отличалась бы. Так как у них разное количество неправильных ответов, то после пересчета скорректированный индивидуальный балл у них разный. У студента Д диагностирована слабая подготовка (у него 14 скорректированных баллов), а у студента Е – 10 баллов. Таким образом, данная модель адаптивного теста позволяет проводить диагностику уровня подготовки более дифференцировано и более точно. При этом существенно повышается уровень интерактивности тестового мониторинга, так как студент при выполнении каждого знания имеет обратную связь с компьютерной программой: он видит правильность или ошибочность выбора ответа на вопрос, поставленный в задании. Испытуемый обязан ответить на каждое задание теста, не пропуская ни одно из них. Он должен дойти до правильного ответа на каждое задание, даже если придется отвечать на него несколько раз. Предлагаемая модель компьютерного интерактивного тестирования имеет существенное преимущество перед обычной процедурой, так как возникает возможность совмещения педагогического измерения и обучения в одном процессе. Несмотря на возможность «рассекречивания» банка тестовых заданий, решаются сразу две педагогические задачи: диагностика и самообучение. Достигается большая надежность, валидность и диагностическая точность тестирования. Далее остановимся на понятиях надежности и валидности тестов в контексте настоящего исследования. Любое измерение - это присвоение численных значений объектам или явлениям согласно некоторым правилам [15]. Педагогическое измерение - это присвоение численных значений (отметок, рейтингов, индивидуальных тестовых баллов) обучающимся после проведения 94 соответствующих аттестационных или мониторинговых мероприятий (экзаменов, зачетов, контрольных работ, тестирования и т.д.). Наиболее часто качество педагогических тестов оценивается по двум характеристикам - их надежности и валидности [4, 155, 230]. Как подчеркивает Аванесов В.С. [3]: «Надежность - важнейшая характеристика педагогического измерения - это степень повторяемости или степень постоянства эмпирических измерений - результатов тестирования». Надежность теста - это характеристика методики, отражающая точность педагогического измерения, а также устойчивость результатов тестирования к воздействию посторонних случайных факторов. Иными словами, тест называется надежным, если он дает одни и те же (или очень близкие) показатели для каждого испытуемого при повторном тестировании. Если тест не может дать тот же самый или близкий результат при повторном испытании для некоторой выборки студентов, значит, тест не обладает надежностью. При этом необходимо, чтобы сами студенты не изменили свой уровень подготовки перед вторым тестированием, а также их мотивация к получению наилучших результатов осталась прежней. Надежность связана с понятием стандартной ошибки педагогического измерения: чем выше надежность, тем меньше стандартная ошибка измерения. В научной литературе по тестовой теории рассматриваются несколько видов надежности и связанных с ними методов ее определения, а именно [3, 6, 11, 25, 44, 52, 71, 116, 158, 162, 173]: 1) надежность параллельных форм; 2) ретестовая надежность; 3) надежность расщепленных частей теста. Для вычисления надежности теста в контексте данного исследования можно рекомендовать методы оценки надежности расщепленных частей теста , где используется однократное тестирование. Например, один из них, наиболее распространенный в практике педагогических измерений, - это применение формулы KR-20 [173]. Эта формула применяется в случае, когда на каждое задание теста выставляется дихотомическая оценка “0-1”, то есть 0 баллов при неправильном его выполнении и 1 балл при правильном. Индивидуальный балл 95 испытуемого - это просто сумма правильно выполненных заданий в тесте. Коэффициент надежности в этом случае определяется так: К = KR20 = m p j q j 1 m 1 s x2 (2.4) где K - коэффициент надежности, определяемый по формуле KR-20; m - число заданий в тесте; pj- доля правильных ответов на j-ое заданий; qj- доля неправильных ответов на j-ое заданий; pjqj - сумма дисперсий всех заданий теста; sx2- дисперсия индивидуальных баллов N студентов, вычисляемая по формуле: sx2= При этом x 2 i x 2 i N N 1 . (2.5) коэффициент надежности больше чем 0,7 можно считать приемлемым. Как показано в [166], надежность критериально- ориентированных тестов подразумевает относительное постоянство результатов теста, но постоянство не предполагает изменчивости. Предполагается поэтому, что надежность теста, ориентированного на критерий и на определенную область содержания, может быть измерена как постоянство результатов тестирования для испытуемых, которым предлагается два набора тестовых заданий, выбранных из одного и того же банка заданий, соответствующих одному и тому же содержанию. Валидность педагогического теста – важнейший критерий его качества. Педагогический тест называется валидным (от англ. validity - значимость, обоснованность, вескость, пригодность, мотивированность, справедливость, адекватность, аргументированность, доказанность достоверность, обоснованность, правильность, применимость), если доказана 96 действительность, истинность; общезначимость, адекватная оценка степени соответствия структуры системы тестирования ее конечным целям, т.е. тест измеряет то, для чего он предназначен [116, 162, 173]. На практике существуют различные способы доказательства валидности и видов самой валидности, каждый из которых соответствует различным аспектам этого критерия качества теста. В ходе исследования понятие валидности педагогического теста было рассмотрено с разных точек зрения, анализируя следующие определения, приведенные учеными-тестологами. А. Анастази: "…валидность теста касается того, что тест измеряет и как хорошо он это делает" [6, 7]. Из этих высказываний легко понять, какое значение имеет понятие валидности для процесса педагогического измерения вообще и для создания тестовых заданий в частности. Таким образом, валидность как самая важная проблема при разработке педагогических тестов обращается к пригодности, содержательности и полноценности определенных выводов, сделанным на основе получаемых тестовых баллов. Валидизация теста - процесс накопления подтверждений (очевидных данных) для их доказательства. В настоящем исследовании мы рассматривали два основных типа валидности тестов: содержательную и критериальную. Содержательная валидность отражает степень соответствия содержания педагогического теста и цели тестирования. Содержательная валидность теста определяется экспертной оценкой конгруэнтности и технологического качества всего банка тестовых заданий, разработанных для конкретного теста на данной области содержания. Еще один тип валидности - критериальная валидность – это степень соответствия между результатами тестирования и внешним, не относящимся к тесту критерием. На практике критериальная валидность определяется корреляцией между результатами тестирования и внешней критериальной переменной. Если данная корреляция имеет значения больше 0,4, то результаты тестирования рассматриваются валидными по отношению к данному критерию. 97 В нашем исследовании, например, результаты адаптивного тестирования могут быть признаны валидными, если они хорошо коррелируют с успехами этой же выборки студентов при решении комплекса интерактивных практических заданий. По результатам адаптивного теста и решения комплекса интерактивных практических заданий составляется таблица сопряжения “ 2 х 2”, подобная представленной в таблице 2.2 Таблица 2.2 Таблица сопряженности результатов адаптивного теста и решения комплекса интерактивных практических заданий Результаты решения комплекса интерактивных практических заданий Результат ы адаптивного теста "Незачет" "Зачет" а b c d "Незачет" "Зачет" В таблице сопряженности 2.2 величины a, b, c, d - это число испытуемых (студентов), получивших соответствующую аттестацию по результатам обеих форм мониторинга. Например, а – это число студентов получивших «незачет» при адаптивном тестировании и «незачет» по результатам решения интерактивных практических заданий. Из таблицы 2.2. степень согласованности решений можно выразить одним из известных коэффициентов корреляции, позволяющих оценить связь между дихотомическими переменными, а именно, с помощью фи - коэффициента корреляции. Формулу для вычисления фи-коэффициента корреляции, исходя из параметров в Таблице 2.2 , можно записать в виде: 98 = ad bc . ( a c) ( b d) ( a b) ( c d) (2.6) Таким образом, для интерактивного мониторинга критериальная валидность адаптивного теста оценивается по корреляции результатов данного теста с результатами другой формы мониторинга, в данном случае с решением интерактивных практических заданий. 2.2. Разработка интерактивных тестовых заданий Так как предметом настоящего исследования технология интерактивного мониторинга с привлечением адаптивного тестирования, то соотносительно поставленным задачам особенно значимым является концепция и определение тестового задания. В.Ю. Переверзев так определяет данное понятие [116]: «Тестовое задание - минимальная содержательно законченная единица педагогического измерения, имеющая основу, в которой сформулирована проблема (задача), и предписанный порядок для ответа. Цель тестового задания - получить ответ от испытуемого, на основе которого может быть сделан вывод о его знаниях, интеллектуальных умениях, способностях, представлениях, навыках в определенной области содержания». Заметим, что все формы заданий с выбором ответа и все формы заданий с конструируемым ответом подпадают под это определение. Данное определение охватывает тестовые задания для всех типов тестов. Первый аспект определения "тестовое - задание... - единица педагогического измерения... " - касается его измерительной функции. Тестовые задания предназначены для того, чтобы после взаимодействия с испытуемым можно было бы сделать некоторую числовую интерпретацию результата (количественное значение, балл). Это число, полученное после выполнения задания конкретным экзаменующимся, используется для того, 99 чтобы обеспечить основание для сравнения его уровня подготовки либо с группой остальных испытуемых (нормативно-ориентированный подход), либо с некоторым определенным заранее критерием (критериально- ориентированный подход). Количественная интерпретация выполнения тестовых заданий - это то, что отличает их от элементарных учебных действий. Учебные действия определенно не предназначены для того, чтобы привести к числовым данным. Главная цель для учебных действий эвристическая, или «помогающая воспринять новые знания». Рассмотрим следующий важный пункт в определении тестового задания: "тестовое задание… имеет... основу, в которой сформулирована проблема (задача), и предписанный порядок для ответа. Ответ к тестовому заданию, полученный от экзаменующегося, предписан в том смысле, что процесс выполнения задания приводит к специфической форме ответа, которую должен соблюсти испытуемый. Например, в тестовом задании закрытой формы, испытуемому предписано выбрать ответ из числа предлагаемых вариантов, а для задания в открытой форме, экзаменующийся должен (ему предписано) написать слово или фразу в качестве ответа. Именно это имеется в виду, когда говорят, что ответ на тестовое задание "предписан". Тестовые задания в принципе нельзя называть "вопросами", так как тестовое задание может принимать множество форм, многие из которых не являются вопросительными. Например, большинство заданий «на завершение» или заданий открытой формы (с «коротким ответом»), а также большинство заданий «на соответствие» в принципе не являются вопросительными. Термин «тестовое задание» включает оба представления основы, как вопросительное, так и утвердительное. Индивидуум, который отвечает на педагогический тест, часто в психолого-педагогической литературе называется экзаменующимся (или испытуемым). Экзаменующийся либо выбирает ответ, либо его конструирует, но в любом случае, он - самый важный участник процесса педагогического 100 тестирования. Тестовые задания создаются для него, с учетом уровня его подготовки, возрастных и других особенностей. Для выявления структуры тестового задания следует определить термины, обозначающие его части. Часть тестового задания, который задает вопрос, формулирует проблему или устанавливает ситуацию для ответа, называется основой задания. Основу задания иначе называют стимулом, потому что по этиологии, он вызывает, является причиной ответа (реплики) экзаменующегося. Когда экзаменующийся выбирает, идентифицирует, или обеспечивает адекватный ответ на основу задания, то говорят, что он выбрал (или сформулировал) правильный ответ. Правильный ответ выявляется и оценивается положительно тем или иным баллом. В формах тестового задания с выбором ответа список всех ответов называется вариантами (реже их называют альтернативами ответа). Варианты ответа предлагают все возможные выборы, которые автор задания сформулировал экзаменующемуся (как правильные, так и неправильные). Варианты ответа, которые не являются правильным ответом, называют дистракторами (от англ. distract – отвлекать). Термин «дистрактор» используется потому, что этот ответ должен отвлечь, т.е. быть более привлекательными для экзаменующегося, который не уверен (или сомневается) в выборе правильного ответа. Задания с выбором ответа (и, в меньшей степени, некоторые другие формы тестовых заданий) часто сопровождается пояснительным текстом или графическим материалом. Дополнительный текст может быть параграфом или абзацем из справочника (или оригинального сочинения), поэмы, статьи из газеты, журнала или другого подобного текстового материала. Графический материал может быть схемой, графиком, диаграммой, географичкой картой, таблицей или формулой, а для компьютерных тестов – мультипликацией или видеофрагментом. Если тип сопроводительного материала - пояснительный текст, то будем называть его просто текстом. Если 101 сопроводительный материал - это что - то отличное от текста - то графикой. Математические формулы, символы, геометрические формы и алгебраические выражения также считаются графикой. Отметим, что, когда задание содержит текст или графические материалы, то они являются неотъемлемой частью тестового задания, а не просто каким-то приложением к нему. Подготовку текста или графики следует выполнять также тщательно и аккуратно, как и другие части задания. На наших глазах происходит бурное развитие инновационных форм заданий для компьютерного тестирования, которые значительно отличаются от традиционных форм, привычных для педагогов прошлого века. Старые формы заданий были разработаны для бланкового» («бумажного») предъявления, что и накладывало на их форму определенные ограничения. Новые формы тестовых заданий, разработанные в основном для восприятия на экране совершенствование компьютера, автоматизированного направлены на постоянное педагогического измерения. Основная причина для этого - глубокий и разносторонний потенциал, который вносят инновации в структуру и функционирование компьютерных тестовых заданий, что по существу улучшают качество диагностики и контроля. Как отмечает В.Ю. Переверзев [116, С.184]: «…цель разработки инновационных форм заданий для компьютерного тестирования состоит в улучшении качества педагогического измерения либо посредством улучшение качества существующих форм и их модификаций, либо расширения возможностей самого педагогического измерения в новые, недоступные ранее сферы». Другими словами, инновационные формы компьютерных заданий дают возможность осуществлять контроль и диагностику учебных достижений лучше и многограннее. Анализ практики компьютерного тестирования показывает, что инновации в разработке заданий для компьютерного тестирования включают в себя следующие взаимозависимые и взаимодополняющие направления: 102 - форма заданий (с учетом компьютерного интерфейса); - действие обучающегося при ответе; - включение в содержание заданий мультимедиа (графики, аудио, видео); - уровень интерактивности, степени взаимодействия; - методы подсчета баллов за выполнения заданий. Форма компьютерного задания имеет два главных вида: - задания с выбором ответа (единственного или множественного) из предлагаемых вариантов; - задания, в которых ответ конструируется самим испытуемым. Действия экзаменующихся при ответе на задание обеспечиваются нажатием клавиши клавиатуры и щелчками мыши компьютера. Инновации при этом в основном направлены на использование двух компьютерных технологий: - технология «hot spot», т.е. выбор положения курсора на требуемой области экрана монитора и идентификация этого выбора путем нажатия на клавишу мыши; - технология «drag and drop» , т.е. выбор стрелкой мыши графического объекта на экране монитора, а затем перемещение его в соответствующее место на экране. Включение мультимедиа в тестовое задание направлено на добавление нетекстовых элементов в структуру задания, включая графику, звук, анимацию и видео. Уровень интерактивности описывает степень, реакции компьютерного задания на ввод экзаменующимся того или иного ответа. Этот уровень варьируется от полного отсутствия интерактивности до создания блоков из сложных, многошаговых заданий с обратной связью, а также с разветвлением алгоритма в зависимости от того или иного выбора экзаменующегося. Наконец, методы подсчета баллов за выполнение задания относятся к тому, как ответы экзаменующегося преобразовываются в некоторое количественное множество. Эти методы включает автоматизированный 103 подсчет баллов для дихотомически оцениваемых заданий, наряду с программами подсчета, которые должны быть "обучены" моделировать оценку и назначать политомическое множество баллов за выполнение задания (здесь имеется ввиду метод «частичного балла», методы коррекции на угадывания, метод «доведение ответа до правильного», которые подробно описаны в работах [158, 171]). На Рис. традиционных 2.3. и представлена инновационных авторская форм тестирования. 104 интерпретация заданий для типологии компьютерного 1. Традиционные (классические ) формы тестовых заданий 2. Инновационные (компьютерные) формы тестовых заданий 1.1. Задания с выбором одного правильного ответа (закрытой формы) 2.1. Задания на выбор участка на изображении (технология «hot spot») 1.2. Задания с выбором нескольких правильных ответов (множественный выбор) 2.2. Матричные задания 1.3. Задания на установления соответствия 2.3. Задания на выбор из «ниспадающего меню» 1.4. Задания на установление правильной последовательности 2.4. Задания с включением мультимедиа 1.5. Задания с коротким ответом (открытой формы) 2.5. Интерактивные блоки заданий с разветвляющимся алгоритмом 2.6. Составные задания (с привязкой к одному информационному блоку) 2.7.1. Задания на перемещение объекта (объектов) по экрану 2.7. Задания на основе применения технологии «drag and drop» (перемещение объектов на экране) 2.7.2. Задания на классификацию (распределение объектов по группам) 2.8. Задания на «заполнение в пробеле» 2.7.3. Задания на сортировку (упорядочивание объектов по разным признакам, характеристикам) 2.8.1. Задания на ввод числа 2.7.4. Задания на конструирование объекта из элементов 2.8.2. Задания на ввод текстовой (символьной) строки 2.8.3. Задания на впечатывание подрисуночных надписей, пояснений к рисункам, схемам, планам, картам (технология «legend») Рис. 2.3. Традиционные («классические») и инновационные формы заданий для компьютерного тестирования (авторская разработка) 105 В процессе компьютерной тестовой диагностики с успехом применяются следующие традиционные формы заданий (Рис. 2.3): -- с выбором одного правильного ответа (закрытой формы) - с выбором нескольких правильных ответов (множественный выбор); - на установления соответствия; - на установление правильной последовательности; - с коротким ответом (открытой формы). Для традиционной тестовой диагностики самая распространенная форма тестовых заданий – это задания с выбором ответа или задания закрытой формы (Рис. 2.3, п.1.1.). Данный тип заданий, наряду с их многочисленными специфическими модификациями, может быть легко приспособлен для компьютерного тестирования. Компьютерный формат предъявления позволяет расширить возможности данной формы, что приводит к совершенствованию всех аспектов педагогической диагностики. Открытая форма заданий (Рис. 2.3, п.1.5) отличается от всех вышеперечисленных тем, что в процессе ответа на них экзаменующиеся генерируют, создают, конструируют, а не выбирают ответы из готового списка. Эти задания включают такие модификации как "заполнение в пробеле", короткий ответ, и даже эссе или короткие сочинения. В современной практике применяются следующие инновационные формы компьютерных тестовых заданий и их многочисленные модификации (Рис.2.3): - на основе применения технологии «hot spot» (выбор положения курсора на экране); - матричные задания; - на выбор из «ниспадающего меню»; - задания с включением мультимедиа; - интерактивные блоки заданий с разветвляющимся алгоритмом; - составные задания (с привязкой к одному информационному блоку); 106 - задания на основе применения технологии «drag and drop» (перемещение графического объекта на экране). (Данная форма имеет модификации: 2.7.1. Задания на перемещение объекта (объектов) по экрану; 2.7.2. Задания на классификацию (распределение объектов по группам); 2.7.3. Задания на сортировку (упорядочивание объектов по разным признакам, характеристикам); 2.7.4. Задания на конструирование объекта из элементов); - задания на «заполнение в пробеле» (включающие 2.8.1. Задания на ввод числа; 2.8.2. Задания на ввод текстовой (символьной) строки; 2.8.3. Задания на впечатывание подрисуночных надписей, пояснений к рисункам, схемам, планам, картам (Технология «legend»)). Приведем краткое описание инновационных форм заданий. Рис. 2.4 Пример тестового задания на выбор участка на изображении (технология «hot spot») по разделу «Бухгалтерский учет в страховании» 107 К одним из эффективных форм компьютерных тестовых заданий относятся задания с применением технологии «hot spot» (от англ. hot spot горячая точка). Данная технология действует так, что некоторая область монитора, определяющая активируемый элемент экрана, реагирует при работе с указательным устройством - мышью. Задания данного типа также называются заданиями на выбор положения курсора на экране. Эта форма позволяет усилить дидактическую и диагностическую эффективность тестового задания, а также уменьшить потенциальное влияние угадывания на результат его выполнения. Эта инновационная интерактивная форма заданий сводится к выбору одной определенной части некоторого сложного графического изображения или объекта. На Рис. 2.4 предоставлено задание на выбор участка на изображении (технология «hot spot»). В основе задания формулируется проблема: «Укажите графу таблицы «Расчет базовой страховой премии», где показываются суммы страховых брутто-премий, начисленных по каждому договору страхования.». В данном случае изображена таблица, к которой экзаменующийся должен указать одну из ячеек. Правильный ответ – определенная область таблицы, указана на Рис. 2.4, а дистракторы – все остальные области экрана. При нажатии на данный участок кнопкой мыши студент получит правильный ответ, при выборе любого другого участка на схеме – результат будет отрицательный. 108 Рис. 2.5 Пример задания на впечатывание подрисуночных надписей, пояснений к рисункам, схемам, планам, картам (технология «legend») по разделу «Бухгалтерский учет в страховании» На Рис.2.5 изображено задание на впечатывание подрисуночных надписей, пояснений к рисункам, схемам, планам, таблицам, картам (технология «legend»). Данная инновационная форма компьютерного задания является перспективной как педагогическом, так и в диагностическом аспекте. Испытуемый должен установить курсор на любую отмеченную ячейку таблицы и впечатать на клавиатуре наименование граф. 109 Рис. 2.6 Инновационная форма задания на конструирование объекта из элементов (Дисциплина «Информатика») На Рис. 2.6 предоставлено задание на конструирование объекта из элементов. В данном примере изображены шесть блоков, из которых испытуемому следует путем их перемещения по экрану монитора получить законченную схему мультимедиапроектора. Можно отметить высокую дидактическую и компетентностную направленность данной формы тестовых заданий. Испытуемый должен быть готов «сконструировать», скомпоновать схему передвигаю с помощью мыши ее элементы по экрану компьютера. На Рис. 2.7 представлено решение данного задания. 110 Рис. 2.7 Решение инновационной формы задания на конструирование объекта из элементов (Дисциплина «Информатика»), представленной на Рис. 2.5. Матричные задания (Рис. 2.8. п. 2.2.) состоят из основы, в которой сформулирована проблема (задача) для обучающегося, и набора ответов в виде матрицы (таблицы), в которой экзаменуемый должен заполнить правильные ответы (Рис.2.8). 111 Рис. 2.8 Пример матричного задания для компьютерного тестирования (Дисциплина «Информатика») Экзаменуемый отмечает курсором правильные, по его мнению, ответы и получает следующую конфигурацию матрицы (рис. 2.9). Рис. 2.9. Пример решения матричного задания для компьютерного тестирования (Дисциплина «Информатика») Задания на выбор из «ниспадающего меню» (Рис. 2.10 п.2.3.) состоит из основы (Рис.2.10), в которой сформулирована задача для испытуемого, дополнительного условия, которое уточняет ход решения, вариантов ответов, каждый из которых имеет т.н. «ниспадающее меню». У каждого варианта ответов есть кнопка активизации ниспадающего меню 112 Рис. 2.10 Структура задания на выбор из «ниспадающего меню» (Дисциплина «Информатика») Рис. 2.11 Пример решения задания на выбор из «ниспадающего меню», представленного на Рис.2.10. Изображено открытое ниспадающее меню для первого варианта ответов (Дисциплина «Информатика») 113 Рис. 2.12. Пример продолжения решения задания на выбор из «ниспадающего меню», представленного на Рис. 2.10. Для первого варианта ответов выбор сделан, а для второго варианта ответов открыто ниспадающее меню (Дисциплина «Информатика») 114 Рис. 2.13 Задание на основе применения технологии «drag and drop» (перемещение терминов на рисунке на правильные позиции) 115 Рис. 2.14. Пример решения задания на основе применения технологии «drag and drop» (перемещение терминов на рисунке на правильные позиции) Таким образом, инновационные формы заданий для компьютерного тестирования значительно улучшают качество педагогического измерения и педагогической диагностики либо посредством улучшение качества существующих, традиционных форм заданий и их модификаций, либо созданием совершенно новых форм компьютерных заданий, нацеленных на расширение возможностей самого педагогического измерения в новые, недоступные ранее сферы. Другими словами, инновационные формы компьютерных заданий дают возможность измерять учебные достижения обучающихся лучше, точнее, шире и многограннее. В проведенном авторами 116 методологическом анализе показывается, что большинство инновационных форм заданий обеспечивает совершенствование компьютерного педагогического измерения и диагностики учебных достижений по целому ряду направлений. Особенно следует отметить, что все вышеперечисленные формы компьютерных заданий имеют потенциал использоваться в интерактивном режиме, то есть во время контроля обучающийся имеет возможность увидеть верный ответ или ознакомиться с ходом решения поставленной задачи. Более того, инновационные формы компьютерных тестовых заданий могут улучшить качество педагогического измерения путем сокращения влияние эффекта случайного угадывания. Инновационные типы компьютерных заданий, которые включают нетекстовые, визуальные носители информации, также могут обеспечить более прямое и эффективное педагогическое измерение. Вместо того, чтобы описывать в виде текста некоторый визуальный, звуковой или динамический элемент, педагоги могут включить непосредственно в задание изображения, звуки, мультипликацию или видео. Важное направление, при котором инновационные типы компьютерных заданий обеспечивают повышение эффективности контроля, состоит в том, что они расширяют возможности педагогической диагностики на более высокие уровни познавательных процессов. Например, такие инновационные типы заданий, описанные выше, могут поставить задачу перед экзаменующимся по созданию на экране компьютера схемы некоторого объекта, или написания формулы, или компоновке таблицы и т.д. Фактически, данные типы заданий уже выходят на проверку сформированности компетенций обучающихся. Результаты выполнения данного типа заданий могут обеспечить контроль и диагностику профессиональных компетенций, практического (производственного) опыта и даже творческих умений. Новые Большинство формы заданий применяемых повышают в процессе уровень интерактивности. тестовой диагностики компьютеризированных форм заданий являются неинтерактивными, то есть 117 экзаменующийся предпринимает какое-то действие (например, делает выбор варианта ответа), и на этом процесс выполнения задания закончен. В случае интерактивного тестового задания компьютер тем или иным образом реагирует на действия экзаменуемого. В научной литературе [40, 86, 118 и др.] различают несколько типов или уровней интерактивности. Достаточно редко на практике применяют задания, интерактивности, и в которых еще реже, используют когда ограниченный применяют высокий уровень уровень интерактивности. Рассмотрим тип заданий, в котором используется ограниченная обратная связь, лишь немного увеличивая взаимодействие системы «задание- испытуемый». В этих заданиях после действия экзаменующегося компьютер некоторым образом реагирует. Например, в задании, где экзаменующиеся редактируют текст, новое предложение может быть отображено в первоначальном отрывке, позволяя экзаменующимся перечитать весь отрывок с проведенной им заменой. В заданиях на установление правильной последовательности, как только испытуемый выбрал некоторый порядок элементов, компьютер переставляет элементы в этом же порядке. Так как в таких заданиях испытуемый не получает сигнала обратной связи о правильности (или неправильности) своего ответа, то данный ограниченный уровень интерактивности используется только для того, чтобы помочь отвечающему удостовериться в правильности ответа, т.е. еще раз просмотреть задание и ответ в контексте поставленной проблемы. В этом случае интерактивности задания компьютер обеспечивают целый набор инструментов для испытуемых в пределах ответа. Эти инструменты, заложенные в компьютерную программу, рассматриваются как «пассивная форма» взаимодействия, т.е. компьютер отвечает на действия человека путем визуализации результата (подсказки, или справочного материала) на экране монитора. Следующий тип или уровень интерактивности – когда в задание включается двукратное (или многократное) разветвляющая функция. В этом 118 типе заданий – c двухступенчатым (или многоступенчатым) разветвляющимся интерактивным переходом - составляется разветвляющаяся структура по вариантам выбора. В зависимости от ответа испытуемого на задание алгоритм последует по тому или иному пути. В еще одном уровне интерактивная прикладная ситуация может сопровождаться обширным набором вариантов или выборов, доступных экзаменующемуся. В этом случае экзаменующийся выбирает множественные варианты или действия в любое данное время. Компьютер будет тогда реагировать на эти выборы, модифицируя и пересматривая экранную проблему. Число шагов до завершения этого типа инновационного задания может быть переменным, в зависимости от действий, которые осуществляет испытуемый и реакций компьютера на них. Ограниченное тестировании применение связано с интерактивности трудностями, при компьютерном свойственными разработке интерактивных оценок и методов подсчета баллов за выполнение таких заданий. Даже когда задание состоит из двух стадий взаимодействия, т.е. ограниченный уровень результатов интерактивности, существуют множество траекторий для мониторинга освоения образовательной программы. Особое значение при внедрении инновационных форм тестовых оценка их качества с точки зрения тестовой теории. Задание, которое педагог сформулировал, еще не является полноценным тестовым заданием. В.С. Аванесов и М.Б. Челышкова называют такие задания «претестовыми» заданиями, т.к. остается еще одна важная задача - определение их качества [2, 3, 158]. Если в ходе экспертизы или пробного тестирования будет установлено, что задание имеет тот или иной дефект, то оно должно быть откорректировано или отвергнуто. При анализе качества заданий разработчики педагогических экспертизы, тестов должны направленную на использовать обнаружение и научную сокращение методологию ошибок в педагогическом измерении, которые могут иметь систематический или случайный характер. 119 Существуют два основных подхода: проведение субъективной экспертизы качества тестовых заданий и оценка статистических показателей после проведения пробного тестирования [158]. Следует признать, что некоторая ошибка принципиально свойственна измерению образовательных достижений. Задача создателей теста - знать методы для того, чтобы обнаружить ее присутствие и сократить источники ее возникновения. Этими нежелательными источниками может быть запутанная формулировка задания, слабое соответствие между заданием и целью измерения и т.д. В то время как ошибка педагогического измерения не может быть устранена полностью, зная источники ее возникновения в процессе создания заданий можно улучшить и их качество, и качество всего теста. 120 В контексте настоящего исследования мы будем рассматривать методы оценки технологического качества компьютерных тестовых заданий. Для аттестационного педагогического теста технологическое качество заданий, в том числе и их форма, должна соответствовать всем научно обоснованным критериям, разработанными как зарубежными (G.H. Roid и T.M. Haladina [176], Crocker L. и др. [171]), так и отечественными (В.С. Аванесов [2], М.Б. Челышкова [158] и др.) учеными. Особое внимание в ходе исследования было уделено методам анализа статистических показателей качества современной тестовой теории тестовых заданий. В классической и существует целый ряд статистических показателей для оценки специфических особенностей и качества тестовых заданий [3, 116, 158, 171 и др. ]. Среди них наиболее часто используются следующие: уровень трудности заданий (p-value), целый ряд показателей дифференцирующей способности заданий типа коэффициента дискриминативности, точечно-бисериального коэффициента корреляции, фикоэффициента корреляции и др. Каждый из этих статистических показателей важен для определенной цели при анализе качества задания. В классической тестовой теории показатель уровня трудности заданий для дихотомически оцениваемых заданий – это просто доля экзаменующихся, которые ответили правильно на данное задание. Показатель уровня трудности некоторого задания сам по себе не указывает на его качество, хорошо ли оно или плохо; скорее, это просто оценка трудности выполнения данного задания в специфической группе экзаменующихся. Дифференцирующая способность задания - важное понятие в оценке его качества [158, 171]. Выбор заданий из базового банка с рекомендованным уровнем трудности для разработки теста не является достаточным, чтобы обеспечить удовлетворительный уровень надежности и валидности всего теста. Вторым важным показателем качества 121 тестового задания является дифференцирующая способность, который определяет насколько хорошо данное задание различает “лучших” и “слабых” испытуемых. Дифференцирующая способность задания определение различия среди экзаменующихся это показатель для по уровню подготовки по оцениваемому предмету. Понятие дифференцирующей способности строится на фундаментальном предположении, что экзаменующиеся, которые показывают высокий уровень подготовки по данному предмету, как предполагается, более вероятно правильно ответят на любое задание о том предмете, чем те, которые обладают низким уровнем подготовки. Наоборот, задания, на которые или все экзаменующиеся ответили правильно или все ответили неверно, не обладают дифференцирующей способностью, т.е. не различают сильных и слабых испытуемых. Задания, которые не обладают дифференцирующей способностью, не дают никакой информации о различи В классической тестовой теории для оценки качества тестовых заданий широко применяется коэффициент дискриминативности – Dj [158, 171]. Этот коэффициент рассчитывается по результатам тестирования путем выделения двух “контрастных” групп испытуемых. В большинстве случаев это 27% “слабых” и 27% “лучших” студентов из всей выборки. Коэффициент Dj находится по формуле Dj = pU - pL , где pU и pL - это доли студентов в лучшей и слабой группе соответственно, ответивших на данное (j-тое) задание правильно. Значение коэффициента Dj может изменяться от -1 до +1. Если значение Dj близко к +1, то данное задание обладает высокой различающей способностью, то есть “лучшая” группа студентов из выборки отвечают на него гораздо чаще, чем “слабая” группа. Если значение Dj близко к нулю, то данное задание фактически не обладает различающей способностью, то есть “лучшая” группа студентов из выборки отвечает на него также, как и “слабая” группа. 122 И, наконец, если значение Dj близко к минус единице, то данное задание весьма странно дифференцирует испытуемых, то есть “лучшая” группа студентов из выборки отвечают на него гораздо хуже, чем “слабая” группа. Такое задание следует тщательно проанализировать, так как оно имеет какой-то недостаток. Чаще всего - это либо неправильная формулировка, либо ошибка в содержании основной части или в вариантах ответов. В классической тестовой теории существует и другой коэффициент дифференцирующей способности задания, который выражает связь между результатами ответов на данное задание с индивидуальными баллами выборки испытуемых [171]. В случае, когда результат ответа на задание в тесте оценивается дихотомической переменной (например: 0 - неправильно, 1правильно), за коэффициент дискриминации принимают точечно-бисериальный коэффициент корреляции rpbis. Этот широко распространенный показатель дифференцирующей способности задания - точечно – бисериальный коэффициент корреляции – оценивает степень статистической связи между двумя переменными: профилем ответа на конкретное задание и результирующим тестовым баллом. Как и прежде, для большинства целей анализа задания, результирующий тестовый балл рассматривают адекватной мерой уровня подготовки экзаменующихся. Более того, часто это единственная мера уровня подготовки, доступная автору заданий, когда он проводит анализ их качества. Для j-го задания точечно-бисериальный коэффициент корреляции rpbis вычисляется по формуле: rpbis = X cpj X cp pj SX qj , где Xcpj- среднее значение индивидуальных баллов тех испытуемых, которые ответили на j-е задание правильно, Xcp - среднее значение индивидуальных испытуемых, 123 баллов всей выборки SX - стандартное отклонение индивидуальных баллов всей выборки испытуемых, pj - уровень трудности задания, qj = 1- pj . Согласно тестовой теории значение точечно-бисериального коэффициент корреляции rpbis равное или большее 0,3 является приемлемым показателем его качества. С помощью этого статистического показателя автор задания может оценить его дифференцирующую способность. Вообще говоря, задания с более высоким значением данного показателя лучше различают подготовленных и не подготовленных показателем испытуемых. точечно – На практике, бисериального задания коэффициента с отрицательным корреляции или удаляются из банка заданий, или полностью перерабатываются. Фи – коэффициент корреляции - еще одна важная статистическая оценка корреляционных отношений, которая может использоваться для анализа функционирования тестовых заданий. Однако, фи – коэффициент корреляции отличается от двух предварительно обсужденных оценок корреляции, потому что он предполагает подлинную дихотомию в обеих переменных. Основная функция фи – коэффициента корреляции – это определение степени ассоциации (связи) между заданием и некоторым другим дихотомическим критерием, например, результатом критериально-ориентированного тестирования, принадлежностью испытуемых к некоторой группе (по полу, по возрасту или некоторой другой демографической характеристике). Проводя теоретические исследования и практические работы по созданию итоговых тестов автор пришел к убеждению, что при реализации критериально-ориентированного педагогического измерения следует использовать фи-коэффициент корреляции для статистического анализа заданий в тесте, цель которого разделить выборку испытуемых на две дихотомические группы (аттестованных и неаттестованных). 124 Таким образом, можно рекомендовать только для критериальноориентированных тестов ввести еще один показатель качества тестового задания, а именно фи - коэффициент корреляции результатов выполнения j –го задания с тестовым баллом (обозначение – PHIj). Этот показатель оценивает «чувствительность» данного задания к критериальному баллу, т.е. чем он больше, тем больше аттестованных (т.е. хорошо подготовленных к данному тесту) испытуемых выполнили данное задание правильно. И наоборот, чем меньше коэффициент правильно его PHIj, тем больше неаттестованных испытуемых решили функционирования (что данного является задания в свидетельством неадекватного анализируемом критериально- ориентированном тесте), т.е. задание обладает низким качеством именно для данной критериально-ориентированной цели тестирования. Рассчитывается PHIj следующим образом. Для каждого задания составляется матрица сопряженности «2х2» (см. таблицу 2.3.). Таблица 2.3 Матрица «2х2» для расчета фи - коэффициент корреляции j-го задания с тестовым баллом Результат выполнения всего теста Результат выполнения j-го задания «0» «1» а b «Неаттестован» «Аттестован» с d где: а – количество испытуемых, неправильно выполнивших j-ое задание и неаттестованных по результатам всего теста; b - количество испытуемых, правильно выполнивших j-ое задание и неаттестованных по результатам всего теста; с - количество испытуемых, неправильно выполнивших j-ое задание и аттестованных по результатам всего теста; 125 d - количество испытуемых, правильно выполнивших j-ое задание и аттестованных по результатам всего теста. Тогда PHIj = ad bc . ( a c) ( b d) ( a b) ( c d) Для эффективного задания, которое обладает высоким качеством и является пригодным (валидным) для данного критериально-ориентированного теста, значение PHIj должно быть больше 0,3. Следует отметить, что статистические исследования показателей качества заданий должны быть проведены на достаточно больших выборках испытуемых. 2.3. Опытно-экспериментальная работа по проверке эффективности интерактивного мониторинга качества подготовки студентов колледжа (на примере специальности Страховое дело) Логика настоящего исследования обосновала необходимость опытноэкспериментального подтверждения выдвинутой нами научной гипотезы, что послужило основой для организации и проведения эксперимента. В процессе проведения опытно-экспериментальной работы мы опирались на существующие методы проведения научных исследований. Эффективность процесса обучения по всему профессиональному циклу дисциплин и профессиональных модулей определяется полученными количественными специальности «Страховое дело» результатами, параметрами знаний, т. умений е. качественными и и сформированных компетенций. Как известно, экспериментальная работа в педагогике используется для подтверждения эффективности инноваций, проверки гипотез исследований, для более глубокого изучения сущности педагогических явлений. А.М. Новиков 126 определяет эксперимент как «общий эмпирический метод исследования, суть которого заключается в том, что явления и процессы изучаются в строго контролируемых и управляемых условиях» [101, с.46]. При планировании педагогического эксперимента мы основывались на общих требованиях, сформулированных В.И. Загвязинским: «… четкое следование принципам организации и проведения экспериментальной работы; описание условий, в которых будет проходить педагогический эксперимент; определение оптимальной длительности экспериментальной работы и сроков диагностических срезов; обоснование репрезентативности выборки и базового типа формирующего эксперимента; разработка программы диагностики уровня качества предметной подготовки студентов в организациях среднего профессионального образования» [48]. Теоретический анализ поставленной проблемы, а также изучение практического опыта работы в сфере подготовки будущих специалистов по специальности Страховое дело в системе среднего профессионального образования, дало нам возможность выдвинуть ряд предположений, основанных на гипотезе исследования, которые требуют подтверждения в ходе экспериментальной работы. Нами было сделано предположение, что повышение качества обучения студентов в колледже будет обеспечено, если: - цели, задачи и модели мониторинга формируются в соответствии с требованиями ФГОС СПО, а также отвечают потребностям всех субъектов системы профессионального образования; - интерактивный мониторинг основывается на принципах взаимодействия, активности обучаемых, опоре на групповой опыт, на взаимной оценке, самоконтроле и эффективной обратной связи; - интерактивный мониторинг реализуется в комплексе способов и форм контроля: компьютерных адаптивных тестов, технологии виртуальных учебных фирм; решения интерактивных практических заданий; постоянного и систематического наблюдения за динамикой изменения в профессиональном и личностном развитии студентов колледжа. 127 Определение цели и задач опытно - экспериментальной работы базировались на сформулированной ранее гипотезы исследования. Основная цель эксперимента состояла в том, чтобы подтвердить гипотезу исследования и интерактивного доказать эффективность мониторинга качества использования освоения технологии профессиональной образовательной программы студентами колледжа. Дополнительными целями экспериментальной работы являются также апробация интерактивного мониторинга и поиска педагогических технологий и инструментов его эффективного функционирования. Задачи опытно-экспериментальной работы: - выявить начальный уровень качества подготовки студентов колледжа по основным учебным дисциплинам; -разработать анкеты оценки студентами качества обучения в ОУ; - разработать анкеты самооценки сформированности профессиональных и общих компетенций студентами при традиционной форме обучения и с применением интерактивного мониторинга; - апробировать профессиональной интерактивный образовательной мониторинг программы, качества реализуемый освоения в форме адаптивных компьютерных тестов, технологии виртуальных учебных фирм и решения интерактивных практических заданий, разработать базу тестов для проведения среза знаний у студентов по специальности «Страховое дело»; - разработать диагностическую матрицу мониторинга сформированности профессиональных компетенций студентов колледжа обучающихся по специальности Страховое дело (базовый уровень). - определить динамику изменений в качестве освоения профессиональной образовательной программы в ходе внедрения интерактивного мониторинга в учебный процесс колледжа; - провести обработку и анализ полученных экспериментальных данных. 128 В соответствии с поставленными целью и задачами был составлен организационный план экспериментальной работы, который заключался в следующих мероприятиях: – выявление основных этапов экспериментальной работы; – разработка и обоснование критериально-уровневой шкалы оценки качества освоения профессиональной образовательной программы по специальности Страховое дело в колледже; – формирование контрольной и экспериментальных групп для проверки эффективности интерактивного мониторинга качества освоения профессиональной образовательной программы; – оценка исходного качества освоения профессиональной образовательной программы в контрольной и экспериментальных группах; – апробация профессиональной интерактивного образовательной мониторинга программы, качества реализуемого освоения в форме адаптивных компьютерных тестов, технологии виртуальных учебных фирм и решения интерактивных практических заданий; – проведение начального, промежуточного и итогового мониторинга динамики изменений качества освоения профессиональной образовательной программы по специальности Страховое дело в колледже; – обобщение и анализ итоговых результатов педагогического эксперимента. Основной замысел педагогического эксперимента, касающегося компьютерного адаптивного тестирования студентов, состоял в том, чтобы: а) в соответствии с основополагающими принципами тестовой теории, а также математическими моделями оценки надежности и валидности педагогических тестов, описанных в работах В.Ю. Переверзева [112] , Майорова А.Н. [82] и др. авторов, разработать в экспериментальных целях компьютерные адаптивные критериально-ориентированные педагогические тесты для определения уровня обученности студентов по специальности «Страховое дело»; 129 б) Осуществить экспериментальное тестирование студентов после изучения ими цикла профессиональных дисциплин; в) Опираясь на полученные результаты тестирования, провести выбор стандартов оценивания (критериального балла), оценить и обосновать надежность, содержательную и критериальную валидность теста, соотнести экспериментальные данные с рабочей гипотезой, сформулировать теоретические выводы и обобщения. Исходя из замысла педагогического эксперимента, была подготовлена программа экспериментальной работы по формированию процесса адаптивного компьютерного тестирования качества подготовки студентов, которая включала в себя следующие составляющие: определение содержания тестов и цели тестирования; разработку спецификации теста; создания компьютерного банка тестовых заданий; педагогическую экспертизу тестовых заданий; формирование теста и его параллельных форм; анализ результатов тестирования и комплексную проверку надежности и валидности теста; интерпретацию полученных данных и др. На первом этапе эксперимента была сформировано содержание компьютерного критериально-ориентированного педагогического теста по профессиональным дисциплинам (Страховое дело и др.). В соответствии с ФГОС СПО в программе дисциплины «Страховое дело» в сжатом виде сформулированы основные знания и умения, которыми студенты должны овладеть. Они должны: - уметь: использовать в речи профессиональную терминологию, ориентироваться в видах страхования; оценивать страховую стоимость; устанавливать страховую сумму; рассчитывать страховую премию; выявлять особенности страхования в зарубежных странах. - знать: сущность и значимость страхования; страховая терминология; формы и отрасли страхования; страховая премия как основная база доходов страховщика; основные виды имущественного страхования; основные виды личного страхования; медицинское страхование; основные виды 130 страхования ответственности; перестрахование; особенности страхования в зарубежных странах. Таким образом, цель экспериментального компьютерного тестирования заключалась в выявлении уровня овладения студентами строго определенной системы знаний и умений. В эксперименте использовались тестовые задания в различных, в том числе и в инновационных формах , а по своему целевому назначению – задания на понимание сущности понятий и процессов в страховом деле явлений и задания на контроль умений студентов анализировать и составлять документы в профессиональной деятельности специалиста по страхованию. Каждое тестовое задание прошло педагогическую экспертизу, причем многие из них были исправлены или полностью переработаны. Экспертиза была организована таким образом, чтобы наряду с оценкой содержательной валидности теста, определить первоначальные показатели стандарта оценивания. В дальнейшем из банка тестовых заданий были сформированы три варианта компьютерного критериально-ориентированного теста, каждый из которых содержал 30 тестовых заданий. Время тестирования 35- 40 мин. В среднем на решение одного задания испытуемому выделяется 1 минута. Выборка студентов, участвующих в педагогическом эксперименте состояла из 232 человек. Возраст студентов – 17-19 лет. Уровень образовательной подготовки хороший. Средний балл подавляющего большинства студентов – 3,8 – 4,2. Педагогическое тестирование студентов осуществлялось в компьютерном классе по группам под руководством преподавателей с участием технического персонала. Тест из 30 заданий выполнялся студентами за 35-40 минут. В дальнейшем, по итогам педагогического тестирования, была продолжена исследовательская работа в соответствии с методикой, описанной В.Ю. Переверзевым [113]: 131 определены критерии оценивания (критериальные баллы) экспертным методом; построена модель оценки надежности теста и выявлены показатели его надежности; проведена оценка критериальной валидности педагогического теста; интерпретированы экспериментальные данные и соотнесены с гипотезой исследования; сформулированы теоретические выводы и разработаны практические рекомендации по совершенствованию тестирования студентов. Таким образом, педагогический эксперимент имел совершенно четкий замысел, программу и проводился в соответствии с планом, что дало возможность организованно, в отведенное время осуществить педагогическое тестирование студентов. По результатам тестирования была проведена экспериментальная педагогического оценка тестирования процесса критериально-ориентированного с помощью математических моделей и экспертных методик. Метод экспертной последовательных оценки экспертных критериального оценках балла содержания основан тестовых на заданий. Основная процедура этого метода заключается в следующем. Каждый из экспертов (преподавателей) читает все тестовые задания из данного теста и приписывает ему вероятность того, что минимально компетентный испытуемый ответит на это тестовое задание правильно. Данные вероятности могут быть оценены легче, если эксперты представят себе большую группу минимально компетентных испытуемых и затем установят долю из их числа, которые ответят на тестовое задание правильно. После того, как каждому тестовому заданию из теста присвоена вероятность правильного ответа, критериальный балл устанавливается суммированием значений этих вероятностей. Для однозначности группе экспертов предлагается выбрать для каждого тестового задания вероятности правильного ответа минимально подготовленного испытуемого, принимающие 132 значения 0.9, 0.8, 0.7, 0.6, 0.5, ...., 0.1. Фактически, экспертам предлагается разбить все тестовые задания на 9 групп и приписать им соответствующие вероятности 0.9, 0.8, 0.7, 0.6, 0.5,...., 0.1. Для упорядоченности экспертизы предлагалось заполнить таблицу 2.4. 133 преподавателям-экспертам Таблица 2.4 Результаты экспертизы тестовых заданий по дисциплине «Страховое дело» для определения критериального балла (стандарта оценивания) № задания 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. Вероятность того, что минимально подготовленный испытуемый правильно выполнит данное задание 1-й эксперт 2-й эксперт 3-й эксперт 0. 0.4 0.3 4 0. 0.7 0.7 8 0. 0.4 0.4 3 0. 0.7 0.8 7 0. 0.5 0.5 6 0. 0.6 0.6 8 0. 0.4 0.3 3 0. 0.5 0.5 4 0. 0.5 0.5 5 0. 0.6 0.5 5 0. 0.6 0.6 6 0. 0.7 0.6 7 0. 0.5 0.5 6 0. 0.4 0.4 4 0. 0.2 0.3 3 0. 0.8 0.8 9 0. 0.7 0.6 7 0. 0.8 0.8 8 0. 0.5 0.5 4 0. 0.5 0.6 4 0. 0.5 0.5 4 0. 0.4 0.4 3 0. 0.6 0.6 6 0. 0.5 0.5 6 0. 0.7 0.8 7 0. 0.9 0.9 8 0. 0.4 0.4 5 0. 0.5 0.4 5 0. 0.6 0.6 Вероятность того, что минимально подготовленный «отличник» правильно выполнит данное задание 1-й эксперт 2-й эксперт 3-й эксперт 0.6 0.7 0.6 134 0.9 0.9 0.9 0.6 0.8 0.7 0.9 0.8 0.9 0.7 0.8 0.7 0.8 0.9 0.7 0.7 0.8 0.7 0.7 0.7 0.7 0.8 0.8 0.8 0.7 0.7 0.7 0.8 0.8 0.8 0.9 0.9 0.8 0.8 0.8 0.8 0.7 0.7 0.7 0.5 0.5 0.6 0.9 0.8 0.9 0.8 0.8 0.8 0.9 0.9 0.9 0.7 0.6 0.6 0.6 0.6 0.6 0.6 0.6 0.6 0.7 0.6 0.7 0.8 0.8 0.8 0.8 0.9 0.9 0.9 0.9 0.9 0.9 0.9 0.9 0.7 0.7 0.7 0.7 0.7 0.7 0.8 0.8 0.9 6 30. 0. 0.8 0.9 0.9 0.9 0.9 7 К ритериальн ый балл К2 =∑рi= 16.8 К2=∑ рi = 16.9 К2= ∑рi= 16.8 К4= ∑рi= 22.8 К4= ∑рi = 23.1 К4= ∑рi= 22.9 После анализа таблицы рассчитываются критериальный балл путем суммирования вероятностей. Для первого эксперта критериальный балл получения удовлетворительной оценки К2=∑рi= 16.8, для второго эксперта К2=∑рi = 16.9, для третьего К2=∑рi= 16.8 . Заметим, что несмотря на различия в экспертной оценке вероятностей по каждому заданию, суммарные показатели критериальногого балла К2 получились достаточно близкими по значению. Это говорит о том, что выбрав критериальный балл равным 17 из 30 возможных, мы обеспечим первое приближение удовлетворительной оценки по результатам тестирования. Таким образом, набрав за данный тест 17 и более баллов, студент получает «3», менее 17 баллов – «2». То есть можно в первом приближении утверждать, что для данного теста студент должен правильно выполнить более 57% заданий, чтобы получить удовлетворительную аттестацию. Для экспертного выявления критериального балла «отличной» оценки просуммируем вероятности в трех правых крайних столбцах таблицы. Для первого эксперта критериальный балл получения отличной оценки К4=∑рi= 22.8, для второго эксперта К4=∑рi = 23.1, для третьего К4=∑рi= 22.9 . Заметим, что несмотря на различия в экспертной оценке вероятностей по каждому заданию, суммарные показатели критериального балла К4 получились достаточно близкими по значению. Это говорит о том, что выбрав критериальный балл равным 24 из 30 возможных, мы обеспечим первое приближение отличной оценки по результатам тестирования. Набрав за данный тест 24 и более баллов, студент получает оценку «5», менее 24 баллов – оценку «4» и ниже. В первом приближении можно утверждать, что для данного теста студент должен правильно выполнить более 80% заданий, чтобы получить оценку «отлично». 135 Критериальный балл для оценки «хорошо» можно выбрать, например, как полусумма К2 и К4. В нашем случае К3=21. Окончательно имеем таблицу 2.5 для оценки результатов тестирования по данной дисциплине. Таблица 2.5 Менее 17 баллов «неудовлетворительно» От 17 до 20 баллов «удовлетворительно» От 21 до 23 баллов «хорошо» 24 и более баллов «отлично» Опытно-экспериментальная работа проводилась на базе ГБОУ СПО Колледж индустрии гостеприимства и менеджмента № 23, г. Москва. Для осуществления эксперимента были приглашены имеющие практически одинаковые параметры по качеству начальной подготовки две группы: экспериментальная и контрольная, что в количественном выражении составило 232 студента специальности Страховое дело. В экспериментальных группах проверялась эффективность реализации интерактивного мониторинга образовательной программы. качества В освоения контрольной группе профессиональной осуществлялась традиционная профессиональная подготовка будущего специалиста без внедрения элементов интерактивного мониторинга. Учитывая цель, предмет, гипотезу и задачи исследования педагогический эксперимент осуществлялся в три этапа: констатирующий, формирующий и обобщающий. Для каждого этапа формулировались свои задачи, определялись промежуточные результаты экспериментальной работы. На первом – констатирующем этапе (2009-2010 гг.) - был проведен анализ практики работы организаций среднего профессионального образования по мониторингу качества подготовки студентов, а также был определено качество подготовки студентов колледжа (в контрольной и экспериментальных 136 группах) по ряду учебных дисциплин профессионального цикла. Основные методы исследования на данном этапе анкетирование, анализ учебных планов, анализ ФГОС СПО и профессиональных стандартов. Констатирующий эксперимент включал в себя, в том числе, диагностику уровня общепрофессиональных знаний, умений, навыков студентов на начальном этапе обучения. Содержанием второго (формирующего) этапа экспериментальной работы (2011-2013 гг.) – являлась апробация интерактивного мониторинга качества освоения профессиональной образовательной программы и поиск технологий его эффективного функционирования. На данном этапе эксперимента в 2011-2012 уч. году было проведено анкетирование студентов контрольной и экспериментальной групп в целях определения их самооценки сформированности профессиональных и общих компетенций в результате обучения, а также проведено анкетирование оценки и студентами качества обучения в ОУ. В результате внедрения интерактивного мониторинга в учебный процесс было определено эффективное сочетание форм, методов и оценочных интерактивных средств для мониторинга качества подготовки студентов в колледже. Методами исследования на данном этапе являлись педагогический эксперимент, наблюдение, самооценка, адаптивное тестирование, метод виртуальных учебных фирм и др. Третий этап – заключительный этап (2013-2014 гг.) – был посвящен описанию результатов экспериментальной работы; формулированию выводов; обработке, анализу, обобщению результатов исследования, соотнесению их с гипотезой исследования, внедрению полученных результатов в практику работы организаций среднего профессионального образования. При обработке результатов применялись методы математической статистики. Основная суть формирующего этапа экспериментальной работы заключалась в последовательных мероприятиях, направленных на следующее: 137 1) применение в практике колледжа экспериментального варианта технологии интерактивного мониторинга качества освоения ОПОП по специальности Страховое дело 2) технология интерактивного мониторинга была разработана на основе содержания ФГОС СПО по данной специальности с учетом целевого формирования профессиональных компетенций. Оценка производилась сформированности с использование профессиональных соответствующего компетенций диагностического инструментария: на соответствие стандарту, с учетом уровневого подхода, изучение элементного состава знаний, с использованием тестового контроля и др. Специально для проведения эксперимента нами была разработана диагностическая матрица мониторинга сформированности профессиональных компетенций студентов колледжа (Таблица 2.6) обучающихся по специальности Страховое дело (базовый уровень). Представленная в Таблице 2.6 диагностическая матрица мониторинга сформированности профессиональных компетенций заполняется для каждого студента. Подсчет мониторинговых оценок ведется по каждому блоку компетенций (в данном ФГОС СПО их всего четыре). В графе 2 фиксируются результаты адаптивного тестирования (тестовые баллы - Амi) и процент освоения компетенций по блоку по формуле: ПАмi= (Амi/ ТАмакс) х 100% , где ТАмакс – максимально возможное значение тестовых баллов в данном блоке. В графе 3 фиксируются оценки решения интерактивных практических заданий в баллах (Бмi) и процент освоения компетенций по блоку по формуле: ПБмi= (Бмi/ ТБмакс) х 100% , где ТБмакс – максимально возможное значение баллов при решении интерактивных практических заданий в данном блоке. В графе 4 фиксируются результаты работы в виртуальной учебной фирме (ВУФ). Подсчет по каждой профессиональной компетенции производится по следующей шкале уровней сформированности: начальный - 0 баллов (данная 138 компетенция не сформирована); средний - 1 балл (данная компетенция сформирована не полностью); целевой - 2 балла (компетенция сформирована). Затем все результаты по блоку суммируются и для каждого студента получается баллы работы в ВУФ по i- му блоку (Вмi) и процент освоения компетенций по блоку по формуле: ПВмi= (Вмi/ ТВмакс) х 100% , где ТВмакс – максимально возможное значение баллов при работе в ВУФ в данном блоке. По каждому блоку подсчитывается средний уровень освоения компетенций по i- му блоку по формуле: Смi= (ПАмi + ПБмi + ПВмi): 3 Затем вычисляется общий уровень освоения профессиональных компетенций данным студентом (%) по формуле: См= (См1 + См2 + См3 + См4) : 4. Таким образом, по каждому студенту, участвующему в эксперименте, мы получаем развернутую картину уровня сформированности профессиональных компетенций, зафиксированных в ФГОС СПО по данной специальности. А также, мы вычисляем обобщенный показатель качества освоения ОПОП для каждого студента, а именно общий уровень освоения компетенций См. 139 профессиональных Таблица 2.6 Диагностическая матрица мониторинга сформированности профессиональных компетенций студентов колледжа (специальность Страховое дело) (базовый уровень) Название профессиональной компетенции (Источник: ФГОС СПО по специальности Страховое дело) 1 Блок 1. Реализация различных технологий розничных продаж в страховании ПК 1.1. Реализовывать технологии агентских продаж. ПК 1.2. Реализовывать технологии брокерских продаж и продаж финансовыми консультантами. ПК 1.3. Реализовывать технологии банковских продаж. ПК 1.4. Реализовывать технологии сетевых посреднических продаж. ПК 1.5. Реализовывать технологии прямых офисных продаж. ПК 1.6. Реализовывать технологии продажи полисов на рабочих местах. ПК 1.7. Реализовывать директ-маркетинг как технология прямых продаж. ПК 1.8. Реализовывать технологии телефонных продаж. ПК 1.9. Реализовывать технологии интернет-маркетинга в розничных продажах. ПК 1.10. Реализовывать технологии персональных продаж розничном страховании Сумма баллов студента по блоку 1 Процент освоения компетенций по блоку 1 (%) Средний уровень освоения компетенций по блоку 1: (%) Блок 2. Организация продаж страховых продуктов ПК 2.1. Осуществлять стратегическое и оперативное планирование розничных продаж ПК 2.2. Организовывать розничные продажи. ПК 2.3. Реализовывать различные технологии розничных продаж в страховании. ПК 2.4. Анализировать эффективность каждого канала продаж. Сумма баллов студента по блоку 2 Процент освоения компетенций по блоку 2 (%) Средний уровень освоения компетенций по блоку 2: (%) Блок 3.Сопровождение договоров страхования ПК 3.1. Документально оформлять страховые операции ПК 3.2. Вести учет страховых договоров ПК 3.3. Анализировать основные показатели продаж страховой организации Сумма баллов студента по блоку 3 Процент освоения компетенций по блоку 3 (%) Средний уровень освоения компетенций по блоку 3 (%) 140 Оценки мониторинга Результаты Оценки адаптивног решения о интеракт тестирован ивных ия практиче (тестовые ских баллы) заданий (оценочн ые баллы) 2 3 Результаты работы в виртуально й учебной фирме ВУФ (Уровень сформиров анности: в баллах) 4 в Ам1= ПАм1= См1= Бм1= ПБм1= Вм1= ПВм1= Ам2= ПАм2= См2= Бм2= ПБм2= Вм2= ПВм2= Ам3= ПАм3= См3= Бм3= ПБм3= Вм3= ПВм3= Блок 4. Оформление сопровождение страхового случая (урегулирование убытков) ПК 4.1. Консультировать клиентов по порядку действий для оформления страхового случая ПК 4.2. Организовывать экспертизы, осмотр пострадавших объектов ПК 4.3. Подготавливать и направлять запросы в компетентные органы ПК 4.4. Принимать решения о выплате страхового возмещения, оформлять страховые акты ПК 4.5. Вести журналы убытков, в т.ч. в электронном виде, составлять отчеты, статистику убытков ПК 4.6. Принимать меры по предупреждению страхового мошенничества. Сумма баллов студента по блоку 4 Процент освоения компетенций по блоку 4 (%) Средний уровень освоения компетенций по блоку 4 (%) Общий уровень освоения профессиональных компетенций (%) Полученные студентов результаты для всех Ам4= ПАм4= См4= См= Бм4= БАм4= участвующих Вм4= Вам4= в эксперименте мы разделяли в соответствии с тремя определенными уровнями освоения ОПОП в контрольных и экспериментальных группах соответственно: 1) низкий, 2) средний; 3) высокий. Эти уровни освоения ОПОП соответствуют следующим критериям: 1) сформированность профессиональных компетенций на уровне См ≤ 35% (Таблица 2.6) свидетельствует о низком уровне освоения ОПОП; 2) если общий уровень освоения профессиональных компетенций См лежит в интервале от 35% до 65% , то это говорит о среднем уровне освоения ОПОП; 3) если общий уровень освоения профессиональных компетенций См ≥ 65% то мы зачисляли данных студентов в группу с высоким уровнем освоения ОПОП. Показатели, полученные в начале формирующего эксперимента, а именно по окончании первого курса учебного заведения распределились в соответствии с данными Таблицы 2.7. В последнем столбце таблицы 2.7. приведены результаты сравнения экспериментального и табличного критерия 2, (хи-квадрат) который рассчитывался по формуле, приведенной ниже (для определения достоверности 141 результатов вычислений контрольной и экспериментальной групп на каждом этапе формирующего эксперимента). В соответствии со статистической методикой определения достоверности совпадений и различий целесообразно использование критерия однородности χ2, эмпирическое значение которого вычисляется по формуле: ni mi С 2 N M N M l i ni mi 2 , где 2 – фактическое значение статистики критерия N – количество студентов в экспериментальных группах; M – количество студентов в контрольных группах; ni – количество студентов из экспериментальных групп, освоивших ОПОП на i-том уровне. mi – количество студентов из контрольных групп, освоивших ОПОП на iтом уровне. С – число уровней i. Полученные нами эмпирические значения статистического критерия 2 эмп меньше критического значения данного критерия 2 статистической значимости 0,05) крит = 5,99 (для уровня . Это свидетельствует о том, что на начальном этапе отмечается совпадение характеристик сравниваемых выборок (результатов контрольных и экспериментальных групп). 142 Таблица 2.7 Показатели качества освоения ОПОП на начальном этапе формирующего эксперимента Блоки профессиональных компетенции (ФГОС СПО по специальности Страховое дело) Блок 1. Реализация различных технологий розничных продаж в страховании Блок 2. Организация продаж страховых продуктов Блок 2. Организация продаж страховых продуктов Блок 4. Оформление сопровождение страхового случая (урегулирование убытков) Общий уровень освоения ОПОП (категория профессиональных компетенций) Число студентов колледжа, имеющих Сравнение следующие уровни освоения ОПОП статистического критерия Экспериментальн Контрольные ые группы группы н с в н с в 2 эмп . и 2 крит изкий редни ысоки изкий редний ысокий й й 3 5 2 4 4 1 4,3 < 5,99 8 1 7 8 9 9 3 9 5 0 6 2 7 7 3 1 3 3 0 2 8 2 2 8 6 0 7 3 2 2 6 < 3,64 < 2,76 < 7,82 1 4 6 3 5,51 5,99 3 8 3 2 2 7 2 4 2 6 1 1 8 3 4 2 5,99 2 1 На второй стадии формирующего эксперимента (после окончания второго курса обучения были получены данные, свидетельствующие о начале положительной динамики в формировании профессиональных компетенций у студентов колледжа. Все данные также, как и на начальной стадии распределялись по трем уровням качества освоения ОПОП После анализе результатов исследования для сравнения распределений учащихся по уровням сформированности профессиональных компетенций в двух независимых выборках (экспериментальные и контрольные следующие данные (Таблица 2.8.). 143 группы) мы получили Таблица 2.8. Показатели качества освоения ОПОП эксперимента Блоки профессиональных компетенции (ФГОС СПО по специальности Страховое дело) Блок 1. Реализация различных технологий розничных продаж в страховании Блок 2. Организация продаж страховых продуктов Блок 2. Организация продаж страховых продуктов Блок 4. Оформление сопровождение страхового случая (урегулирование убытков) Общий уровень освоения ОПОП (категория профессиональных компетенций) Очевидно, что на втором этапе формирующего Число студентов колледжа, имеющих Сравнение следующие уровни освоения ОПОП статистического критерия Экспериментальн Контрольные ые группы группы н с в н с в 2 эмп . и 2 крит изкий редни ысоки изкий редний ысокий й й 2 7 2 3 6 1 8,2 > 5,99 2 0 1 6 6 5 1 1 3 7 1 7 эмпирическое 6 2 3 значение 2 7 > 6,4 < 8,7 > 5,99 2 0 7 0 8,17 5,99 6 2 2 5 2 1 8 4 0 7 2 2 5 2 2 8 0 2 3 7 7 3 5 4 1 4 5 0 5 6 4 5,99 2 1 статистического критерия оказывается в ряде случаев больше критического (7,82 для уровня значимости 0,05), а значит, это подтверждает существование различий в характеристиках сравниваемых объектов, определяемых мероприятиями, осуществляемыми в рамках экспериментальной работы. Третий этап формирующего эксперимента, заключительный, выявил очевидное превосходство экспериментальной группы Полученные значения критерия 2 эмп, которые отражают преимущество экспериментальных групп в аспекте сформированности профессиональных компетенций, отражены в Таблице 2.9. 144 Таблице 2.9 на заключительном этапе Показатели качества освоения ОПОП формирующего эксперимента Блоки профессиональных компетенции (ФГОС СПО по специальности Страховое дело) Блок 1. Реализация различных технологий розничных продаж в страховании Блок 2. Организация продаж страховых продуктов Блок 2. Организация продаж страховых продуктов Блок 4. Оформление сопровождение страхового случая (урегулирование убытков) Общий уровень освоения ОПОП (категория профессиональных компетенций) Число студентов колледжа, имеющих Сравнение следующие уровни освоения ОПОП статистического критерия Экспериментальн Контрольные ые группы группы н с в н с в 2 эмп . и 2 крит изкий редни ысоки изкий редний ысокий й й 6 6 4 8 4 6 6 4 6 4 4 6 4 7 7 1 4 3 6 1 13,2 > 9,55 > 15,4 > 5,99 3 3 6 8 > 5,99 8 9 7 2 6 14,50 5,99 9 2 4 7 6 1 5 2 5 9 6 5 6 2 1 4 5 7 3 8 6 4 1 8 5,99 3 1 Если различия в уровне формирования профессиональных компетенций обучающихся в экспериментальных и контрольных группах существенны, и связь между ними статистически значима, то, согласно критерия 2 эмп различия результатов эксперимента не могут быть объяснимы случайными причинами, а являются следствием специально организованной деятельности. Результаты формирующего эксперимента позволила нам выявить динамику качества освоения ОПОП в экспериментальной и контрольной группах. Полученные значения представлены в Таблице 2.10 и на Рис.2.15 и Рис. 2.16 145 Таблице 2.10. Динамика качества освоения ОПОП в экспериментальной и контрольной группах Общий уровень освоения ОПОП (категория профессиональных компетенций) Начальный этап эксперимента Промежуточный этап эксперимента Заключительный этап эксперимента Число студентов колледжа, имеющих следующие уровни освоения ОПОП Экспериментальные Контрольные группы группы н с высо н сред в изкий редни кий изкий ний ысокий й 3 6 20 3 63 2 4 2 2 1 1 6 7 30 0 7 6 47 2 1 этап 2 70 21 1 68 31 5 7 2 этап 3 этап 80 60 40 20 0 низкий высокий Рис. 2.15 Динамика качества освоения ОПОП в экспериментальной группе. Число участвующих в эксперименте студентов колледжа, имеющих уровни освоения ОПОП: низкий, средний, высокий. ( Этапы мониторинга:1 этапначальный; 2 этап - промежуточный 3 этап – заключительный) 146 1 этап 2 этап 3 этап 80 70 60 50 40 30 20 10 0 низкий средний высокий Рис. 2.16 Динамика качества освоения ОПОП в контрольной группе. Число участвующих в эксперименте студентов колледжа, имеющих уровни освоения ОПОП: низкий, средний, высокий. (Этапы мониторинга:1 этап- начальный; 2 этап - промежуточный 3 этап – заключительный) Окончательные данные по динамики качества освоения ОПОП в контрольной и экспериментальной группах студентов колледжа представлены наглядно на Рис. 2.15 и Рис. 2 16. Анализ диаграмм показывает, что в экспериментальных группах (Рис. 2.15) происходит положительная динамика формирования профессиональных компетенций: резкое уменьшение численности студентов с низким уровнем освоения ОПОП , и такой же резкий подъем числа студентов с высоким уровнем освоения образовательной программы. Заметим, что данная тенденция в контрольных группах студентов выражена не так сильно. В ходе эксперимента в ГБОУ СПО Колледж индустрии гостеприимства и менеджмента № 23, г. Москва с 2009 г. по 2012 г. проводилось анкетирование оценки студентами качества обучения в ОУ. Результаты анкетирования представлены в Рис. 2.17 – 2.18. 147 Рис. 2.17 «Оценка студентами качества обучения в ОУ». Результаты анкетирования в 2010-11 уч. году, до внедрения в процесс обучения интерактивного мониторинга. 148 Рис. 2.18 «Оценка студентов качества обучения в ОУ». Результаты анкетирования в 2011-12 уч. году после внедрения в процесс обучения интерактивного мониторинга. Проведенный анализ результатов анкетирования показал, что ответы студентов на вопросы имеют тенденцию больше удовлетворенности в качестве обучения после внедрения в процесс обучения интерактивного мониторинга. Например, на вопрос «Устраивает ли Вас созданная в ОУ система обучения для получения навыков, практических умений и компетенций специалиста?» 84 % респондентов ответило положительно («Да» и «Скорее Да») в 2011-12 уч. году после внедрения в процесс обучения интерактивного мониторинга. А в 2010-11 уч. году, до полноценного внедрения интерактивного мониторинга, только 74% отвечали положительно на этот вопрос (Рис. 2.3. и Рис. 2.4.). 149 На вопрос «Вы считаете, что в ОУ созданы все условия для обучения информационным и коммуникационным технологиям?» в 2011-12 уч. году после внедрения в процесс обучения интерактивного мониторинга 86 % студентов ответило положительно («Да» и «Скорее Да»). А в 2010-11 уч. году, до полноценного внедрения интерактивного мониторинга, только 70% отвечали положительно на этот вопрос. На вопрос «По вашему мнению, обучение с использованием современных средств, таких как электронные учебники, презентации, дистанционное образование и др. более эффективно, чем традиционные формы?» 93 % респондентов ответило положительно («Да» и «Скорее Да») в 2011-12 уч. году после внедрения в процесс обучения интерактивного мониторинга. А в 2010-11 уч. году, до полноценного внедрения интерактивного мониторинга, на этот же вопрос отвечали положительно только 73% (Рис. 2.3. и Рис. 2.4.). Результаты опроса демонстрируют позитивное отношение студентов к использованию на учебных занятиях компьютерного интерактивного мониторинга. На втором этапе эксперимента 2011-2012 уч. году было проведено анкетирование студентов контрольной и экспериментальной групп в целях определения их самооценки сформированности профессиональных и общих компетенций в результате обучения. Контрольная группа обучалась по традиционной методике, экспериментальная группа обучалась с применением интерактивного мониторинга в рамках разработанной информационной среды. Результаты анкетирования представлены в Таблице 2.5. и на последующих рисунках ( Рис. 2.5 – Рис. 2.8). 150 40% 36% 35% 32% 30% 25% 24% 24% 20% 15% 10% 5% 0% Профессиональные компетенции Традиционное обучение Общие компетенции Обучение с применением интерактивного мониторинга Рис. 2.19 Результаты анкетирования студентов при традиционной форме обучения и с применением интерактивного мониторинга. Самооценка сформированности профессиональных и общих компетенций. Диаграмма: Процент студентов, ответивших на вопрос: «На каком уровне, по Вашему мнению, сформированы ваши профессиональные и общие компетенции» Полностью сформированы. 70% 50% 60% 56% 60% 52% 48% 40% 30% 20% 10% 0% Профессиональные компетенции Традиционное обучение Общие компетенции Обучение с применением интерактивного мониторинга Рис. 2. 20 Результаты анкетирования студентов при традиционной форме обучения и с применением интерактивного мониторинга. Самооценка 151 сформированности профессиональных и общих компетенций. Диаграмма: Процент студентов, ответивших на вопрос: «На каком уровне, по Вашему мнению, сформированы ваши профессиональные и общие компетенции» Частично сформированы. 14% 12% 12% 12% 10% 8% 8% 6% 4% 4% 2% 0% Профессиональные компетенции Традиционное обучение Общие компетенции Обучение с применением интерактивного мониторинга Рис. 2.21 Результаты анкетирования студентов при традиционной форме обучения и с применением интерактивного мониторинга. Самооценка сформированности профессиональных и общих компетенций. Диаграмма: Процент студентов, ответивших на вопрос: «На каком уровне, по Вашему мнению, сформированы ваши профессиональные и общие компетенции» Слабо сформированы. 152 18% 16% 16% 14% 12% 12% 10% 8% 6% 4% 4% 2% 0% 0% Профессиональные компетенции Традиционное обучение Общие компетенции Обучение с применением интерактивного мониторинга Рис. 2.22 Результаты анкетирования студентов при традиционной форме обучения и с применением интерактивного мониторинга. Самооценка сформированности профессиональных и общих компетенций. Диаграмма: Процент студентов, ответивших на вопрос: «На каком уровне, по Вашему мнению, сформированы ваши профессиональные и общие компетенции» - Пока не сформированы. Анализ ответов студентов на вопрос: «На каком уровне, по Вашему мнению, сформированы ваши профессиональные и общие компетенции» показал стойкую тенденцию большей самооценки тех студентов, которые обучались с применением интерактивного мониторинга. Например, по мнению респондентов, обучавшихся с применением интерактивного мониторинга, полностью сформированы профессиональные компетенции у 32 % , что на 8 % больше в сравнении с группой студентов, обучающихся по традиционной форме обучения (Рис. 2.19.). А общие компетенции полностью сформированы у 36% респондентов, обучавшихся с применением интерактивного мониторинга, что на 12 % больше самооценки студентов, обучавшихся по традиционной форме обучения (Рис. 2.20.). Аналогичную тенденцию подтверждают данные на Рис. 2.6. и Рис. 2.7. 153 С другой стороны низкую самооценку (на вопрос: «На каком уровне, по Вашему мнению, компетенции» сформированы - дан ответ ваши профессиональные и общие «профессиональные компетенции пока не сформированы») дали только 4% респондентов, обучавшихся с применением интерактивного мониторинга, и 16% студентов, обучавшихся по традиционной форме обучения (Рис. 2.21.). Проведенный педагогический эксперимент показал, что использование интерактивного мониторинга в образовательном процессе привело к значительному повышению продуктивности усвоении учебных знаний и, как следствие, к лучшему освоению ОПОП по специальности «Страховое. В целом по мере внедрения технологии интерактивного мониторинга повышение удовлетворенности студентов качеством произошло образования в экспериментальных группах, по сравнению со студентами контрольных групп с традиционными методами обучения. Можно утверждать, что проведенный педагогический эксперимент подтвердил положения гипотезы данного исследования. Было установлено, что внедрение технологии интерактивного мониторинга привело к повышение качества обучения студентов в колледже. В ходе всей работы мы постоянно следили за тем, чтобы цели, задачи и модели интерактивного мониторинга формировались в соответствии с требованиями ФГОС СПО, чтобы интерактивный мониторинг был основан на принципах взаимодействия, активности обучаемых, опоре на групповой опыт, на взаимной оценке, самоконтроле и эффективной обратной связи. Эксперимент убедительно подтвердил эффективность реализации технологии интерактивного мониторинга в комплексе современных способов и форм контроля: 1) компьютерных адаптивных тестов, 2) технологии виртуальных учебных фирм; 3) решения интерактивных практических заданий; 4) постоянного и систематического наблюдения за динамикой изменения в профессиональном и личностном развитии студентов колледжа. 154 Выводы по второй главе В результате исследования мы пришли к выводу, что интерактивные компьютерные тесты, разработанные на научно-обоснованных методиках, обладают высокой надежностью и валидностью, и в этом они существенно отличаются в лучшую сторону от традиционных форм и методов педагогического контроля. При этом, именно адаптивные тесты полностью отвечают требования интерактивного мониторинга качества освоения ОПОП. В ходе работы был проведен научно-педагогический анализ понятий «педагогический тест» и «тестовое задание», проанализировано современное состояние типологии и классификация тестов в образовании и их применения для целей мониторинга. Отмечено, что особое значение сейчас приобретают компьютерные адаптивные тесты, обладающие необходимыми для мониторинга характеристиками. Компьютерная тестовая диагностика имеет целый ряд неоспоримых преимуществ перед традиционным бланковым тестированием: результаты автоматически надежность обрабатываются и точность компьютером; педагогического большая измерения; эффективность, возможность дистанционного контроля; применения инновационных интерактивных форм тестовых заданий и др. Анализ отечественной и зарубежной практики компьютерного тестирования показывает, что инновации при разработке заданий для компьютерного тестирования включают в себя следующие взаимозависимые и взаимодополняющие направления: 1) форма заданий (с учетом компьютерного интерфейса); 2) действие обучающегося при ответе; 3) включение в структуру заданий элементов мультимедиа (графики, аудио, видео); 4) повышения уровня интерактивности, степени взаимодействия компьютера и обучающегося; 5) методы подсчета баллов за выполнения заданий и всего теста. 155 В главе подробно описаны и систематизированы как традиционные, так и инновационные формы компьютерных тестовых заданий: с применением технологии «hot spot» (выбор положения курсора на экране); матричные задания; на выбор из «ниспадающего меню»; задания с включением мультимедиа; интерактивные блоки заданий с разветвляющимся алгоритмом; составные задания (с привязкой к одному информационному блоку); задания на основе применения технологии «drag and drop» (перемещение графического объекта на экране); задания на перемещение объекта (объектов) по экрану; задания на конструирование объекта из элементов; задания на «заполнение в пробеле» ; задания на ввод текстовой (символьной) строки; задания на впечатывание подрисуночных надписей, пояснений к рисункам, схемам, планам, картам (технология «legend»). Таким образом, инновационные формы тестовых заданий для компьютерного тестирования значительно улучшают качество педагогического измерения и педагогической диагностики, образовательного мониторинга. Особенно следует отметить, что все вышеперечисленные формы компьютерных заданий имеют потенциал использоваться в интерактивном режиме, то есть во время контроля обучающийся имеет возможность увидеть (ознакомиться) с правильным ответом или с ходом решения поставленной задачи. В диссертационном исследовании была предложена модель компьютерного адаптивного теста, где каждое задание по своей сути являлось интерактивным. Предложенная модель, по сравнению с традиционной методикой подсчета баллов, имеет явные диагностические преимущества – больший диапазон шкалы оценок и, как следствие большую дифференцирующую способность задания, большую точность измерения и эффективную обратную связь, что позволяет применять ее в интерактивном мониторинге. Основная цель проведенного педагогического эксперимента состояла в том, чтобы подтвердить гипотезу исследования и доказать 156 эффективность использования интерактивного мониторинга качества освоения профессиональной образовательной программы студентами колледжа. Дополнительными целями экспериментальной работы являлись также апробация интерактивного мониторинга и поиск педагогических технологий и инструментов его эффективного функционирования. В ходе опытно-экспериментальной работы были запланированы и выполнены следующие задачи: определен начальный уровень качества подготовки студентов колледжа; разработаны анкеты оценки студентами качества обучения в ОУ и самооценки сформированности профессиональных и общих компетенций; апробирован интерактивный мониторинг качества освоения профессиональной образовательной программы по специальности Страховое дело (при использовании адаптивных компьютерных тестов, интерактивных практических заданий технологии виртуальных учебных фирм); проведена обработку и анализ полученных экспериментальных данных. Эксперимент показал, что использование интерактивного мониторинга в образовательном продуктивности процессе усвоении удовлетворенности привело учебных студентов к знаний значительному и, в качеством образования, повышению целом по повышение сравнению с традиционными методами обучения. Эксперимент убедительно подтвердил эффективность реализации технологии интерактивного мониторинга в комплексе современных способов и форм контроля: 1) компьютерных адаптивных тестов, 2) технологии виртуальных учебных фирм; 3) решения интерактивных практических заданий; 4) постоянного и систематического наблюдения за динамикой изменения в профессиональном и личностном развитии студентов колледжа. 157 Заключение Актуальность проведенного исследования обусловлены тем, что в отечественной системе профессионального образования, заметно возросла потребность в педагогическом мониторинге как важнейшем факторе обеспечения качества и эффективности процесса обучения. Анализ научно-педагогической литературы показал, что мониторинг качества освоения студентами колледжа профессиональной образовательной программы является неотъемлемым компонентом педагогического процесса, а в свете современных тенденций он приобретает особую значимость. На уровне образовательной организации интерактивный мониторинг качества освоения студентами колледжа профессиональной образовательной программы – это систематическое стандартизированное наблюдение за состоянием образования и динамикой изменений его результатов, за учебными и внеучебными достижениями обучающихся, основанное на принципах их взаимодействия и активности, опоре на групповой опыт, обязательной обратной связи. Проведенное исследование выявило особую значимость интерактивного мониторинга, позволяющего постоянно и систематически диагностировать качество освоения образовательной программы и при этом максимально реализовать единство контролирующей и обучающей, воспитывающей и развивающей функций педагогического контроля. Именно интерактивный мониторинг обладает большим потенциалом в повышении качества профессионального образования. В соответствии с целью и задачами исследования были получены следующие результаты: – проведен анализ исследований, научных и методических разработок в области мониторинга качества освоения профессиональной образовательной программы, концептуально определить теоретическое и практическое значение 158 интерактивных мониторинговых технологий для диагностики качества подготовки студентов; – разработана модель интерактивного мониторинга качества освоения основной профессиональной образовательной программы, включающая в себя целеполагание, разработку инструментария, процедур проведения и анализа результатов, формирование обратной связи и корректирующих мероприятий; – осуществлена практическая реализация адаптивного компьютерного тестирования, ориентированного на интерактивный мониторинг качества освоения образовательной программы за счет использования инновационных форм тестовых заданий; – проведено экспериментальное исследование с целью проверки эффективности применения интерактивного мониторинга качества освоения студентами колледжа профессиональной образовательной программы на примере специальности Страховое дело. По результатам научно-теоретического и опытно-экспериментального исследования можно сформулировать теоретические выводы и практические рекомендации, которые обеспечат наиболее рациональный и эффективный подход к реализации интерактивного мониторинга качества освоения образовательной программы в образовательных организациях системы СПО. 1. Анализ нормативных документов, вышедших в РФ 2010-2014 гг. (Федеральный Закон «Об образовании в РФ» принятый в декабре 2012; Государственная программа Российской Федерации "Развитие образования" на 2013 - 2020 годы (в новой редакции), Постановление Правительства Российской Федерации от 5 августа 2013 г. N 662 "Об осуществлении мониторинга системы образования"; ФГОС СПО законодательные и исполнительные органы и др.) власти, доказывает: образовательная общественность взяли курс на модернизацию всей системы мониторинга и оценки качества образования. Все эти новации в правовом поле позволят в 159 ближайшем будущем сформировать систему мониторинга и оценки качества образования и информационной прозрачности системы образования и образовательных организаций, причем мониторинг сможет обеспечить надежной и актуальной информацией руководителей и работников системы образования, а также потребителей образовательных услуг. 2. В ходе проведенного теоретического исследования был разработан алгоритм проведения интерактивного педагогического мониторинга, а также сформирована модель интерактивного мониторинга качества освоения основной профессиональной образовательной программы. Данная модель включает: изучение требований ФГОС СПО и работодателей; разработку на этой основе комплекта учебной документации, процедур и инструментария мониторинга (банка интерактивных тестовых заданий; анкет, сценариев и технологии «виртуальной учебной фирмы» и др.) Заключительным этапом является анализ результатов мониторинга, после которого выстраивается эффективная обратная связь и корректирующие действия, которые влияют на изменения содержания образовательной программы и, при необходимости, инструментов мониторинга. 3. Организация интерактивного педагогического мониторинга в профессиональном образовании для получения оперативной, валидной и разносторонней образовательной информации с элементами обратной связи возможна с использованием современных тестовых технологий контроля. Для этого следует разрабатывать надежные и валидные интерактивные компьютерные тесты с применением научно-обоснованных апробированных методов. 4. Значительные мониторинге имеет преимущества в интерактивном обучении и образовательная технология «Виртуальная учебная фирма», представляющее собой имитационное моделирование деятельности предприятия (организации) со всеми присущими рабочими процессами. При этом особую роль в повышении эффективности обучения и контроля играет 160 совмещение технологии виртуальной учебной фирмы и компьютерного адаптивного тестирования. 5. Теоретический анализ проблемы позволил сформулировать концепцию интерактивного мониторинга качества освоения студентами колледжа основной профессиональной образовательной программы. Результат обучения является целевым элементом данной концепции, а взаимосвязанными этапами концепции являются: диагностирование полученных результатов, их сопоставление с прогнозируемыми результатами (то есть с требованиями ФГОС СПО), коррекция отдельных учебных действий, условий их протекания и др. Концепция интерактивного мониторинга качества освоения образовательной программы позволяет выявить его следующие принципы: - непрерывности, те постоянного и систематического сбора данных; - диагностичности, подразумевающей наличие целевой модели или критериев, с которыми можно соотнести (сопоставить) реальное состояние отслеживаемого объекта, системы или процесса; - информативности (включение в состав критериев для отслеживания наиболее важных, проблемных показателей и критериев, на основании которых можно делать выводы динамики изменений в отслеживаемых процессах); - научности, подтверждающей обоснованность применяемых моделей и отслеживаемых параметров; - обратной связи, позволяющей на основе полученных результатов вносить коррективы в ход отслеживаемого процесса. 6. Среди существующих способов и форм проведения интерактивного мониторинга в ходе настоящего исследования особо выделили следующие: - постоянное и систематическое наблюдение за профессиональным и личностным развитием студентов колледжа; - интерактивные практические задания, позволяющие получить информацию об уровне сформированности основных компонентов ОПОП, о 161 динамики развития профессионально значимых качеств субъектов образовательного процесса; - виртуальные учебные фирмы, позволяющие формировать и оценивать профессиональные навыки при помощи имитации работы реальной организации; - компьютерные адаптивные тестовые технологии, позволяющие оперативно получать валидную мониторинговую информацию о качестве учебных достижений студентов с элементами обратной связи, выполнять коррекцию хода учебного процесса и эффективно его организовывать. 7. Компьютерная тестовая диагностика имеет целый ряд неоспоримых преимуществ перед традиционным бланковым тестированием: результаты автоматически надежность обрабатываются и точность компьютером; педагогического большая измерения; эффективность, возможность дистанционного контроля; применения инновационных интерактивных форм тестовых заданий и др. 8. Инновации при разработке заданий для компьютерного тестирования включают в себя следующие взаимозависимые и взаимодополняющие направления: 1) форма заданий (с учетом компьютерного интерфейса); 2) действие обучающегося при ответе; 3) включение в структуру заданий элементов мультимедиа (графики, аудио, видео); 4) повышения уровня интерактивности, степени взаимодействия компьютера и обучающегося; 5) методы подсчета баллов за выполнения заданий и всего теста. 9. В ходе исследования были описаны и систематизированы как традиционные, так и инновационные формы компьютерных тестовых заданий. Отмечено, что инновационные формы тестовых заданий для компьютерного тестирования значительно улучшают качество педагогического измерения и педагогической диагностики, образовательного мониторинга. Особенно следует отметить, что многие формы компьютерных заданий могут использоваться в интерактивном режиме. 162 10. Была предложена модель компьютерного адаптивного теста, где каждое задание по своей сути являлось интерактивным. Предложенная модель, по сравнению с традиционной методикой подсчета баллов, имеет явные диагностические преимущества – больший диапазон шкалы оценок и, как следствие большую дифференцирующую способность задания, большую точность измерения и эффективную обратную связь, что позволяет применять ее в интерактивном мониторинге. 11. Проведенный педагогический эксперимент показал, что использование интерактивного мониторинга в образовательном процессе привело к значительному повышению продуктивности усвоении учебных знаний и, в целом, к повышению уровня удовлетворенности студентов качеством образования по сравнению с традиционными методами обучения. Результаты педагогического эксперимента подтвердило гипотезу о том, что повышение продуктивности усвоении учебных знаний студентов в колледже осуществляется за счет использования интерактивного мониторинга в образовательном процессе, приводящего к активизации самостоятельной познавательной деятельности студентов при изучении общепрофессиональных дисциплин и профессиональных модулей, что обеспечивает конкурентоспособность выпускников колледжа на рынке труда Однако следует отметить, что данной исследование не охватывает всего круга вопросов, связанных с решением проблемы внедрения и использования интерактивного мониторинга. Выводы исследования не претендуют на исчерпывающее решение исследуемой проблемы, так как мы рассмотрели применение интерактивного мониторинга только для одной специальности СПО. Проведенная экспериментальная работа показала необходимость дальнейшей разработки данной проблемы и, особенно, в направлении расширения применения информационных технологий в образовательном мониторинге. 163 Дальнейшее развитие концепции интерактивного мониторинга качества освоения профессиональных образовательных программ лежит в области совершенствования компьютерных оценочных средств, и все большего привлечения информационных и коммуникационных технологий. 164 Список литературы 1. Аванесов B.C. Форма тестовых заданий. [Текст] / B.C. Аванесов - М.: Центр тестирования, 2005.-156 с. 2. Аванесов В.С. Композиция тестовых заданий. [Текст] / B.C. Аванесов -М.: Ассоциация инженеров-педагогов, 1996. -191 с.; 3. Аванесов В.С. Научные проблемы тестового контроля. [Текст] / B.C. Аванесов - М.: Исследовательский центр. 1994. – 112 с. 4. Аванесов В.С. Определение, предмет и основные функции педагогической диагностики [Текст] / B.C. Аванесов // Педагогическая диагностика. 2002. №1. С. 41-44. 5. Аванесов В.С. Теоретические основы разработки заданий в тестовой форме. Пособие. [Текст] / B.C. Аванесов - М.: Исследовательский центр, 1995 96с. 6. Анастази А. Психологическое тестирование : в 2 т. [Текст] / пер. с англ. ; предисл. К. М.Гуревича, В.И.Дубовского. — М., 1982. 7. Анастази А., Урбана С. Психологическое тестирование. 7-е изд. Спб.: Питер. 2003. – 688 с. 8. Анисимов П.Ф., Байденко В.И., Коломенская А.Л., Семушина Л.Т. Среднее профессиональное образование России: период реформ. [Текст] / П.Ф. Анисимов, В.И. Байденко, А.Л. Коломенская, Л.Т. Семушина– М.: НМЦ СПО.1995.-112 с. 9. Байденко В.И. Компетенции в профессиональном образовании [Текст] / В.И. Байденко // Высшее образование в России. 2004.–№11. – С. 3-13. 10. Байденко, В.И. Стандарты в непрерывном образовании: современное состояние [Текст] / В.И. Байденко. – М.: Исследовательский центр проблем качества подготовки специалистов, 1998. – 249 с. – Библиогр. 11. Балыхина Т. М. Словарь терминов и понятий тестологии. [Текст] / Т. М. Балыхина— М., 2000. 12. Батышев С.Я. Профессиональная педагогика [Текст] / Под ред. С.Я. 165 Батышева. – М.: Ассоциация «Профессиональное образование», 2009. – Библиогр. 13. Безюлева Г.В. Профессиональная компетентность: взгляд психолога [Текст] / Г.В. Безюлева // Профессиональное образование.-2005.-№12.-С.24-25 . 14. Белкин, А.С. Педагогическая компетентность: учебное пособие [Текст] / A.С. Белкин, В.В. Нестеров. – Екатеринбург: Центр «Учебная книга», 2003. – 188 с. – Библиогр. 15. Берка К. Измерения: понятия, теории, проблемы. [Текст] / К. Берка М.: Прогресс, 1987. - 320 с. 16. Бершадский, М.Е. Дидактические и психологическиеоснования образовательной технологии [Текст] / М.Е. Бершадский, В.В. Гузеев. – М.: Центр «Педагогический поиск», 2003. – 256 с. – Библиогр. 17. Беспалько В.П. Педагогика и прогрессивные технологии обучения. [Текст] / В.П. Беспалько - М.: Изд. Института проф. образования МО России, 1995. -336с. 18. Беспалько В.П. Мониторинг качества обучения – средство управления образованием [Текст] / В.П. Беспалько В.П. // Мир образования. – 1996. - №2. – С.31 – 36. 19. Болотов, В.А. Система оценки качества образования [Текст] / В.А.Болотов, Н.Ф. Ефремова. – М.: Университетская книга, Логос, 2007. – 192 с. 20. Болотов, В.А. Компетентностная модель: от идеи к образовательной программе [Текст] / В.А. Болотов, В.В. Сериков // Педагогика. – 2003. – № 10. – С. 8-14. 21. Бордовский, Г.А. Управление качеством образовательного процесса: монография [Текст] / Г.А. Бордовский, А.А. Нестеров, С.Ю. Трапицын. – СПб.: Изд-во РГПУ им. А.И. Герцена, 2001. – 359 с. – Библиогр. 22. Брановский Ю.С. Информационные инновационные технологии в профессиональном образовании: Учеб. Пособие. [Текст] / Ю.С. Брановский, Т.Л. Шапошникова– Краснодар: Изд-во КубГТУ, 2001. – 369 с. 166 23. Бузмакова У.И., Кузнецов Ю.Ф., Петрова Т.Ф. Информатизация среднего профессионального образования: задачи, проблемы и пути решения [Текст] / У.И Бузмакова., Ю.Ф. Кузнецов, Т.Ф. Петрова. // Информатика и образование. – 1999. – 4. – с. 12-15. 24. Буравлев А.И. Математическая модель оценки результатов тестирования с учетом эффекта «случайного угадывания» правильного ответа [Текст] / А.И. Буравлев, В.Ю. Переверзев //Тезисы докладов Всероссийской конференции «Развитие системы тестирования в России».- М., 1999. – С.104105. 25. Бурлачук, Л.Ф. Словарь-справочник по психодиагностике [Текст] / Л.Ф. Бурлачук, С.М. Морозов. – СПб.: Питер, 2001. – 528 с. – Библиогр. 26. Вайндорф-Сысоева, М. Е. Мониторинг непрерывного образования в профессиональной педагогической деятельности: моногр. [Текст] / М. Е. Вайндорф-Сысоева– М. : Изд-во МГОУ, 2008. – 152 с. 27. Вербицкая Н. О., Бодряков В.Ю. Учебный процесс: информатизация, анализ, управление. [Текст] / Н. О. Вербицкая., В.Ю. Бодряков - М.: Сентябрь, 1998.- 128с. 28. Вербицкий А.А. Активное обучение в высшей школе. Контекстный подход. [Текст] / А.А. Вербицкий - М., 1991. 29. Вербицкий А.А. Компетентностный подход и теория контекстного обучения. [Текст] / А.А. Вербицкий - М., 2004 – 84с. 30. Вербицкий, А. Контекстное обучение: формирование мотивации [Текст] / A. Вербицкий, В. Кругликов // Высшее образование в России. – 1998. – №1.– С. 101–107. 31. Выгодский Л.С. Собрание сочинений.: В 6 т., Т. 2. [Текст] / Выгодский Л.С. М.: Педагогика, 1982. – С.15-16. – С. 252-252. 32. Гальперин П.Я. Организация умственной деятельности эффективность учения [Текст] / П.Я. Гальперин // Теория учения. Хрестоматия. Часть 1, . [Текст] / под ред. Н.Ф.Талызиной, И.А. Володарской. – М.: МГУ, 1996 – С. 71-76. 167 33. Галямина И.Г. Мониторинг как механизм управления качеством высшего профессионального образования в области трудоустройства [Текст] / И.Г. Галямина // Проблемы качества образования: Материалы Х всероссийской научно-практической конференции. Ч.II.- Москва- Уфа. 2000. 34. Компьтеризация в сфере образования: Проблемы и перспективы. [Текст] / Б.С. Гершунский – М.: Педагогика, 1987. – 164 с. 35. Гершунский Б.С. Педагогическая прогностика: Методология. Теория. Практика. [Текст] / Б.С. Гершунский – Киев: Вища школа, 1986. – 200с. 36. Гершунский, Б.С. Философия образования для XXI века: в поисках практико-ориентированных образовательных концепций [Текст] / Б.С. Гершунский. – М.: Изд-во «Совершенство», 1998. – 608 с. – Библиогр. 37. Гласс Дж., Стенли Дж. Статистические методы в психологии педагогики [Текст] / Дж. Гласс, Дж. Стенли / пер. с англ. Л.И.Хайрусовой. — М., 1976. 38. Горб В.Г. Педагогический мониторинг образовательного процесса как фактор повышения его уровня и результатов [Текст] / В.Г. Горб // Стандарты и мониторинг в образовании. – 2000. –№ 5. 39. Государственная программа Российской Федерации "Развитие образования" на 2013 - 2020 годы (в новой редакции). Утверждена распоряжением Правительства Российской Федерации от 15 мая 2013 г. N 792р. 40. Готовность преподавателей к интерактивному взаимодействию как научно-педагогическая практической Республике проблема//Материалы конференции Бурятия». «Развитие [Текст] / – региональной педагогического Улан-Удэ. – научно- образования Изд-во в Бурятского госуниверситета, 2006. – С. 35-40. 41. Грабарь М.И. Проблема измерений и проверки гипотез при мониторинге результатов обучения[Текст] /М.И. Грабарь // Стандарты и мониторинг в образовании. – 2000. – № 3. 42. Демкина Н.Л. Информационные технологии в профессиональном 168 образовании. [Текст] / Н.Л. Демкина //Профессиональное образование, 2001, №4, М. 43. Егоров А.Ю. Педагогические тесты для дистанционного контроля знаний [Текст] / А.Ю. Егоров, В.Ю. Переверзев, Г.А. Сибирцева // Высшее образование в России.- 2007. - №1.-С.106- 111. 44. Ефремова Н.Ф. Современные тестовые технологии в образовании. Учеб. пособие. [Текст] / Н.Ф. Ефремова — М: Логос, 2003.— 176 с. 45. Ефремова Н.Ф. Теоретические основы квалиметрического мониторинга в общем образовании [Текст] / Н.Ф. Ефремова // Мониторинг и контроль качества образования: развитие методологии и опыт: Материалы Х симп. Квалиметрия человека и образования : методология и практика. – М.: ИЦПКПС, 2002. – Ч. 3. 46. Ефремова Н.Ф. Тестовый контроль в образовании: [Текст] / Н.Ф. Ефремова Университетская книга, Логос; Москва; 2007. – 368 с. 47. Загвязинский, В.И. Теория обучения. Современная интерпретация: учеб. пособие [Текст] / В.И. Загвязинский. – М.: Академия, 2001. – 187 с. 48. Загвязинский В. И. Исследовательская деятельность педагога: Учебное пособие для студ. высш. пед. учеб. заведений — 3-е изд.,испр. — («Профессионализм педагога») (ГРИФ) [Текст] / /Загвязинский В. И. ; 2010 ; Academia 49. Заславская Т.И. Социологический мониторинг экономических и социальных перемен в России общественного мнения. [Текст] / Т.И. Заславская // Мониторинг Экономические и социальные перемены. Информационный бюллетень.-1993.-№2. 50. Зборовский, Г.Е. Инновации в профессиональном образовании: проблемы исследования [Текст] / Г.Е. Зборовский, Г.М. Романцев // Образование и наука. – 2000. – № 3 (5). – С. 18-28. 51. Звонников В. И. Измерение и шкалирование в образовании. [Текст] / В. И. Звонников — М., 2006. 169 52. Звонников В.И. Современные средства оценивания результатов обучения: учеб. пособие для студ. высш. учеб. заведений. [Текст] / В.И. Звонников, М.Б. Челышкова– М.: Издательский центр «Академия», 2007. – 224 с. 53. Зеер Э. Компетентностный подход к модернизации профессионального образования [Текст] / Э. Зеер , Э.Сыманюк // Высшее образование.-2005.-№ 4. 54. Зеер, Э.Ф. Модернизация профессионального образования: компетентностный подход [Текст] / Э.Ф. Зеер. — М.: Моск. психологосоциальный ин-т, 2005. – 217 с. 55. Зимняя И. Ключевые компетенции- новая парадигма результата образования [Текст] / И. Зимняя// Высшее образование сегодня, -2003.- С.3442. 56. Зимняя И.А. Мониторинг качества и качество мониторинга в образовании [Текст] / И. Зимняя // Материалы восьмого симпозиума «Квалиметрия человека и образования: методология и практика». – М.: ИЦПКПС, 1999. – Ч. 2. 57. Зимняя И.А. Общая культура и социально-профессиональная компетентность человека / И.А. Зимняя // Высшее образование сегодня. 2005. №11 58. Зимняя, И.А. Ключевые компетентности как результативно-целевая основа компетентностного подхода в образовании [Текст] / И.А. Зимняя. — М.: Исследовательский центр проблем качества подготовки специалистов, 2004. – 42 с. 59. Зуев В.М. Мониторинг и прогнозирование профессионального образования. Научно-практическое пособие. [Текст] / В.М. Зуев, П.Н. Новиков– М.: РГАТИЗ, 1999. – 80 с. 60. Иванов, Д.А. Компетентностный подход в образовании. Проблемы, понятия, инструментарий: учебно-методическое пособие [Текст] / Д.А. Иванов, К.Г. Митрофанов, О.В. Соколова. – М.: АПК и ПРО, 2003. – 101 с. 170 61. Ингемкамп К. Педагогическая диагностика. [Текст] / К. Ингемкамп – М.: Педагогика, 1991. – 238 с. 62. Кагерманьян В.С. Качество содержания образовательных программ высшего профессионального образования и их мониторинг [Текст] / В.С Кагерманьян VIII // Проблемы качества образования: Материалы всероссийской научно-методической конференции.-Уфа-Москва. 1998.- С.88. 63. Кальней В.А. Мониторинг качества образования. [Текст] / В.А. Кальней , С.Е. Шишов– М.: Вологда, 1998. – 204с. 64. Кальней В.А., Шишов С.Е. Технология мониторинга качества обучения в системе «учитель – ученик»: Метод. пособие для учителя. [Текст] / В.А. Кальней , С.Е. Шишов – М.: Педагогическое общество России, 1999. 65. Тестирование учебных достижений. Монография. [Текст] / B.C. Ким -Уссурийск: Издательство УГПИ, 2007. - 214 с: ил. 66. Клайн П. Введение в психометрическое программирование : справочное руководство по конструированию тестов. [Текст] / П. Клайн— Киев, 1994. – 283 с. 67. Кларин М. В. Инновационные модели обучения в зарубежных педагогических поисках. [Текст] / М. В. Кларин— М., 1994. 68. Кларин, М.В. Педагогическая технология в учебном процессе: анализ за-рубежного опыта [Текст] / М.В. Кларин. – М: Знание, 1989. – 80 с 69. Климов Е.А. Введение в психологию труда. [Текст] / Е.А. Климов–М., 1988.-300 с. 70. Кныш И.А., Переверзев В.Ю., Прудков С.А. Портфолио студента образовательного учреждения СПО: Методические рекомендации по структуре, технологии организации и оценке (рейтингованию) «портфеля достижений студента». [Текст] / И.А. Кныш, В.Ю., Переверзев, С.А. Прудков -М.: Е- Медиа, 2007. – 48 с. 71. Коккота В.А. Лингводидактическое тестирование. [Текст] / Коккота -М.: Высшая школа, 1989.-127 с. 171 В.А. 72. Колисниченко Д.Н. Англо-русский толковый словарь компьютерных терминов. 3-е изд. [Текст] / Д.Н. Колисниченко - СПб.: Наука и Техника, 2009, 280 с. 73. Компетентностно-ориентированные педагогические технологии: сборник научных работ [Текст] / под ред. О.В. Дыбиной [и др.]. – Тольятти: ТГУ, 2009. – 146 с. 74. Компетентностный подход Коллективная монография. [Текст] / в педагогическом образовании: – Спб.: Изд-во РГПУ им. А.И. Герцена, 2005.-392 с. 75. Контроль качества обучения при аттестации: компетентностный подход: учебное пособие [Текст] / В.И. Звонников, М.Б. Челышкова. – М.: Университетская книга; Логос, 2009. – 272 с. 76. Краевский В. В. Моделирование в педагогическом исследовании // Введение в научное исследование по педагогике: Учеб. пособие для студентов [ Текст] / Под ред. В. И. Журавлева. — М., 1998. 77. Крамаренко И.С. Прогнозирование уровня учебных достижений учащихся средствами мониторинга [Текст] / И.С. Крамаренко // Стандарты и мониторинг в образовании.- 2001.- №1.- С.37-42. 78. Кукуев А.И. Педагогический мониторинг как фундаментальный инструмент управления учебно-воспитательным процессом [Текст] / А.И. Кукуев // Завуч. – 2000. - №8. – С.10 – 22. 79. Кулемин Н.А. Тестовые технологии – основа мониторинга качества образования [Текст] / Н.А. Кулемин // Тезисы докладов Всероссийской конференции «Развитие системы тестирования в России». – М., 1999. – Ч. 2. 80. Лернер, И.Я. Процесс обучения и его закономерности [Текст] / И.Я. Лернер. – М.: Знание, 1991. – 260 с. – Библиогр. 81. Майоров А. Н. Теория и практика создания тестов для системы образования. [Текст] / А. Н. Майоров — М., 2001. 172 82. Майоров А. Н. Тесты школьных достижений: конструирование, проведение, использование. [Текст] / А. Н. Майоров -СПб.: Образование и культура, 1996. 83. Майоров А.Н. Мониторинг в образовании. [Текст] / А. Н. Майоров СПб.: Образование- Культура, 1998. 84. Майоров, А.Н. Мониторинг в образовании [Текст] / А.Н. Майоров. – 3-е изд.. – М.: Интеллект-Центр, 2005. – Библиогр. 85. Макаров Н.Д. Инновационные образовательные технологии в системе СПО на современном этапе [Текст] / Н.Д. Макаров, В.Ю Переверзев. , С.Н. Фомин // Среднее профессионального образование, №8.2003. С.28-31. 86. Марущак И.И. Интерактивные технологии обучения как средство формирования рефлексивной позиции студента в вузе [Текст] / И.И. Марущак // Междунар. науч. альманах: сб. ст. преподавателей, аспирантов, магистрантов и студентов / под ред. В.И. Журко, А.А. Калюжного - Минск, 2011. № 5. С. 132– 141 87. Матрос, Д.Ш. Управление качеством образования на основе новых информационных технологий и образовательного мониторинга [Текст] / Д.Ш. Матрос, Д.М. Полев, Н.Н. Мельникова. – 2-е изд., испр. и доп. – М.: Пед. об-во России, 2001. – 128 с. – Библиогр. 88. Матяш Н.В. Проектный метод обучения в системе технологического образования: [Текст] / Н.В. Матяш // Педагогика, 2000 - №4. 89. Медведева Н.В. Компетентностный подход в рамках современной образовательной парадигмы [Текст] / Н.В. Медведева, В.Ю. Переверзев, С.Н. Фомин // Среднее профессиональное образование (Приложение к ежемесячному теоретическому и научно-методическому журналу «СПО»),-№9, 2007.-С.27-33. 90. Методические рекомендации по проведению независимой системы оценки качества работы образовательных организаций (Письмо Минобрнауки от 14.10.2013 г.). 173 91. Михайлова Н.Н. Технология моделирования содержания образования. [Текст] / Н.Н. Михайлова– М., 2001. – 128с. 92. Михайлычев Е.А. Система ключевые понятия и принципы [Текст] / педагогической Е.А. диагностики: Михайлычев //Пед. диагностика. - 2002. - №1. - С. 44-66. 93. К понятийному аппарату педагогической диагностики [Текст] Е.А. Михайлычев / //Пед. диагностика. - 2004.- №2. - С. 33-49. 94. Михайлычев Е.А. Педагогическая диагностика: история, теория, современность. [Текст] / Е.А. Михайлычев, Г. Ф. Карпова, Е. Е.Леонова — Ростов н/Д, 2002. 95. Морозова Н.Л. Мониторинг ценностно-мотивационных ориентаций студентов как средство их профессиональной направленности [Текст] / Н.Л. Морозова // Проблемы качества образования: Материалы Х Всероссийской научно-практической конференции. Часть I. – Москва-Уфа, 2000. 96. Муратова В.К. Внутришкольный мониторинг качества обучения учащихся: Дис.кан.пед.наук [Текст] / В.К. Муратова – Саратов, 2000, - 207с. 97. Нардюжев В.И. Модели и алгоритмы информационно- вычислительной системы компьютерного тестирования. [Текст] / В.И. Нардюжев, И.В. Нардюжев— М., 2000. 98. Нардюжев В.И., Нардюжев И.В. Тестирование на компьютерах через Интернет [Текст] / В.И. Нардюжев, И.В. Нардюжев // Труды Центра тестирования. Выпуск 2. М.: Прометей, 1999. С.139-146. 99. Нейман Ю.М. Вопросы точностных расчетов в моделирования и параметризации педагогических тестов [Текст] / теории Ю.М. Нейман // Труды Центра тестирования. Выпуск 2. М.: Прометей, 1999. С.49-54. 100. Новиков А.М. Постиндустриальное образование. [Текст] / А.М. Новиков– М.: Издательство «Эгвес», 2008. – 136 с. 101. Новиков, А.М. Методология образования [Текст] / А.М. Новиков. – М.: «Эгвес», 2002. – 320 с. 102. Новые педагогические и информационные технологии в системе 174 образования: учеб. пособие для пед. вузов и системы повышения квалиф. пед. кадров [Текст] / ред. Е.С. Полат. – М.: Академия, 2000. – 271 с. – Библиогр. 103. Общая психодиагностика [Текст] / Под ред. Бодалева А.А., Столина В.В. – М.: Изд-во Моск. ун-та, 1987, 365 с. 104. Орлов А.А. Мониторинг инновационных процессов в образовании [Текст] / Под.ред. В.И. Андреева. –Казань,1999.- 168 с. 105. Педагогика профессионального образования [Текст] / под ред. B.А. Сластенина. – М: Академия, 2004. – 368 с. – Библиогр. 106. Педагогика: Учебное пособие [Текст] / Под ред. Пидкасистого П.И. – М.: Педагогическое общество России, 1996. – 640 с. 107. Педагогический мониторинг качества образования [Текст] / Под.ред. В.И.Андреева. – Казань: КГУ, 1991 - 265c. 108. Переверзев В.Ю. Критериально-ориентированные педагогические тесты для итоговой аттестации студентов. Монография. [Текст] / В.Ю. Переверзев - М.: Изд-во НМЦ СПО Минобразования РФ, 1998. – 152 с. 109. Переверзев В.Ю. Моделирование процесса тестового контроля в электронных обучающих системах [Текст] / В.Ю. Переверзев, И.А. Черноскутова // Среднее профессиональное образование (Приложение к ежемесячному теоретическому и научно-методическому журналу «СПО»),-№2, 2003. С.44-51. 110. Переверзев В.Ю. Качество среднего профессионального образования: проблемный аспект [Текст] / В.Ю. Переверзев // Среднее профессионального образование, №7.2003 с.2-4. 111. Переверзев В.Ю. Компьютерное тестирование – современная гибкая технология контроля качества подготовки специалистов / Разработка и использование гибких образовательных технологий в системе среднего профессионального образования: Материалы Всероссийской научно- практической конференции. [Текст] / В.Ю. Переверзев - Губкин. 7-8 апреля 2005 г./ Науч. Ред. П.Е. Решетников. – Белгород: Изд-во БелГУ, 2005. с. 18-23 175 112. Переверзев В.Ю. Критериально-ориентированное педагогическое тестирование. Учеб. пособие. [Текст] / В.Ю. Переверзев -М.:Логос,2003. - 120 с. 113. Переверзев В.Ю. Критериально-ориентированное педагогическое тестирование в профессиональном образовании (методология, теория, практика). Монография. [Текст] / В.Ю. Переверзев – М.: ФГУ ФИРО, 2008. – 268 с. 114. Переверзев В.Ю. Модель организации отраслевого сертификационного центра для оценки компетенций профессиональных кадров/ Проблемы разработки общероссийской системы оценки качества образования. Материалы межрегионального совещания. [Текст] / В.Ю. Переверзев - М.: ФИРО, 2006. -С.59-65. 115. Переверзев В.Ю. Критериально-ориентированные педагогические тесты для итоговой аттестации студентов [Текст] / В.Ю. Переверзев - М.: Издво НМЦ СПО Минобразования РФ, 1998. -180 с. 116. Переверзев В.Ю. Технология разработки тестовых заданий: справочное руководство. [Текст] / В.Ю. Переверзев -М.: Е-Медиа, 2005. – 265 с. 117. Переверзев В.Ю., Методика разработки контрольных материалов для оценки ключевых компетенций студентов довузовского профессионального образования /Методические рекомендации. [Текст] / В.Ю. Переверзев, Г.В. Ярочкина– М.: Московский психолого-социальный институт, Федеральный институт развития образования, 2005. – 123 с. 118. Пескова Л.А. Эффективность интерактивных форм обучения в системе Интернет-обучения «Гекадем» [Текст] / Международной конференции Л.А. Пескова // Труды «Глобализация международных образовательных программ» - Иркутск, 2005. - С. 174-181. 119. Пищулин Н.П. Мониторинговая экспертиза системы образования [Текст] / Н.П. Пищулин // Проблемы качества образования: Материалы Х 176 всероссийской научно-практической конференции. Часть II.- Москва-Уфа, 2000. 120. Поддубная Л.М. Задания в тестовой форме для автоматизированного контроля знаний студентов. Учебное пособие. [Текст] / Л.М. Поддубная, А.О. Татур, М.Б. Челышкова - М.: Исследовательский центр, 1995 - 80 с. 121. Подласый И.П. Педагогика: Новый курс. Книга 1: Общие основы. Процесс обучения. [Текст] / И.П. Подласый - М.: Владос, 2000. - 574 с. 122. Полихрониди А.Х. Инновационные формы заданий для компьютерного тестирования [Текст] / А.Х. Полихрониди, В.Ю. Переверзев // Человек и техника: инновационное общество: сборник научных статей. – Москва: Издательская группа «Граница», 2013. - С. 178 – 186. 123. Полихрониди А.Х. Интерактивный мониторинг качества освоения студентами колледжа профессиональной образовательной программы [Текст] / А.Х Полихрониди // Среднее профессиональное образование. - 2014. - №9 С. 63-65. 124. Полихрониди А.Х. Интерактивный мониторинг формирования компетенций студентов на основе технологии виртуальных учебных фирм [Текст] / А.Х. Полихрониди // Среднее профессиональное образование. - 2014. - №6. - С. 14-17. 125. Полихрониди тестирования [Текст] / А.Х. Модель компьютерного интерактивного А.Х. Полихрониди // Неформальное образование. - 2013. - №3 (9). - С.88 – 92. 126. Полихрониди А.Х. Направление инноваций при разработке компьютерных форм тестовых заданий [Текст] / А.Х. Полихрониди // Среднее профессиональное образование. - 2014. - №4. - С. 55-59. 127. Полихрониди А.Х. Педагогические условия эффективного применения обучающих систем на базе ИКТ [Текст] / А.Х. Полихрониди // Среднее профессиональное образование - 2013.- №10. - С. 27-28. 177 128. Полихрониди А.Х. Формирование информационной среды для подготовки будущих специалистов [Текст] / А.Х. Полихрониди, В.Ю. Переверзев // Среднее профессиональное образование. - 2012. - №10. - С. 6-9. 129. Полихрониди А.Х. Электронные симуляторы, тренажеры и учебные стенды – эффективные информационные образовательные технологии [Текст] / А.Х. Полихрониди, В.Ю. Переверзев // Профессиональное образование: тренды, проблемы актуальные задачи: материалы всероссийской конференции, г. Москва 28-29 августа 2013 г. /ГБОУ СПО КАС №7/ Под ред. док. филос. Наук Е.А. Кирилловой, док. пед. наук Е.В. Невмержицкой/. -Москва, 2013. - С. 232-240. 130. Полихрониди А.Х., Проблемные аспекты развития информатизации образования: анализ достоинств и недостатков электронных образовательных ресурсов [Текст] / А.Х. Полихрониди, В.Ю. Переверзев // Профессиональное образование: тренды, проблемы актуальные задачи: материалы всероссийской конференции, г. Москва 28-29 августа 2013 г. /ГБОУ СПО КАС №7/ Под ред. док. филос. Наук Е.А. Кирилловой, док. пед. наук Е.В. Невмержицкой/. Москва, 2013. - С. 249-261. 131. Постановление Правительства Российской Федерации от 5 августа 2013 г. N 662 "Об осуществлении мониторинга системы образования". 132. Приказ Министерства образования и науки Российской Федерации (Минобрнауки России) от 14 июня 2013 г. N 462 "Об утверждении Порядка проведения самообследования образовательной организацией". 133. Приказ Министерства образования и науки РФ от 10 декабря 2013 г. № 1324 "Об утверждении показателей деятельности образовательной организации, подлежащей самообследованию". 134. Профессиональная педагогика. [Текст] / Под ред. Батышева С.Я. М: Изд. Ассоциация «Профессиональное образование».- 1997. С. 511. 135. Равен Дж. Компетентность в современном обществе: выявление, развитие, реализация[Текст] / Дж. Равен / Пер. с англ.–М.: «Когито-центр», 2002. – 396 с. 178 136. Равен Дж. Педагогическое тестирование: Проблемы, заблуждения, перспективы [Текст] / Дж. Равен / Пер. с англ. – М.: «Когито-центр», 1999. 144 с. 137. Роберт, И.В. Современные информационные технологии в образовании: дидактические проблемы, перспективы использования [Текст] / И.В. Роберт. – М.: Школа-Пресс, 1994. – 205 с. – Библиогр. 138. Родионов Б.У. Стандарты и тесты в образовании. [Текст] / Б.У. Родионов, А.О Татур. - М., 1995.-48с. 139. Селезнева Н.А. Размышления международный аспект [Текст] / о качестве образования: Н.А. Селезнева // Высшее образование сегодня.-2004.-№4. 140. Силина С.Н. Профессиографический мониторинг в системе высшего педагогического образования [Текст] / С.Н. Силина // Стандарты и мониторинг в образовании.- 1999.-№2. 141. Скамницкнй, А.А. Формирование системы обеспечения качества подготовки специалистов среднего звена как основное направление модернизации среднего профессионального образования [Текст] / А.А. Скамницкий // Среднее профессиональное образование. – 2003. – № 6. – С. 3-8. 142. Субетто А.И. Квалитология образования. [Текст] / А.И. Субетто СПб: Исследовательский центр проблем качества подготовки специалистов МО РФ, 2000. - 220 с. 143. Онтология и эпистемология компетентностного подхода, классификация и квалиметрия компетенций. СПб. [Текст] / А.И. Субетто– М.: Исследовательский центр проблем качества подготовки специалистов, 2006. – 72 с. 144. Талызина Н.Ф. Теоретические основы контроля в учебном процессе. [Текст] / Н.Ф. Талызина -М.: Знание, 1983. – 96 с. 145. Талызина Н.Ф. Управление процессом усвоения знаний. [Текст] / Н.Ф. Талызина - М.:МГУ,1975. — 344 с. 179 146. Татур Ю.Г. Компетентность в структуре модели качества подготовки специалиста [Текст] / Ю.Г. Татур // Высшее образование сегодня. 2004. № 3. 147. Ткаченко Е.В. Базовое профессиональное образование. Проблемы регионализации и развития. [Текст] / Е.В.Ткаченко А Т. Глазунов– Чебоксары, 2001. – 253с. 148. Трубина И.И. Мониторинг качества образования: проблемы и подходы [Текст] / И.И. Трубина // Информатика и образование, 2005, № 5 149. Указ Президента РФ от 7 мая 2012 г. N 597 "О мероприятиях по реализации государственной социальной политики" 150. Федеральный Закон «Об образовании в РФ» № 273 от 29 декабря 2012 года. 151. Федеральный государственный образовательный стандарт СПО по специальности «Страховое дело» № 709. 152. Филиппова, Г.Л. Теоретические основы разработки модели профессионально компетентного специалиста [Текст] / Г.Л. Филиппова // Среднее профессиональное образование. Приложение. – 2010. – № 2. – С. 35-43. 153. Фрумин И.Д. Компетентностный подход как естественный этап обновления содержания образования [Текст] / И.Д. Фрумин // Педагогика развития: ключевые компетенции и становление.- Красноярск,2003. 154. Хуторской А.В. Современная дидактика: Учебник для вузов. - [Текст] / А.В. Хуторской А.В. - СПб: Питер, 2001. – 544 с 155. Хуторской А.В. Ключевые компетенции. конструирования [Текст] / А.В. Хуторской А.В. Технология // Народное образование.- 2001.- №5. – С.55-61. 156. Хуторской, А.В. Ключевые компетенции как компонент личностноориентированной парадигмы образования [Текст] / А.В. Хуторской // Нар. образование. – 2003. – № 2. – С.58-64. 157. Адаптивное тестирование в образовании. Челышкова— М., 2000. 180 [Текст] / М. Б. 158. Челышкова М. Б. Теория и практика конструирования педагогических тестов. [Текст] / М. Б. Челышкова — М., 2001. 159. Шишов С.Е. Мониторинг качества образования в школе. [Текст] / С.Е. Шишов, В.А. Кальней– М.: Педагогическое общество России, 1999. – 320с. 160. Шишов, С. Е. Понятие компетенции в контексте качества образования [Текст] / С. Е. Шишов / / Стандарты и мониторинг в образовании. 1999. – № 2. – С. 41-48. 161. Шмелев А. Г. Адаптивное тестирование знаний в системе «Телетестинг». Школьные технологии. [Текст] / А. Г. Шмелев и др.— М., 2001. 162. Шмелев А.Г. и коллектив. Основы психодиагностики. Учебное пособие для студентов педвузов. [Текст] / А. Г. Шмелев и др.— – Москва, Ростов-на-Дону: «Феникс», 1996. – 544 с. 163. Шмелев А.Г. Психодиагностика и новые информационные технологии. [Текст] / А. Г. Шмелев – В кн.: Компьютеры и познание. – М.: Наука, 1990. - С. 87-104. 164. Шмелев А.Г. Психометрические основы психодиагностики. В кн. Общая психодиагностика [Текст] / А. Г. Шмелев / Под ред. Бодалева А.А., Столина В.В. – М.: Изд-во Моск. ун-та, 1987.- С. 53 –112. 165. Якиманская И. С. Проблема контроля и оценки знаний как предмет психолого-педагогического исследования [Текст] / И.C. Якиманская //Психологические критерии качества знаний школьников. М,: АПН СССР, 1990. –С.5-20. 166. Berk R. A. Item analysis / In R. A. Berk (Ed.). Criterion-referenced measurement: The state of the art. - Baltimore: Johns, 1980. 167. Berk R.A. (Ed). A Guide to Criterion - Referenced Test Construction. The John Hopkins Univ. Press, Baltimore, 1984. 168. Berk R.A. Criterion-referenced measurement: The state of art. - Baltimor, MD: Johns Hopkins University Press, 1980. - 432 p. 169. Bloom B.S. Taxonomy of Educational Objectives. New York, McKay, 1956 181 170. Computerized Adaptive Testing : Theory and Practice / Ed. by Wim J. van der Linden and Cees A.W. Glas. — London: Kluwer academic publishers, 2003. 171. Crocker L., Algina J. Introduction to Classical and Modern Test Theory. — Tallahassy : Univ. of Florida. HBJCP, 1986. 172. Cronbach, L.J. Test validation. In R.L.Thorndike (Ed.). Educational measurement (2-nd ed.). Washington, DC: American Council on Education, 1971, pp.443-507. 173. Educational measurement (Ed. by Linn R. ). N.Y. Macmillan, 1989 - 610 c. 174. Osterlind Steven J.. Constructing Test Items : Multiple-Choise.— Constructed-Response, Performance, and Other Formats. — Columbia : University of Missouri-Columbia, 2004. 175. Popham W.J. Criterion-referenced measurement. Englewood Cliffs. NJ: Prentice Hall, 1978. 176. Roid G.H., Haladina T.M. A technology for test-item writing.- New York: Academic Press, 1982. 182