Presentation_Workshop 2-4.30_RUS
advertisement
Институциональные исследования и принятие решений Владимир Бриллер, исполнительный директор отдела стратегического планирования и институциональных исследований Институт им.Пратта, Нью-Йорк (США) Высшая школа экономики, Москва 18 октября 2012 Институциональные исследования Институциональные исследования (ИИ) — практическая деятельность по проведению институтом самоанализа и оценки, включая оценку своей деятельности и своего положения в данной среде. Такая оценка проводится отделами институциональных исследований в вузах с целью обеспечить «комплексный ресурс информации об институте». Постановка задачи Вы решили, что надо открыть новую программу или закрыть неэффективную программу. Какую информацию вам потребуется получить (и от кого), чтобы принять грамотное решение? Институциональные исследования Ресурсы данных, как правило, включают информацию, получаемую из обследований, личных дел студентов и другой внутренней документации, отраслевых и национальных баз данных, отчетов и докладов, опубликованных исследований. Фактически оценивание, анализ и проверка гипотез проводятся по аспектам, требующим постоянного мониторинга, а также исследований возникающих проблем для принятия институтом информированных решений относительно своего развития. Институциональные исследования для поддержки преподавательской деятельности и развития Диапазоны оценок (баллов) по конкретным предметам в долгосрочной перспективе и корреляция с изменяющимися характеристиками в когортах студентов в отношении к предшествующим достижениям. Воздействие отдельных компонентов (напр., модулей) на общую классификацию поставленных оценок, за период времени. Влияние размера (объема) элементов при непрерывно проводимой оценке на общее распределение поставленных оценок (баллов). Институциональные исследования для поддержки преподавательской деятельности и развития • Проходной балл, ниже которого риск отчисления (неуспеваемости) у студентов существенно повышается • Важность математических способностей для общей успеваемости в естественнонаучных и инженернотехнических областях • Показатели по числу заявлений абитуриентов, числу рекомендованных к зачислению, зарегистрированных и отчисленных студентов, которые отражают имеющийся спрос, отношения и практический опыт реализации программ. Институциональные исследования для поддержки преподавательской деятельности и развития Пример вопроса преподавателя: На одном из моих курсов процент очень сильно вырос неуспевающих, хотя мои методы преподавания не менялись, и я не могу понять, почему это произошло. Возможные варианты ответов на основании данных ИИ: • Изменились минимальные требования для поступающих • Изменился фактический образовательный уровень (качество знаний) когорты абитуриентов до поступления в вуз Институциональные исследования для поддержки преподавательской деятельности и развития • Успеваемость по основным предметам для поступающих (английский язык, математика и др.). • Изменения в численности класса. • Изменения в национальном составе (для всех ли студентов английский — родной язык?) • Гендерные, возрастные, образовательные и социоэкономические характеристики, характеристики по типу посещаемости • Диапазоны оценок (баллов), применяемых в долгосрочной перспективе при оценке курса Институциональные исследования для поддержки преподавательской деятельности и развития Пример вопроса декана или завкафедрой: В моей программе процент студентов, успешно переходящих на следующий курс, низкий. Причины этого отчасти понятны, но я хочу серьезно заняться этой проблемой, и мне нужна полная картина происходящего. Возможные варианты ответов, на основании данных ИИ: • Каковы характеристики студенческого состава сейчас, как он изменился за последнее время и каких изменений можно ожидать в будущем? • С какими конкретно компонентами программы в наибольшей степени связан отсев/неспособность окончить обучение? • Каково отношение студентов к программе и их общие практические результаты обучения в вузе? • Насколько реалистичны связанные с программой ожидания студентов до их поступления? Институциональные исследования для поддержки преподавательской деятельности и развития • Нужно ли пересмотреть/отрегулировать требования для поступающих с учетом изменившихся стандартов или программ обучения вне Института? • Может ли изменение содержания программы, обеспечение дополнительной помощи в проблемных областях помочь студентам успешно освоить программу? Ситуационное исследование: отношения, практический опыт и характеристики, влияющие на успешное окончание студентами вуза • Особое внимание первокурсникам • Использована информация из базы данных студентов и информация, полученной из серии трех студенческих опросов • В опросах отслеживались изменения в отношениях, а также академической успеваемости на первом курсе. • В исследовании также устранялись факторы, фактически не влияющие на успешную успеваемость студентов. Цели исследования • Изучить широкий спектр различных аспектов практического опыта студентов начальных курсов с целью выявления факторов, которые могут влиять на успешное завершение обучения по программе. • Выявить факторы и взаимоотношения, от которых зависят качественные характеристики опыта студентов. • Изучить отношения между ожиданиями, имевшимися до поступления, и реальным опытом обучения в вузе. • Определить факторы, негативно влияющие на процент студентов, которые успешно переходят на следующий курс, чтобы направить усилия и ресурсы на самые потенциально значимые факторы. Опрос 1: В момент поступления • • • • • • Демографические данные Самооценка личных качеств, в т.ч. настойчивости, математических и письменных способностей, амбициозности, академических способностей и уверенности в своих силах; Факторы, негативно влияющие на решение учиться в университете; Уровень предварительного понимания программы; Ожидания относительно затрат времени на выполнение конкретных работ, на учебу и на общественную жизнь Ожидаемые трудности Опрос 1: В момент поступления • Каково представление об ответственности в обучении и о роли преподавателя • Приоритеты на период учебы в университете, амбиции в академических областях и карьерные цели • Уровень образования членов семьи • Финансовые проблемы • Восприятие того, что включает в себя опыт обучения в вузе в практическом отношении • Ожидаемые наилучшие и наихудшие составляющие учебы в университете Опрос 2: Конец первого полугодия Сравнение ответов студентов с предыдущим опросом • • • • • • Самооценка личных качеств Уровень предварительного понимания программы Фактическое время, затраченное на конкретные виды деятельности С какими трудностями столкнулись Представление об ответственности в обучении и о роли преподавателя Приоритеты на период учебы в университете, амбиции в академических областях и карьерные цели Опрос 2: Конец первого полугодия • Финансовые проблемы • Самое хорошее и самое плохое, на основании полученного на текущий момент опыта учебы • Самостоятельно отмечаемые изменения в восприятии того, что представляет из себя учеба в вузе, после окончания одного семестра • Какими службами студенты пользовались для получения помощи и поддержки • Интеграция в жизнь студенческого городка / чувство сопричастности Опрос 3: Конец первого курса • • • • • Академические ведомости, включая оценки из средней школы и баллы ЕГЭ (SAT/ACT), а также порядок приоритетности института, в который поступили респонденты, указанный ими при зачислении Экзаменационные результаты, полученные в течение года, в том числе оценки за текущую успеваемость Результаты окончания первого курса Другие формальные результаты, внесенные в ведомость, в т.ч. записи об отчислении и причинах отчисления, изменениях факультативных элементов программы, переводе Процент успешно окончивших обучение на институтском и программном уровне. Другие кейсы/исследования • Факторы, влияющие на процент студентов, переходящих на следующий курс и успешно оканчивающих обучение Factors affecting student retention and graduation • “Барьерные” курсы • Квалификационные тесты при поступлении и их влияние на последующее успешное освоение студентом курса обучения • Баллы SAT (аналог российского ЕГЭ) как предикторы настойчивости студента в обучении Организация набора НАБОР СТУДЕНТОВ Образовательный конвейер • Понимать, как студенты делают выбор ~ Маркетинговые исследования, показывающие, какие факторы влияют на студентов при подаче заявления, приеме и зачислении в институт ~ Базы данных и программное обеспечение для анализа, с помощью которых институт получает возможность найти, заинтересовать и привлечь своих студентов на «конвейере» НАБОР СТУДЕНТОВ ~ Произвести анализ тенденций, сравнив характеристики абитуриентов текущего года с характеристиками абитуриентов прошлых лет на один и тот же момент времени ~ Сравнить студентов, прошедших конкурсный отбор, которые в конечном итоге принимают решение подавать документы для зачисления, с теми, кто документы не подал ~ Предоставить институциональные данные в рейтинговые службы (агентства, составляющие рейтинги вузов) ~ Предоставить данные о том, каков имидж (восприятие) института среди студентов и родителей, по сравнению с восприятием коллег в профессиональной среде НАБОР СТУДЕНТОВ • Процент зачисленных из числа рекомендованных к зачислению: ~ % рекомендованных к зачислению ~ % зачисленных в первой волне • План набора: 1. 2. 3. 4. 5. Каковы потребности института? Каковы параметры анализа? Каков временной горизонт? Какую методологию следует использовать? Каким должно быть соотношение качественных и количественных исходных данных? НАБОР СТУДЕНТОВ • Финансовая поддержка 1. Какова политика вуза в предоставлении финансовой помощи? Кто определяет эту политику? Насколько хорошо интегрированы между собой политика набора и политика предоставления финансовой помощи? Какие виды финансовой помощи можно получить? Каким критериям должны соответствовать студенты? В какой «упаковке» предлагается фин.помощь? Как и когда она предлагается студентам? Как она выплачивается? Каково соотношение стипендий, займов и возможностей трудоустройства для студентов? Как обеспечивается баланс между такими функциями фин.помощи, как набор и удержание студентов? 2. 3. 4. 5. НАБОР СТУДЕНТОВ 1. Какая статистика представлена в отчетности департамента фин.помощи? (примеры) ~ Сколько студентов получают помощь? Сколько новых студентов? Сколько студентов продолжают получать помощь? ~ Сколько получают гранты/стипендии? Займы? Пакеты «учеба + работа»? ~ Скольким студентам выдается помощь на конкретные нужды? Сколько сообщают о том, что их нужды не удовлетворены? ~ Каков объем выплат фин. помощи? Каков чистый доход от платы, вносимой за обучение? ~ Какова общая стоимость обучения в вузе для студента (в год)? НАБОР СТУДЕНТОВ ~ Каков уровень долгового обременения студентов? ~ Как изменяются эти цифры в зависимости от демографических данных и других характеристик? ~ Какие тенденции складываются в долгосрочной перспективе? Национальные проблемы: • Взаимосвязь между фин. помощью, платой за обучение и общей стоимостью обучения в вузе • Влияние политики федерального и субъектового уровня в сфере финансовой помощи • Использование «скидок» для эффективного набора студентов • Быстрая эскалация студенческих займов и долговых обязательств Студенческий поток • • • • • • • • Академическая подготовка Отбор студентов Зачисление студентов в программу обучения Другие академические активы Учебный план Виды обучения Атмосфера в кампусе Академические программы и программы поддержки для студентов • Формативное оценивание (процесс) • Суммативное оценивание (конечный результат) Студенческий поток • Процент студентов, успешно переходящих на следующий курс и оканчивающих обучение 1. Повышение процента студентов, успешно переходящих на следующий курс и оканчивающих обучение в институте 2. Увеличение процента студентов программ ниже уровня бакавриата (associate degree – 2-летние программы обучения с дипломом специалиста), переводящихся на программы бакалавриата и успешно оканчивающих их 3. Сокращение времени до получения диплома 4. Устранение дисбаланса между недостаточно представленными группами и другими группами студентов 5. Усиление академической подготовки — связь между набором и удержанием студенческого контингента 6. Внедрение и оценка эффективных и действенных программ для удержания студенческого контингента Студенческий поток • Описательные данные • Многофакторный анализ • Качественные методы 1. Обзорные исследования 2. Интервьюирование 3. Фокус-группы • Экспертные данные Студенческий поток • Помимо получения диплома: 1. Общее качество и обучение выпускников/ студентов вуза. 2. Подготовка выпускников в конкретных областях: навыки письменной речи, технические навыки, аргументация на основе количественных данных, устные коммуникации, лидерские качества и навыки работы в команде. 3. Открытость кампуса и доступность студентов для интервьюирования работодателям. 4. Тенденции в сфере найма в прошлом и ожидаемые перспективы в будущем. Аттестационная оценка • Операционные определения/ условия • Кто проводит оценку; движущие силы • Оценивание институциональной эффективности • Оценивание конечных результатов обучения студентов • Смешанная оценка • Полезные результаты и проблемные аспекты • Вопросы и проблемы Постановка задачи Перечислите все факторы, которые вы используете для оценивания студентов / преподавателей / административного персонала Институциональные исследования и аттестационная оценка Аттестационная оценка – это процесс, построенный на получении ответов на поставленные вопросы, цель которого — привести сформулированные вами намерения в соответствие с документально подтверждаемой реальностью. В высшем образовании этот процесс связан с курсами, программами, политикой, процедурами и оперативной деятельностью. Оценочный анализ: операционное определение • Оценочный анализ направлен на анализ результатов индивидуальной эффективности в отношении выполнения работы и ее качества; как правило, результатом такой оценки является получение повышения за достигнутые успехи, планы дальнейшего усовершенствования, или при менее благоприятных результатах — испытательный срок с возможным увольнением. Аттестационная оценка и оценочный анализ • Аттестационная оценка (assessment) обращена на работу, которую надо выполнить, конечные результаты и воздействие, оказываемое на других — но не на людей, которые делают эту работу. • Оценочный анализ (evaluation) обращен на работу отдельных людей — их вклад, эффективность, креативность, ответственность, вовлеченность и любые другие факторы, которые, по мнению организации, являются наиболее желательными. Оценка институциональной эффективности — вместо оценки обучения студентов • Институциональная эффективность = результаты оперативных процессов, политики, обязанностей и объектов — и их успешная совместная работа — для обеспечения управления вузом. • Обучение студентов = результаты учебной и внеучебной деятельности, предназначенной для получения студентами знаний и навыков. Кто или что является движущей силой при проведении аттестационной оценки? • Аккредитирующие органы... должны определять достойные институты и программы и отсеивать недостойные должны обеспечивать проверку практической деятельности, которая влияет на жизнеспособность и устойчивость института и предлагаемых им программ представляют дисциплинарные и институциональные интересы Движущие силы при проведении оценки (продолжение) • Общественность: «башня из слоновой кости», либеральный наклон, рейтинги • Законодатели: в ответ на обеспокоенность общественности по поводу качества, цен, сдвигов и отклонений... или? • Будущие преподаватели: качество и значимый вклад в жизнь студентов • Будущие родители: реальное изучение и подготовка к профессиональной карьере • Будущие студенты: Как я буду соответствовать требованиям? И какую работу я смогу получить после получения диплома? • Финансирующие агентства/фонды: доказательства стремления к обучению и знаниям, и подтверждение [предшествующих] успехов Реалии высшего образования • Высокая конкуренция в сфере высшего образования – Национальные рейтинги – Институциональные данные и исследования – Маркетинг – Рыночные ниши • Стоимость обучения • Потребительские восприятия студентов: долгосрочные результаты обучения и институциональная эффективность Вопросы институционального качества • Можем ли мы подтвердить стоимость/цены на учебу? • Можем ли мы подтвердить качество наших образовательных продуктов в измеримых понятиях? • Можем ли мы подтвердить эффективность операционных факторов, влияющих на долгосрочную стабильность образовательной деятельности? • Можем ли мы использовать данные и другие полученные сведения для улучшения качества наших предлагаемых образовательных программ и видов деятельности? • Можем ли мы использовать эти данные для оптимизации ресурсов (финансовых, персональных, учебных и внеучебных) в целях улучшения конечных результатов? Пункты институциональной эффективности • Процессы [наличие и прозрачность] – Набор: конкурсный отбор, финансовая помощь, регистрация/зачисление – Учебная активность: консультирование, последовательное продвижение к получению диплома/степени – Бюджет: операционная деятельность/зарплаты, капитал, рейтинги и удельный вес облигаций, управление фондами, льготы и т. д. – Планирование: стратегическое планирование, контрактное планирование, планирование учебного процесса и т. д. – Юридические вопросы: образование/профессиональная подготовка, коммуникации, санкции и т. д. – Вопросы проживания: подбор жилья, подготовка помощников по жилищным вопросам, урегулирование конфликтов/посредничество Пункты институциональной эффективности • Операционные подразделения/департаменты: – По вопросам перевода на следующий уровень – По вопросам приема, казначей, архивариус – Консультативный центр, обеспечение учебного процесса и т. д. – По обеспечению безопасности в кампусе – По техническому обслуживанию – По информационным технологиям (IT) – По институциональным исследованиям – По спортивным занятиям – По организации студенческой активности Аттестационный цикл: Ключевые вопросы для оценки институциональной эффективности Какие услуги, программы или блага должны предоставлять наши подразделения? С какими целями или для получения каких конкретных результатов? Какие у нас есть подтверждения того, что они выполняют данные задачи (предоставляют нужные результаты)? Как мы можем использовать информацию для улучшения результатов или признания успехов и заслуг? Эффективны ли те улучшения, которые мы вводим? К чему мы стремимся? ПРИМЕРЫ обоснованных данных: Прием студентов, которые при подаче документов указывают наш институт первым по приоритетности, вырос у нас на 20 %. 90 % студентов указывают, что удовлетворены процессами подбора жилья и размещения. В последнем цикле стратегического планирования участвовали 4 преподавательских и 2 студенческих комитета. В целом профессорско-преподавательский состав, персонал и студенты указывают, что ощущают себя в безопасности на территории кампуса после реализации новых инициатив по повышению безопасности. В каких областях мы стремимся к улучшениям [и какие подтверждающие данные нам помогут]? Нам необходимо увеличить прием студентов, которые при подаче документов указывают наш институт первым по приоритетности, до уровня 50 % до 2017 года. • Все преподавательские комитеты будут приглашены к участию в следующем цикле планирования. • Студенты (95 %) будут указывать, что ощущают себя в безопасности на территории кампуса и в прилегающих районах. • Преподавание по зачетным дисциплинам в объеме 50 % почасовой нагрузки будет обеспечиваться штатными преподавателями. Какие характеристики свидетельствуют об институциональной эффективности? • Четко проработанный ряд процессов для обеспечения важнейших функций. • Четко определенные сферы ответственности и подотчетности для важнейших функций. • Уровень значимости той или иной функции подкрепляется соответствующими ресурсами (кадровыми, бюджетными, в сфере обучения и профессиональной подготовки и др.) для обеспечения этой функции. • Подтверждение понимания в масштабах всего института значимости этих важнейших функций, процессов и сфер ответственности Какие доказательства подтверждают институциональную эффективность? • Четкое исполнение бюджетов • Аккредитация и соответствие государственным требованиям • Четко определенные и обеспеченные всем необходимым сферы/органы совместного управления (правление, президент, администрация, преподаватели, персонал и студенты) • Коммуникационные каналы и стратегии [прозрачность] • Консенсус относительно миссии, стратегического плана, целей, приоритетов и т. д. • Удовлетворенность студентов (и других клиентов) Как измерить институциональную эффективность? • Практически значимые доказательства: заключения о результатах бюджетной аудиторской проверки, данные по набору, институциональные данные • Ведомости/отчеты о проводимой деятельности и/или выполнении требований • Самоанализ, представляющий документальные подтверждения • Исследования/опросы для оценки удовлетворенности, пользовательской активности, отношений, доверия и т. д. • Дисциплинарные отчеты в аккредитирующие органы Аттестационный цикл: Ключевые вопросы для оценивания обучения студентов Что наши студенты должны знать или уметь к моменту выпуска? Какие у нас есть подтвержденные данные о том, что они все это знают и умеют? Как мы можем использовать информацию для улучшения результатов или признания успехов и заслуг? Эффективны ли те улучшения, которые мы вводим? Итеративный цикл оценки институциональной эффективности Сбор доказательств Миссия / цели Интерпретация доказательств Цели / задачи Конечные результаты Применение Принятие решений по улучшению методов для программ, услуг или благ; обогащение сбора институционального опыта; доказательств предоставление информации для принятия информированных решений, планирования, выполнения бюджета, разработки политики, подотчетности перед обществом Оценивание обучения студентов: Что должны студенты знать или уметь продемонстрировать к моменту окончания вуза? • Вовлеченность в жизнь гражданского общества • Толерантное отношение к проявлениям разнообразия • Коммуникативные навыки • Профессиональная ответственность • Этические нормы • Критическое мышление • Совместное обучение • Лидерство • Компетентность в математических науках или количественном анализе • Технологическая компетентность • Научная компетентность • Исследовательские навыки • Культуральная компетентность • Междисциплинарная компетентность • Гражданская компетентность • Компетентность в глобальных вопросах • Экономическая/финансовая компетентность • Социальная справедливость Что мы можем использовать в качестве источников подтвержденных данных? • Курсовые работы (эссе)/диссертации • Портфолио (оценки преподавателями или внешними экспертами) • Результаты устных или письменных проверок • Устные выступления/презентации • Результаты выполнения домашних работ • Лабораторные работы/эксперименты • Тесты/экзамены • Журнальные записи • Проекты • Демонстрационные материалы К чему мы стремимся? • Получить подтверждения уровня овладения навыками у студентов (от уровня базовой компетентности до мастерства): основанных на сформулированных преподавателями стандартах качества и самостоятельных суждениях применяемых одинаково беспристрастно ко всем студенческим работам определяющих совокупную оценку результатов деятельности или знаний информативных в плане совершенствования курсов или программ Можно ли использовать одни и те же процессы и стратегии для оценки в обеих областях? • Количественная оценка обучения — вместо оценки эффективности, производительности и/или удовлетворенности - УХОДИТЬ ОТ ЧАСТНЫХ СЛУЧАЕВ НА УРОВЕНЬ ПОДТВЕРЖДЕННЫХ ДАННЫХ • Методы на основе проверки знаний (тестов), проектов, демонстрационного материала — вместо обследований, документов, отчетов - ОПРЕДЕЛЯТЬ РЕЗУЛЬТАТЫ В КОЛИЧЕСТВЕННЫХ ИЛИ КАЧЕСТВЕННЫХ ПОКАЗАТЕЛЯХ • Использование результатов (пересмотр и проверка — вместо обучения/ подготовки) - ИЗМЕНЯТЬ ТО, ЧТО ДЕЛАЕМ, ЧТОБЫ ВОЗДЕЙСТВОВАТЬ НА КОНЕЧНЫЙ РЕЗУЛЬТАТ Что у них общего? • Решимость и готовность выполнять работу как можно лучше в любых имеющихся условиях • Готовность искать пути, с помощью которых можно менять условия, влияющие на конечный результат • Готовность признавать, что меняя конечный результат, можно изменить сами условия. В конечном итоге.... Мы возлагаем на себя и своих коллег ответственность за четкую формулировку намерений нашей работы, а затем и за оценку реалий, результатом которой является разработка и внедрение стратегий улучшения ситуации в долгосрочной перспективе • Как у нас обстоят дела в этом? • Что мы можем сделать, чтобы добиться лучшего результата? Общие институциональные исследования • Департамент институциональных исследований обеспечивает широкий спектр услуг: Подготовка материалов с изложением основных фактов Отчетность по таким показателям, как процент студентов, успешно переходящих на следующий курс, а также оканчивающих обучение Отчетность федеральным органам власти Национальные и профессиональные исследования/опросы Внутренние исследования/опросы и т. д. Постановка задачи • Какие параметры вы используете для сравнения вашего института, подразделения, факультета или департамента с другими институтами и коллегами?
