Экспериментальные и квази-экспериментальные планы в

Е.В. Сивак
Оценочные исследования образовательных процессов в школах: эффективность
экспериментальных и квази-экспериментальных планов и показателей
Проблема исследования
Оценочные исследования – тип прикладных социальных исследований, в которых
методология социальных наук используется для изучения эффективности и других
важных аспектов социальных программ (дизайна программ, концептуализации
социальной проблемы, управления и результатов программ)1. Первые оценочные
исследования проводились в США еще в девятнадцатом веке. Но историю оценочных
исследований как отдельной профессиональной области отсчитывают, как правило, с
начала 1960-х годов, когда в США возросло число таких исследований после реализации
масштабных
государственных
социальных
программ2.
Институционализация
продолжилась созданием специализированных журналов (Evaluation review (1977),
American journal of evaluation (1981)), профессиональных сообществ (American evaluation
association (1986)). Оценочные исследования с использованием экспериментальных
планов первым начал применять и совершенствовать Э.Ф.Линдквист3; особенное развитие
эксперимент в оценочных исследованиях получил в работах Д.Кэмпбелла в 1960-е годы4.
В российской социологии оценочные исследования как профессиональная область
практически не развиты – отсутствуют (за редким исключением) методологические
исследования, в том числе по сравнению различных экспериментальных планов и
показателей, нет профессиональной коммуникации, специализированных журналов и т.д.
В сфере образования – с самого начала истории оценочных исследований в США и
Европе изучение эффективности различных программ и реформ в образовании было
одним из приоритетных направлений – также практически не ведется методологической
дискуссии и нет соответствующих работ. Проблема данного исследования – возможности
и ограничения различных экспериментальных и квази-экспериментальных исследований
образовательных процессов в средних школах.
Степень разработанности проблемы
Существует значительный корпус литературы, посвященной описанию
методологических оснований оценочных исследований, этических проблем, результатов
конкретных оценочных исследований. В частности, в оценочных исследованиях школ
проблематизируется представление о школе как о «черном ящике», которое лежит в
основе большинства исследований. Как отмечают, например, R.Weiss и M.Rein5, такая
модель школы предполагает изучение воздействия программы или реформы на какие-то
показатели успеваемости учеников (оценки за школьные экзамены, результаты
независимых тестирований и т.д.) и не рассматриваются процессы, которые приводят к
наблюдаемым результатам. Представление о школе как о «черном ящике» соответствует
1
Rossi P.H., Freeman H.E., Lipsey M.W. (1999). Evaluation: A Systematic Approach. L: Sage Publications, 1999.
Майер В. (2002). Что такое эвалюация? Бонн: Серия публикаций Федерального института
профессионального образования, 2002.
3
Майер В. (2002). Бонн: Серия публикаций Федерального института профессионального образования, 2002.
4
Campbell D.T. (1969). Reforms as experiments // American psychologist, No. 24, 1969.
Campbell D.T. (1970). Considering the case against experimental evaluations of social innovations // Administrative
science quarterly, Vol. 15, No. 1, 1970.
Campbell D.T., Stanley J. (1963). Experimental and quasi-experimental designs for Research. Boston: Houghton
Mifflin Company, 1963.
5
Weiss R.S., Rein M. The Evaluation of Broad-Aim Programs: A Cautionary Case and a Moral // Annals of the
American Academy of Political and Social Science, Vol. 385, 1969.
2
1
взгляду теории фирмы на школу как на «фабрику», в которой ресурсы (финансирование,
квалификация учителей, техника и др.) перерабатываются в готовый продукт –
«образованных» учеников. Качество этого «продукта» измеряется оценками или
независимыми тестами.
Такой взгляд на школу получил распространение в 1960-1970-х годах, когда начали
развиваться исследования производственных функций в образовании. После доклада Дж.
Коулмана6, в котором говорилось об отсутствии связи между ресурсами школы и
успехами, начали появляться исследования, в которых изучалась связь между
конкретными характеристиками школ и результатами учеников или выпускников школ. В
таких исследованиях изучается и валидность переменных, используемых в качестве
показателей разных ресурсов школы (например, можно ли рассматривать формальную
квалификацию учителя как показатель «качества» его работы 7).
Однако оценке с помощью экспериментов могут быть подвергнуты не только
результаты какой-либо социальной программы. Например, в определении К. Эдельмана и
Р. Александера задача оценочных исследований состоит в оценке эффективности не
только результатов каких-либо программ в образовании, но и образовательных процессов,
взаимодействия между этими процессами и др.8 П. Росси выделяет несколько типов
оценочных исследований, в том числе и оценивание процессов работы какой-то
программы, а не только исходного плана реализации программы, ее итоговых результатов,
эффективности и соотношения выгод и издержек9. Д. Кэмпбелл отмечает, что в изучении
процессов, приводящих к тому или иному результату реформы или социальной
программы, также могут применяться экспериментальные планы10.
Проблематизации подвергаются и сами основания натуралистического,
основанного на эксперименте, подхода в оценочных исследованиях. Например, в работе
(Guba 1978) автор рассматривает ограничения натуралистического подхода и его
альтернативы, основанные на этнографии и феноменологии. Л. Кронбах считает, что
необходимо сместить акцент в оценочных исследованиях в образовании (или социальных
программ в других сферах) с изучения причинно-следственных связей на получение
релевантной информации, и поэтому предлагает больше внимания в разработке дизайна
оценочных исследований уделять не внутренней валидности, а проблеме релевантности, и
вместо жестких экспериментальных планов использовать более гибкие подходы,
совмещающие эксперимент, интерпретации исследователей и др.11
Отсюда в рамках данного диссертационного исследования возникает интерес к
изучению и сравнению различных показателей, экспериментальных и квазиэкспериментальных планов в изучении образовательных процессов в школах и
ограничениям экспериментального метода в целом.
В России также существуют исследования, измеряющие качество и
результативность школ (работа Константиновского Д. Л., Вахштайна В.С., Куракина Д.
Ю., Рощиной Я. М. «Доступность качественного общего образования в России:
6
Coleman J., Campbell E., Hobson C., McPartland J., Mood A., Weinfeld F., York R. Equality of Educational
Opportunity. U.S. Government Printing Office, Washington D.C., 1966.
7
Hanushek E.A. The Failure of Input-Based Resource Policies // Economic Journal, Vol. 113, No. 485, 2003.
Goldhaber D.D., Brewer D. J. Does Teacher Certification Matter? High School Teacher Certification Status and
Student Achievement // Educational Evaluation and Policy Analysis, Vol. 22, No. 2, 2000.
8
Adelman C., Alexander R.J. (1982). The Self-Evaluating Institution: practice and principles in the management of
educational change. L.: Methuen, 1982.
9
Rossi P.H., Freeman H.E., Lipsey M.W. (1999). Evaluation: A Systematic Approach. L: Sage Publications, 1999.
10
Campbell D.T. Considering the Case Against Experimental Evaluations of Social Innovations // Administrative
Science Quarterly, Vol. 15, No. 1, 1970.
11
Cronbach L. (1987). Designing evaluations of educational and social programs. San Francisco: Jossey-Bass,
1987.
2
возможности и ограничения»12; разработка методики измерения качества сельских школ,
осуществленная Институтом развития образования ГУ-ВШЭ и др.).
Показатели качества школ, разработанные в таких проектах, используются как
инструмент образовательной политики13, т.е. имеют прикладной характер. Тем не менее,
большинство таких исследований нельзя назвать оценочными. Зачастую выбор того или
иного показателя работы школы основывается на априорных предположениях участников
проекта, и не эксплицируется то, каким образом тот или иной показатель отражает
качество работы школы, методология оценки; не оценивается валидность и надежность
показателей.
Не развито и оценивание эффективности программ с помощью экспериментов,
сравнение различных экспериментальных планов. Решения о продолжении или
прекращении «эксперимента» (т.е. применения нововведения только в некоторых
регионах или образовательных учреждениях, а не научных экспериментов) основываются
на экспертных заключениях, а не на измерении эффектов вводимых программ.
Специфика исследований характеристик школ, качества и результативности
работы школ в России (например, выделяемых показателей) вызвана, вероятно, особыми
представлениями о целях школьного образования в советский и постсоветский период.
В связи с перечисленными особенностями подходов к изучению характеристик
школ в России изучение и сравнение экспериментальных и квази-экспериментальных
планов и показателей образовательных процессов в школах заслуживает особенного
исследовательского внимания.
Цель
данной
работы
–
методологический
анализ
эффективности
экспериментальных планов и показателей в оценивании образовательных процессов
(прежде всего таких общих процессов как обучение, преподавание).
В задачи работы входит:
¯ критическое
рассмотрение
истории
формирования
современных
представлений о том, как должно быть устроено обучение в школе и что
является результатом образовательного процесса, измерений в образовании
и используемых показателей (в России и СССР): как менялись
представления о том, что, с точки зрения государства, должна делать школа
(обучать, воспитывать, «консервировать» состояние «детства» и др.), как
должно происходить обучение, какими должны быть ученики в школе; чем
обусловлен выбор тех или иных показателей в измерении образования,
введение новых учебных планов и стандартов. Этот анализ необходим для
того, чтобы понять, какие показатели процессов обучения и преподавания
могут быть выделены; какие критерии эффективности этих процессов могут
применяться исходя из разных представлений о целях работы школы. В
рамках этой задачи предполагается анализ литературы по социологии
образования (история советских школ, анализ «скрытых учебных планов» и
др.) и социологии детства, а также изучение современных образовательных
стандартов, учебных планов и показателей освоения учебных планов;
¯ изучение того, какие показатели образовательных процессов могут быть
выделены и в соответствии с какой типологией; типологизация и описание
различных экспериментальных и квази-экспериментальных планов.
Изучение ограничений оценочных исследований, основанных на
Константиновский Д. Л., Вахштайн В. С., Куракин Д. Ю., Рощина Я. М. Доступность качественного
общего образования в России: возможности и ограничения // Вопросы образования, №2, 2006.
13
Например, показатели, выделенные в уже упоминавшемся проекте «Нормативно-правовое обеспечение
эксперимента по реструктуризации сети общеобразовательных учреждений, расположенных в сельской
местности» (2002, руководитель И.В. Абанкина), используются для обоснования решений о закрытии
определенных сельских школ в рамках так называемой «оптимизации образовательной сети».
12
3
эксперименте, в целом. Литература по теории измерений, работы по
оценочным измерениям (в том числе, в образовании).
¯ сравнительная оценка эффективности (после определения критериев
эффективности) различных экспериментальных и квази-экспериментальных
планов и показателей.
Объект – экспериментальные, квази-экспериментальные планы в оценочных
исследованиях образовательных процессов в средней школе; показатели, с помощью
которых может быть проведено измерение этих процессов.
Предмет – эффективность экспериментальных и квази-экспериментальных планов
в оценочных исследованиях образовательных процессов в средней школе и показателей.
Методы
Для реализации сформулированных задач в работе предполагается провести анализ
публикаций о миссии и целях школьного образования и документов об образовании,
историко-социологическую
реконструкцию
«скрытых
учебных
планов»
и
бюрократических критериев эффективности школьных образовательных программ в
советский и постсоветский период, метаанализ оценочных исследований школьного
образования для сравнения экспериментальных планов и показателей.
Избранная библиография:
1.
Adelman C., Alexander R.J. (1982). The Self-Evaluating Institution: practice and
principles in the management of educational change. L.: Methuen, 1982.
2.
Campbell D.T. (1969). Reforms as experiments // American psychologist, No. 24,
1969.
3.
Campbell D.T. (1970). Considering the case against experimental evaluations of social
innovations // Administrative science quarterly, Vol. 15, No. 1, 1970.
4.
Campbell D.T., Stanley J. (1963). Experimental and quasi-experimental designs for
Research. Boston: Houghton Mifflin Company, 1963.
5.
Campbell L., Campbell B. (1999). Multiple intelligences and student achievement.
Alexandria: Association for supervision and curriculum development, 1999.
6.
Coleman J., Campbell E., Hobson C., McPartland J., Mood A., Weinfeld F., York
R. (1966). Equality of educational opportunity. U.S. Government printing office,
Washington D.C., 1966.
7.
Cook T.D. (2002). Randomized experiments in educational policy research: a critical
examination of the reasons the educational evaluation community has offered for not
doing them // Educational Evaluation and Policy Analysis, Vol. 24, No. 3, 2002.
8.
Cronbach L. (1987). Designing evaluations of educational and social programs. San
Francisco: Jossey-Bass, 1987.
9.
Fitz-Gibbon C., Kochan S. (2000). School effectiveness and education indicators // The
international handbook of school effectiveness research ed. by Charles Teddlie and
David Reynolds. L.: Falmer Press, 2000.
10.
Frechtling J. (2000). Evaluating systematic educational reform: Facing the
methodological, practical, and political challenges // Arts education policy review, Vol.
101, No. 4, 2000.
4
11.
Graham P.A. (2005). Schooling America: how public schools meets the nation’s
changing needs. NY: Oxford university press, 2005.
12.
Guba E. (1978). Toward a methodology of naturalistic inquiry in educational
evaluation. Los Angeles: Center for the Study of Evaluation, 1978.
13.
Hanushek E.A. (2003). The Failure of Input-Based Resource Policies // Economic
Journal, Vol. 113, No. 485, 2003.
14.
Holmes L. (2005). School and schooling under Stalin, 1931–1953 // Education reform
in post-soviet Russia: legacies and prospects ed. by Ben Eklof, Larry E. Holmes and
Vera Kaplan. L: Frank Cass, 2005.
15.
Kerr S. (2005). The experimental tradition in Russian education // Education reform in
post-soviet Russia: legacies and prospects ed. by Ben Eklof, Larry E. Holmes and Vera
Kaplan. L: Frank Cass, 2005.
16.
Maddaus G.F., Stufflebeam D.L., Kellaghan T. (2002). Program evaluation: a historical
overview // Evaluation models: viewpoints on educational and human services
evaluation ed. by Daniel L. Stufflebeam, George F. Madaus, Thomas Kellaghan.
Bostonб Dordrecht, London: Kluwer academic publishers, 2002.
17.
Nasaw D. (1979). Schooled to order: a social history of public schooling in the United
States. Oxford: Oxford university press, 1979.
18.
Pawson R. (1989). A measure for measures: a manifesto for empirical sociology. L:
Routledge, 1989.
19.
Reynolds D., Teddlie C. (2000). Current topics and approaches to school effectiveness
research: the contemporary field // The international handbook of school effectiveness
research ed. by Charles Teddlie and David Reynolds. L.: Falmer Press, 2000.
20.
Reynolds D., Teddlie C. (2000). An introduction to school effectiveness research // The
international handbook of school effectiveness research ed. by Charles Teddlie and
David Reynolds. L.: Falmer Press, 2000.
21.
Reynolds D., Teddlie C., Sammons P. (2000). The methodology and scientific
properties of school effectiveness research // The international handbook of school
effectiveness research ed. by Charles Teddlie and David Reynolds. L.: Falmer Press,
2000.
22.
Rossi P.H., Freeman H.E., Lipsey M.W. (1999). Evaluation: A Systematic Approach.
L: Sage Publications, 1999.
23.
Scheerens J. (2002). School self-evaluation: origins, definition, approaches, methods
and implementation // School-based evaluation: an international perspective ed. by
David Nevo. Oxford: Elsevier, 2002.
24.
Schratz M. (2002). Self-evaluation as endeavour to understand quality: experiences in
Austrian school-based evaluation // School-based evaluation: an international
perspective ed. by David Nevo. Oxford: Elsevier, 2002.
25.
Tiana A. (2002). Internal and external school evaluation in the Spanish educational
reform // School-based evaluation: an international perspective ed. by David Nevo.
Oxford: Elsevier, 2002.
26.
Абрамова Н.В., Николаева Ю.В. Построение концептуальных карт как метод
повышения валидности результатов оценочного исследования // Социология: 4М,
No 23, 2006.
5
27.
Арьес Ф. (1999). Ребенок и семейная жизнь при старом порядке. Екатеринбург:
Издательство Уральского университета, 1999.
28.
Барбер М. (2007). Обучающая игра:
образовании. М.: Просвещение, 2007.
29.
Брунер Дж. (2006). Культура образования. М.: Просвещение, 2006.
30.
Бурдье П., Пассрон Ж.-К. (2007). Воспроизводство: элементы теории системы
образования. М.: Просвещение, 2007.
31.
Венгер А.Л., Калимуллина Г.Р., Каспржак А.Г. (2006). Российская
PISA-2000 к PISA-2003. М.: Логос, 2006.
32.
Гудлэд Дж. (2008). Вот что называется школой. М.: Просвещение, 2008.
33.
Иллич И. (2006). Освобождение от школ. Пропорциональность и современный
мир (фрагменты из работ разных лет) / И. Иллич; под ред. Т. Шанина. М.:
Просвещение, 2006.
34.
Калверт К. (2009). Дети в доме: материальная культура раннего детства. 16001900. М.: Новое литературное обозрение, 2009.
35.
Каменский Я. (1989). Великая дидактика // Педагогическое наследие. Я.А.
Коменский, Д. Локк, Ж.-Ж. Руссо, И. Г. Песталоцци. М.: Педагогика, 1989 г.
36.
Константиновский Д.Л., Вахштайн В.С., Куракин Д.Ю., Рощина Я.М. (2006).
Доступность качественного общего образования: возможности и ограничения.
М.: Университетская книга, 2006.
37.
Майер В. (2002). Что такое эвалюация? Бонн: Серия публикаций Федерального
института профессионального образования, 2002.
38.
Мак-Ларен П. (2007). Жизнь в школах: введение в критическую педагогику. М.:
Просвещение, 2007.
аргументы
в
пользу
революции
школа:
в
от
6