Тюменева_Принципы измерения(

Правительство Российской Федерации
Государственное образовательное бюджетное учреждение
высшего профессионального образования
«Государственный университет –
Высшая школа экономики»
Факультет психологии
Программа дисциплины
«Принципы измерений
в психологии и образовании»
для направления 030300.68 "Психология"
подготовки магистра
Автор: Тюменева Ю.А. (jtiumeneva@hse.ru jutu@yandex.ru)
Рекомендована секцией УМС
Одобрена на заседании кафедры
Секция "Психология"
общей и экспериментальной
Председатель
психологии
_______________ В.А. Штроо
Зав. кафедрой
"_____"_____________2010 г.
________________Болотова А.К.
"_____"_____________2010 г.
Утверждено УС факультета
психологии
Ученый секретарь
________________Е.Б.Старовойтенко
"_____"_____________2010 г.
Москва 2010
2
ПОЯСНИТЕЛЬНАЯ ЗАПИСКА
Автор программы
кандидат психологических наук, старший преподаватель Тюменева Юлия Алексеевна.
Требования к студентам
представления об исследовательских методах в объеме бакалаврской подготовки в
психологии, социологии, педагогике или математике; элементарные знания статистики.
Аннотация
Цель курса:
Обеспечить студентов прочным пониманием принципов измерения в
социальных науках: роли выбора конструкта и операционального определения для
измерения, связи шкалы измерения с возможностями обработки данных, необходимых
требований к измерению в той или иной тестовой ситуации и в связи с предназначением
инструмента измерения.
Учебные задачи дисциплины
1. Научить студентов корректно применять базовые термины: измерение, оценка,
статистика, валидность, надежность и пр., и выстраивать связи между основными
понятиями.
2. Определять ситуации, где тестирование (в психологии или образовании) может быть
полезным и необходимым для принятии решения относительно людей или программ.
3. Определять и корректно использовать процедуры валидизации инструмента.
4. Сформировать понимание сути шкалирования, его роди и последствий при
измерении.
5. Сформировать представления о различных классификациях тестов и других процедур
оценки и измерения, и основаниях этих типологий.
6. Познакомить студентов с ключевыми проблемами в области измерения и разработки
инструментов измерения в рамках классической теории тестов и IRT.
7. Научить использовать базовые статистические методы для работы с тестовыми
показателями.
В результате изучения дисциплины студент должен знать:
1.
Методологические основания различных подходов к измерению в социальных
науках;
3
Основные психометрические процедуры, необходимые для проведения и/или оценки
2.
проведенного измерения, конструирования инструментария измерения, а также для
оценки научного статуса используемых методик и процедур;
Основные типы измерительных инструментов и процедур, цели и особенности их
3.
применения.
Роль и место измерения и анализа данных в едином процессе взаимодействия с
4.
людьми, принимающими решения в той или иной области (образовании, социальной
политике, управлении персоналом и пр.)
Этические нормы и правила, регулирующие исследовательскую и оценочную
5.
деятельность.
Место курса в профессиональной подготовке выпускника – курс вводит в проблематику
измерений в психологии и образовании, и необходим как фундамент для систематизации
материала из остальных курсов программы.
Требования к уровню освоения содержания курса – владение понятийным аппаратом
различных психолого-педагогических теорий, умение анализировать реальные психологопедагогические ситуации, владение представленными в курсе методиками.
Объем программы – 108 часов.
публичная презентация тезисов.
ТЕМАТИЧЕСКИЙ ПЛАН УЧЕБНОЙ ДИСЦИПЛИНЫ
№
наименование
всего
п/п
тем и разделов
часов
1
Проблема измерения в социальных
лекции семинары самостоятельная
работа
12
4
0
8
17
3
4
10
16
2
4
10
науках
2
Базовые компоненты измерения –
шкалы и язык статистического
анализа.
3
Статистики для измерения в
социальных науках.
4
Тестовые задания (items).
21
4
7
10
5
Надежность измерения
13
4
5
4
6
Валидность измерения
15
5
2
6
4
7
Анализ заданий и теория «задание-
18
4
2
12
14
2
2
6
14
2
2
10
ответ» (IRT).
8
Подсчет баллов и интерпретация
тестовых показателей
9
Измерение способностей и
достижений
10
Тестирование личности
14
2
2
10
11
Администрирование и этика
8
2
2
4
162
32
32
98
тестирования
Итого:
БАЗОВЫЙ УЧЕБНИК ИЛИ РИДЕР
Анастази А., Урбина С. Психологическое тестирование. СПб.: Питер, 2003.
Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов. Москва,
Логос 2010.
ФОРМЫ КОНТРОЛЯ ЗНАНИЙ СТУДЕНТОВ

Текущий контроль – контрольная работа и коллоквиум;

Промежуточный контроль - работа на семинарских занятиях;

Итоговый контроль – экзамен

Итоговая оценка (см. ниже методику формирования).
Методика формирования результирующей оценки
1. При определении результирующей оценки Орез учитываются:
- оценка за контрольную работу ОХ1,
- оценка за коллоквиум ОХ2
- оценка за экзамен ОХ3
Коэффициент (оценка относительной важности) имеет следующие значения: WХ1= 0,3;
WХ2=0,2; WХ3=0,5. Пример расчета:
Если у студента
ОХ1 = 7
ОХ2 =5
при коэффициентах
WХ1 =0,3
WХ2 = 0,2
То
в
ОХ3 =8
WХ3 =0,5
результате Орез = ОХ1WХ1 + ОХ2 WХ2+ ОХ3WХ3 = 7*0,3 + 5*0,2 +
округленно Орез = 7
8*0,5 = 2,1+1,0+4,0=7,1
5
2. В ведомость и зачетную книжку студента выставляется двойная оценка, например:
«зачтено (7)».
СОДЕРЖАНИЕ ПРОГРАММЫ
Тема 1. Проблема измерения в социальных науках
Специфика исследований в психологии и социальных науках в отличие от исследований в
точных (естественных) науках. Теоретические конструкты и операциональные определения.
Формулировка эмпирических вопросов: необходимость операционализации теоретических
положений. Критерии хорошей операционализации. Последствия принятия конкретного
операционального определения для последующего измерения и обработки результатов.
Концептуализация – необходимый шаг для обобщения и экспликации выводов исследования.
Излишне
широкая
и
излишне
ограниченные
концептуализации.
Ограничения
и
некорректность концептуализации.
Роль теории в эмпирическом исследовании. Формальные и неформальные теории.
Последствия теоретического анализа для последующего эмпирического исследования.
Основная литература
1. Поппер К. Предположения и опровержения: рост научного знания. М.: АСТ, 2008.
Глава 1.
2. Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов.
Москва, Логос, 2010. Гл. 1.
Дополнительная литература
1. Тюменева Ю.А. Психологическое измерение. М., Аспект-Пресс. 2007. Глава 1.
2. Gregory, R.J. (2007). Psychological testing: History, principles, and applications (5th
edition). New York: Pearson.
Тема 2. Базовые компоненты измерения – шкалы и язык статистического анализа
Непрерывные и дискретные переменные. Понятие о шкале измерения. Виды шкал:
номинальная, порядковая, интервальная, шкала отношений. Графики распределения.
Допустимые статистики в каждой шкале: описание среднегрупповых данных, возможность
6
сравнения индивида с группой, измерение взаимосвязи в каждой шкале. Сравнительная
характеристика шкал измерения.
Язык описательной статистики. Описательная статистика: меры центральной тенденции
(мода, медиана, среднее арифметическое) и меры изменчивости (разброс, отклонение,
среднее отклонение, стандартное отклонение). Общее представление о корреляции и
корреляционных процедурах. Вопросы, на которые может ответить корреляционное
исследование.
Оценка корреляции: графическая и математическая, коэффициент корреляции. Специфика
оценки корреляционной связи в различных шкалах измерения.
Толкование
корреляции.
Корреляционная
связь
и
связь
причинно-следственная.
Коэффициент детерминации. Регрессионный анализ. Линия регрессии. Допущения,
связанные с применением и толкование регрессии.
Основная литература
1. Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов. Москва,
Логос, 2010. Гл. 2.
Дополнительная литература
1.
Тюменева Ю.А. Психологическое измерение. М., Аспект-Пресс. 2007. Глава 2-4.
Тема 3. Статистики для измерения в социальных науках
Частотное распределение. Нормальная кривая. Скошенные распределения. Нормальная
кривая и вероятность. Выборка, ошибки выборки. Стандартная ошибка измерения.
Доверительные интервалы. Z-показатели, линейные преобразования. Процентильные нормы.
Нормализация и нелинейные преобразования.
Основная литература
1.
Анастази А., Урбина С. Психологическое тестирование. СПб.: Питер, 2003. Глава 3.
2.
Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов. Москва,
Логос, 2010. Гл. 2.
3.
Cronbach, L.J. (1990). Essentials of psychological testing (5th ed.). New York: Harper &
Row. Ch. 4.
7
4.
Kline T.J.B. (2005). Psychological testing. London, UK: Sage. Ch. 4.
Дополнительная литература
1. Тюменева Ю.А. Психологическое измерение. М., Аспект-Пресс. 2007. Глава 3.
Тема 4. Тестовые задания (items)
Идентификация целей
использования тестовых
баллов. Идентификация поведения,
репрезентирующее конструкт. Нормо-ориентированное и критериально-ориентированное
тестирование. Подготовка спецификации теста.
Конструирование и анализ тестовых заданий. Обзор тестовых заданий.
Примеры задания тестов интеллекта, тестов достижений, тестов способностей; тестов
пригодности, личностных опросников.
Основная литература
1. Анастази А., Урбина С. Психологическое тестирование. СПб.: Питер, 2003. Глава 7.
2. Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов. Москва,
Логос, 2010. Гл. 4.
Дополнительная литература
1.
Тюменева Ю.А. Психологическое измерение. М., Аспект-Пресс. 2007. Глава 4.
2.
Impara, J.C., Foster D. Item and test development strategies to minimize test fraud/ In: S.M.
Downing & T.M. Haladyna (Ed.). Test development. N.J.: Erlbaum, 2006.
Тема 5. Надежность измерения
Понятие о надежности – как одной из основных психометрических характеристик
измерения. Интерпретация надежности измерения как надежности тестовых показателей.
Модель истинных баллов. Индекс надежности и коэффициент надежности. Ошибка
измерения – показатель точности измерения. Альтернативные определения истинного балла
и ошибки измерения.
Надежность как согласованность показателей. Виды надежности. Ретестовая надежность.
Надежность расщепленных половин. Надежность, установленная методом эквивалентных
форм. Внутренняя согласованность тестовых показателей.
8
Надежность оценок наблюдателей или экспертов – как особый вид надежности,
применяемый в ситуации слабоструктурированных инструментов измерения (проективные
тесты, интервью, наблюдения, экспертная оценка и пр.).
Коэффициенты надежности для критериально-ориентированных тестов.
Основная литература
1.
Анастази А., Урбина С. Психологическое тестирование. СПб.: Питер, 2003. Глава 4.
2.
Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов. Москва,
Логос, 2010. Гл. 6, 7.
3.
Kline T.J.B. (2005). Psychological testing. London, UK: Sage. Ch. 7-8.
Дополнительная литература
1.
Тюменева Ю.А. Психологическое измерение. М., Аспект-Пресс. 2007. Глава 5.
2.
Brennan R.L. (Eds.). (2006). Educational Measurement (4th edition). Westport, ACE/Praeger
Publishers. Ch. 3.
3.
http://pareonline.net/getvn.asp?v=9&n=4 (обсуждение надежности согласия экспертов)
Тема 6. Валидность измерения
Понятие о валидности – как одной из основных психометрических характеристик измерения.
Интерпретация валидности как целостной характеристики измерения.
Аспекты валидности: очевидная, критериальная, конструктная, содержательная. Методы
оценки различных аспектов валидности.
Статистические процедуры для предсказания и классификации: частная корреляция,
множественная регрессия, дискриминантный анализ.
Bias в отборе. Базовые термины. Группы меньшинств. Психометрические определения bias.
Процедуры справедливого отбора. Критика моделей.
Факторный анализ. Факторы и факторные нагрузки. Ротация. Коррелирующие факторы.
Число факторов. Уникальные вклады. Эксплоративный и конфирматорный факторный
анализ.
Связь валидности и надежности измерения.
Основная литература
1. Анастази А., Урбина С. Психологическое тестирование. СПб.: Питер, 2003. Глава 5-6.
9
2. Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов. Москва,
Логос, 2010. Гл. 10-13.
3. Kline T.J.B. (2005). Psychological testing. London, UK: Sage. Сh. 9-10.
Дополнительная литература
1. Тюменева Ю.А. Психологическое измерение. М., Аспект-Пресс. 2007. Глава 5.
2. Brennan R.L. (Eds.). (2006). Educational Measurement (4th edition). Westport, ACE/Praeger
Publishers. Ch. 2.
3. Gregory, R.J. (2007). Psychological testing: History, principles, and applications (5th edition).
New York: Pearson.
Тема 7. Анализ заданий и теория «задание-ответ» (IRT)
Анализ заданий: Трудность, дискриминативность, индексы надежности и валидности.
Анализ заданий для критериально-ориентированных тестов. Допущения и ограничения
классической теории тестов в сравнении с IRT. Начальные сведения об IRT подходе: Какие
IRT модели существуют и как делать выбор между ними? Какие алгоритмы есть, чтобы
сделать оценку параметров? Какие IRT компьютерные программ должны использоваться для
анализа данных? Как влияет длина теста на точность оценки? Как можно использовать IRT
статистику для разработки теста? Как можно использовать IRT статистику для оценки
последствий изменения формулировок тестовых заданий? Как можно использовать IRT для
определения относительной полезности разных тестов, измеряющих одну и ту же
способность?
Исследование смещений (bias) заданий. Методы, основанные на IRT моделях. Техника хиквадрата. Достоинства и недостатки различных методов.
Основная литература
1. Hambleton, R.K., Swaminathan, H. (1991). Fundamentals of Item Response Theory. CA: Sage.
Ch. 2-7.
2. Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов. Москва,
Логос, 2010.Гл. 14-16.
Дополнительная литература
1. Brennan R.L. (Eds.). (2006). Educational Measurement (4th edition). Westport, ACE/Praeger
Publishers. Ch. 4, 7.
10
Тема 8. Подсчет баллов и интерпретация тестовых показателей
Процедуры подсчета баллов при разных форматах теста. Интерпретация тестовых
показателей. Сырые, процентильные, стандартные показатели. Нормальное распределение и
нормирование. Нормы. Выравнивание баллов для различных тестов. Определение
выравнивания. Сбор данных для выравнивания. Выравнивание в IRT подходе. Вертикальное
выравнивание.
Основная литература
1. Cronbach, L.J. (1990). Essentials of psychological testing (5th ed.). New York: Harper &
Row. Гл. 4.
2. Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов. Москва,
Логос, 2010. Гл. 19-20.
Дополнительная литература
1.
Brennan R.L. (Eds.). (2006). Educational Measurement (4th edition). Westport, ACE/Praeger
Publishers. Ch. 4, 7.
Тема 9. Измерение способностей и достижений
Измерение способностей. История измерения интеллекта и теории интеллекта.
Текучий и кристаллизованный интеллект. Структура интеллекта Гилфорда. Онофакторная
модель интеллекта. Многофакторные модели. Системные подходы. Теория интеллекта
Стернберга. Развитие тестирования в когнитивной сфере: шкалы Стенфорд-Бине; Альфа и
Бета тесты; Шкалы Векслера.
Современные
подходы
к
измерению
в
образовании
и
профессиональной
деятельности: оценка компетентностей, оценка достижений. Дизайн, подсчет баллов и
валидизация тестов достижений: обзор.
Проблема культуры в измерении интеллекта, способностей и достижений.
Основная литература
1.
Бурлачук Л.Ф. Психодиагностика. СПб.: Питер, 2004. Глава 2, 4.
2.
Анастази А., Урбина С. Психологическое тестирование. СПб.: Питер, 2003. Ч. 3.
3.
Kline T.J.B. (2005). Psychological testing. London, UK: Sage. Сh. 12.
Дополнительная литература
11
1.
Стернберг Р. Практический интеллект. СПб.: Питер, 2002. Глава 2.
2.
Klieme E., Hartig J., Rauch D. (2008). The concept of Competence in Educational Contexts. /
In: J. Hartig, E. Klieme & D. Leutner (Ed.). Assessment of Competences in Educational
Contexts. Cambridge: Hogrefe & Huber Pub.
3.
Sax, G. (1997). Principles of educational and psychological measurement and evaluation (4th
ed.). Belmont, CA: Wadsworth Publishing Co.
Тема 10. Тестирование личности
Модели психологической оценки. Тесты, используемые для диагностики и коррекции.
Нейро-психологическое тестирование.
Дизайн личностных тестов. Проблемы валидности и надежности при оценке личности.
Основная литература
1.
Анастази А., Урбина С. Психологическое тестирование. СПб.: Питер, 2003. Ч. 3.
Дополнительная литература
1. McIntire, S.A., & Miller, L.A. (2007). Foundations of psychological testing: A practical
approach. Thousand Oaks, CA: Sage Publications.
2. Sax, G. (1997). Principles of educational and psychological measurement and evaluation (4th
ed.). Belmont, CA: Wadsworth Publishing Co
Тема 11. Администрирование и этика тестирования
Разработка Руководства к инструменту оценки. Процедуры для администрации теста. Типы
администрирования. Влияние условий, в которых проводится тестирование. Стандартизация.
Специальные мероприятия по обеспечению тестирования в особых группах респондентов.
Обеспечение мотивации тестируемых. Тестирование как социальные отношения. Компьютер
как тестирующий. Мошенничества при тестировании. Обеспечение безопасности теста и
результатов тестирования. Отчет.
Этические проблемы связанные с отбором, процедурой, обработкой, итерпретацией,
хранением информацией и отчетом.
Основная литература
1. Cronbach, L.J. (1990). Essentials of psychological testing (5th ed.). New York: Harper & Row.
Гл. 3.
12
Дополнительная литература
1. American Educational Research Association (AERA), American Psychological Association, &
National Council on Measurement in Education.
(1999).
Standards for educational and
psychological testing. Washington, DC: AERA.
2. Brennan R.L. (Eds.). (2006). Educational Measurement (4th edition). Westport, ACE/Praeger
Publishers. Гл. 10, 21.
ТЕМАТИКА ЗАДАНИЙ ПО РАЗЛИЧНЫМ ФОРМАМ
ТЕКУЩЕГО КОНТРОЛЯ
Тематика контрольной работы
1. Конструкты и операционализации: формулировка эмпирических вопросов и
проблема их связи с теоретическим конструктом
2. Базовые описательные статистики
3. Преобразования: процентили, станайны, стандартные показатели; линейные
преобразования и нормализация.
4. Характеристики связи переменных: корреляция и регрессия.
5. Надежность и валидность инструмента оценки: классический подход
6. IRT подход
7. Факторный анализ: структура изучаемого конструкта
8. Источники ошибки измерения
9. Этические проблемы тестирования
10. Место измерения в исследовании
Вопросы для коллоквиума
1. Спецификации теста: что включает; проблемы и подходы.
2. Наблюдение и ранжирование как измерительная процедура и редукция ошибки
измерения
3. Обобщение и интерпретация результатов измерения
4. Оценка тестовых заданий: анализ заданий и интерпретация
5. Надежность измерения
6. Валидность измерения
7. Стандарты для отбора и оценки стандартизированных тестов
8. Природа и измреение интеллекта
9. Измерение пригодности и способностей
13
10. Измерение интересов, установок и ценностей
11. Измерение черт личности
12. Оценка прогресса в обучении
13. Дизайн, оценка и анализ опросников и анкет
14. Социальные, нормативные и этические вопросы измерения в психологии и
образовании
ВОПРОСЫ ДЛЯ ОЦЕНКИ КАЧЕСТВА ОСВОЕНИЯ ДИСЦИПЛИНЫ
1. В чем отличие научных теорий от ненаучных?
2. В чем отличие измерения в социальных науках от измерения в физических науках?
3. Что такое операциональное определение и какова его роль в процедуре и качестве
измерения?
4. Как соотносятся шкалы измерения с возможностями последующего анализа данных?
5. Какие статистические процедуры работы с допустимы данными, полученными в
разных шкалах измерения?
6. Как интерпретируется корреляция?
7. В чем суть нормо-ориентированного и критериально-ориентированного тестирования
и как эти различия отражаются на спецификации теста?
8. Что такое линейные и нелинейные преобразования тестовых баллов и в каких случаях
нецелесообразно прибегать к нелинейным преобразованиям?
9. Что такое надежность теста и надежность тестового задания, и каковы процедуры ее
установления?
10. Что такое валидность теста и каковы процедуры ее установления?
11. В чем принципиальные отличия классической тестовой теории от IRT?
12. Какие основные проблемы возникают при подсчете тестовых баллов?
13. Каковы современные тенденции в измерении способностей и достижений человека?
14. Какие основные проблемы возникают при валидизации личностных опросников?
15. Какие типы администрации теста существуют и при каких видах измерения обычно
их используют?
16. Какова связь смещения (bias) тестовых заданий и этических требований к процедуре
измерения?
14
ЛИТЕРАТУРА
Основная
1. Анастази А., Урбина С. Психологическое тестирование. СПб.: Питер, 2003.
2. Бурлачук Л.Ф. Психодиагностика. СПб.: Питер, 2004.
3. Поппер К. Предположения и опровержения: рост научного знания. М.: АСТ,
2008.Hambleton, R.K., Swaminathan, H. (1991). Fundamentals of Item Response Theory.
CA: Sage. Крокер Л., Алгина Дж. Введение в классическую и современную теорию
тестов. Москва, Логос, 2010.
4. Тюменева Ю.А. Психологическое измерение. М., Аспект-Пресс. 2007.
5. Cronbach, L.J. (1990). Essentials of psychological testing (5th ed.). New York: Harper &
Row.
6. Kaplan, R.M., & Saccuzzo, D.P. (2008). Psychological testing: Principles, applications, and
issues (7th ed.). Wadsworth, Cengage Learning.
7.
8. Kline T.J.B. (2005). Psychological testing. London, UK: Sage.
Дополнительная
3. American Educational Research Association (AERA), American Psychological Association, &
National Council on Measurement in Education.
(1999).
Standards for educational and
psychological testing. Washington, DC: AERA.
4. Brennan R.L. (Eds.). (2006). Educational Measurement (4th edition). Westport, ACE/Praeger
Publishers.
5. Gregory, R.J. (2007). Psychological testing: History, principles, and applications (5th edition).
New York: Pearson.
6. http://pareonline.net/getvn.asp?v=9&n=4 (обсуждение надежности согласия экспертов)
7. Impara, J.C., Foster D. Item and test development strategies to minimize test fraud/ In: S.M.
Downing & T.M. Haladyna (Ed.). Test development. N.J.: Erlbaum, 2006.
8. Klieme E., Hartig J., Rauch D. (2008). The concept of Competence in Educational Contexts. /
In: J. Hartig, E. Klieme & D. Leutner (Ed.). Assessment of Competences in Educational
Contexts. Cambridge: Hogrefe & Huber Pub.
9. McIntire, S.A., & Miller, L.A. (2007). Foundations of psychological testing: A practical
approach. Thousand Oaks, CA: Sage Publications.
10. Sax, G. (1997). Principles of educational and psychological measurement and evaluation (4th
ed.). Belmont, CA: Wadsworth Publishing Co.
15
11. Стернберг Р. Практический интеллект. СПб.: Питер, 2002.
12. Тюменева Ю.А. Психологическое измерение. М., Аспект-Пресс. 2007
Автор программы ______________________________________ Ю.А. Тюменева