Пилотажное исследование и смешанные методы

Доклад подготовлен в рамках семинара научно-учебной группы
«Стратегии смешивания методов в социальных исследованиях»
Смешивание методов как способ повышения
качества пилотажа
Круглова Ксения
Факультет социальных наук, департамент социологии, 4 курс
Высшая школа экономики, Москва, 2015
www.hse.ru
Что такое пилотаж?
Пилотаж – это самостоятельное небольшое
исследование, основной целью которого является
апробация концептуальной схемы исследования,
фот
инструментария, достижимости объекта исследования
о
и способов коммуникации с ним.
Пилотироваться может любая часть исследования.
фот
о
фот
о
Высшая школа экономики, Москва, 2015
Для чего это нужно изучать?
1. Нужно определить, что такое пилотаж, провести
сравнительный анализ российской и зарубежной
литературы, выделить типы пилотажа и техники
его
фот
осуществления.
о
2. Важно понять, как смешанные методы
(качественных и количественных) могут быть
использованы в ходе пилотажа, как их применение
может улучшить качество исследования. фот
о
3. Необходимо выяснить специфику проведения
пилотажа в рамках исследования с применением
смешанных методов. (Можно ли проводить пилотаж
того, как методы работаю в комбинации?) фот
о
Высшая школа экономики, Москва, 2015
Возможная теоретическая рамка
Герменевтика, герменевтический круг (Хайдеггер)
Для понимания текста, нужно предварительное
понимание, набрасывание смысла. Пониманиефот
смысла
происходит
благодаря
постоянному
пересмотру
о
смысла, осуществлению «набросков» смысла.
Можно интерпретировать пилотирование как попытку
фот
достичь истинное знание, путем «набрасывание»
о
смыслов, путем проб. Без осуществления «набросков»
смысла нельзя получить качественные данные.
фот
о
Высшая школа экономики, Москва, 2015
Два типа пилотажного исследования
Пилотаж
Мини-исследование
как подготовка к
основному
исследования
Высшая школа экономики, Москва, 2015
фот
о
фот
Исследованиео внутри
исследования –
тестирование
конкретной части
фот
исследования
о
Качественные и количественные методики пилотажа
Качественные методики:
1.Интервью о вопросах (понимание формулировок, сложность
анкеты для заполнения, проверка правильности
операционализации, отвечают на те вопросы которые фот
о
спрашивались?)
a) интервью с экспертом
b) интервью с разного типа респондентами (образованные
и необразованные, разного возраста, пола и т.д.)
2.Наблюдение за самостоятельным заполнением. (Легко
фотли
заполнять? Выстроены ли вопросы логично? Есть ли лишние
о
вопросы или недостающие?)
+ Можно попросить респондента проговаривать вслух то,
что он делает-думает.
фот
о
Высшая школа экономики, Москва, 2015
Качественные и количественные методики пилотажа
Количественные методики:
1.Анкета в анкете:
a)вопросы о том, насколько понятны, сложны вопросы
фот
(можно располагать шкалы рядом с наиболее о
интересующими вопросами)
b)Вопросы об анкете в целом: ощущения при
заполнении, насколько трудно-легко (оценить по
фот
шкале).
о
фот
о
Высшая школа экономики, Москва, 2015
В.А. Ядов
«Генеральный "пилотаж" — продолжение пробы, но теперь уже
не отдельной методики или инструмента, а всей процедуры
сбора первичных данных: методик, способов
фот
протоколирования и сведения данных в кодировальные
листы,
о на
инструкций по сбору данных, организации полевых работ
объектах и, наконец, качества выборки. Это "разведка боем",
основная цель которой — проверка на надежность всех
звеньев полевой процедуры. Важная функция пилотажа —
установить прямой контакт с ответственными лицами на
объекте
фот
исследования, обеспечить их сотрудничество в дальнейшей
о
работе. Вместе с тем проверяется пригодность всех звеньев
собственной организации, особенно уровень подготовки
участников исследования, их тренированность, понимание
обязанностей».
фот
о
Высшая школа экономики, Москва, 2015
И.Ф. Девятко
«Пилотажные исследования, интервьюирование «фокусных»
групп могут оказаться полезными в отборе индикаторов и
исключении лишних вопросов. Они также важны для оценки
фот
надежности и валидности показателей».
о
При использовании индикаторов использовавшихся в ранних
исследованиях, проверьте, насколько хорошо они «работают».
фот
о
фот
о
Высшая школа экономики, Москва, 2015
Мангейм Дж. Б., Рич Р. К.
1. При проведении нового исследовательского проекта социологи и
политологи должны вооружиться пилотажным исследованием.
2. Пилотажное исследование – это и есть осуществление
широкомасштабного проекта, только в миниатюрном виде.
фот Оно
составляется на основе логического осмысления всей
о
проблемы будущего исследования, приблизительного
расположения вопросов с точки зрения их очевидной
целесообразности. В ходе пилотажа проверяются все
процедуры, весь инструментарий исследования, фот
выбраковываются неудачные вопросы, вносятся коррективы
на
о
отдельных этапах исследования.
«К проведению предварительного тестирования надо относиться как к покупке
страховки, без которой вы можете в какой-то момент оказаться перед
фот
целой горой очень дорогостоящей, но негодной информации»
о
Высшая школа экономики, Москва, 2015
Г.Б. Виллис
Когнитивные интервью
1.Это метод, который позволяет оценить, как респонденты
воспринимают информацию, обрабатывают ее в своей голове и
фот
реагируют на нее. Важно понять как респонденты оценивают
о
вопросы, как они выбирают ответ.
2.КИ включает в себя техники «think-aloud» - проговаривание
мыслей вслух и «verbal probing» – «проба»: дополнительные
вопросы о вопросах, проверка понимания текста, терминов.
Verbal probing – может подготавливаться заранее, для тестирования
фот
наиболее «опасных» моментов в анкете, либо спонтанно
о
осуществляться в процессе интервью при обнаружении трудностей у
респондента.
3.Полученные в ходе интервью материалы: записки
интервьюера, диктофонные записи анализируется с помощью
фот
кодирования и интерпретации
о
Высшая школа экономики, Москва, 2015
С.А. Белановский
Глубокое интервью при разработке социологических анкет
1.Пилотаж анкет социологами часто проводится неэффективно –
проводится пробный опрос, но глубокого понимания проблем
опросника не достигается.
фот
2.Хорошее тестирование опросника должно состоять из 3-5 пилотажей:
о
пилотаж выборки (доступность респондентов, реалистичность
выбранного метода поиска респондентов), пилотаж процедуры
опроса (время и место опроса, длительность заполнения анкеты) и др.
3. Наиболее приемлемый метод пилотажа – заполнение опросника и
фот
«рассуждение вслух»
о
4.При проведении разного типа пилотажей – чем ниже формализация,
тем меньше выборка.
5.«Выборки для пилотажей должны составляться по типу квотных,
чтобы при опросе были учтены различия в ролевых позициях и, по
возможности, в типах личности респондентов»
фот
о
Высшая школа экономики, Москва, 2015
Формулировка вопросов
С. Садмен, Н.Брэдберн
Проблема постановки правильной формулировки вопроса: wording,
wording of question – незначительное изменение формулировок
приводит к разным ответам.
фот
Н. Шварц, Д. Ойзерман
о
Для того, чтобы избежать неверного понимания можно проводить
пилотажные когнитивные тесты на небольших выборках. Можно
проводить интервью с карточками, например спрашивать, как тот
или иной изображенный человек ответил бы на вопрос – помогает
понять нет ли искажений в смысле вопроса. Так сначала фот
выбирается
о
лучшая формулировка, а далее при следующем пилотаже
тестируется не искажается ли смысл выбранного вопроса в
контексте всей анкеты.
фот
о
Высшая школа экономики, Москва, 2015
Л. Я. Аверьянов
1. Цели пилотажного исследования: проверка основных гипотез программы,
выявление отдельных характеристик объекта с целью определения
наиболее устойчивых для их дальнейшей углубленной разработки,
выяснение действенности методики в целом или ее отдельных частей,
фот
предварительная проверка достоверности результатов опроса
и т.д.
о
2. Численность опрашиваемых не превышает 50-100 человек. Этого
количества достаточно, чтобы решить задачи, стоящие перед пилотажным
исследованием
3. Пилотажный опрос проводится на другом "поле", близком по своим
характеристикам к основному
фот
4. Анкету лучше представить в виде формализованного интервью,
о
5. после которого интервьюеры записывают небольшие отчеты.
6. После устранения недочетов и недоработок, выявленных в результате
первого пилотажного исследования, требуется повторный пилотажный
опрос, чтобы выяснить как работает скорректированная методика. Если
инструментарий очень сложен и требует большой точности (например,
при
фот
прогнозном исследовании), надо провести и третье пилотажное
о
исследование .
Высшая школа экономики, Москва, 2015
Дальнейшие действия
1. Пока что был осуществлен подбор литературы, всю информацию нужно
систематизировать
2. Выработать общую логику статьи, понять какую информацию убрать, а
фот
какую следует добавить
о
3. Найти примеры пилотажных исследований
4. Лучше развить теоретическую (философскую) рамку, возможно найти еще
какое-нибудь обоснование
фот
о
фот
о
Высшая школа экономики, Москва, 2015
101000, Россия, Москва, Мясницкая ул., д. 9/11
Тел.: (495) 621-7983, факс: (495) 628-7931
www.hse.ru