Отчет по выполнению сравнительного анализа результатов

Отчет по выполнению сравнительного анализа
результатов зрительского и экспертного опроса по
оценке деятельности театров и концертных
организаций, подведомственных Комитету по
культуре Санкт-Петербурга
ООО «Ти Ай Джи»
Санкт-Петербург 2013
Отчет по проведению сравнительного анализа зрительского и экспертного рейтинга учреждений культуры
1. Идея
В 2013 году по заказу Комитета по культуре Санкт-Петербурга был проведён
ряд исследований по мониторингу удовлетворенности горожан услугами учреждений
культуры и определению их рейтинга. Среди этих исследований пилотная апробация
системы мониторинга, опрос экспертов и зрителей. Каждое исследование позволяло
получить определённый слой информации на срезе отношения горожан к театрам,
музеям, библиотекам, концертным учреждениям.
Идея состояла в соединении оценок от 2-х категорий респондентов. Во-первых,
получение дифференцированной комплексной оценки качества работы учреждений
культуры с точки зрения тех, кто является основным потребителем этих услуг –
зрителей. Причём, опрашиваемых в период их присутствия в каждом из оцениваемых
учреждений культуры в антракте или по завершении мероприятия. Анкета была
лишена необходимости оценивания самого спектакля или игры актёров, поскольку эти
категории очень субъективны и индивидуальны. Во-вторых, получение оценки
качества работы учреждений культуры от экспертов, способных адекватно и
беспристрастно оценить учреждения культуры по самым сложным критериям.
Мнения и оценки экспертов добавили профессиональный слой данных. В данном
документе проводится сравнительный анализ основных исследований по этой
тематике.
2. Цели и задачи.
Определить:
 выявленные тенденции и отличия в оценке услуг учреждений культуры
зрительской и экспертной выборками;
 оценочные шкалы, данные по которым имеют наибольшее и наименьшее
совпадение по обеим выборкам;
 перечень учреждений культуры, в отношении которых рейтинговые
значения по обеим выборкам имеют положительную корреляцию;
 значение выявленных закономерностей для определения рейтинга
учреждений культуры в последующем;
3. Технические данные.
.
Более половины горожан в пилотной апробации системы мониторинга
удовлетворенности
горожан
услугами,
оказываемыми
государственными
учреждениями культуры, сообщили, что рейтинг театров существует. Речь шла о
рейтинге не публичном, а существующем неофициально, в сознании каждого
поклонника театра. Но, конечно, этот рейтинг различен у зрителей разных социальных
групп и возрастов. Необходимо было получить наиболее объективный рейтинг и для
этого были разработаны анкеты по оценке учреждений культуры Санкт-Петербурга
для простых зрителей и профессиональных экспертов.
Для первых анкета была проще и состояла из 10-и шкал, для вторых сложнее - из
15-и шкал. Часть шкал были идентичны, часть – имели отличия.
Первым было проведено исследование зрителей, было опрошено 1085
респондентов в 34 учреждениях культуры Санкт-Петербурга. Затем был проведен
экспертный опрос 10-и профессионалов в области сценического искусства,
театрального менеджмента, журналистов, преподавателей специализированных
учебных заведений, актеров и представителей законодательной власти.
2
Отчет по проведению сравнительного анализа зрительского и экспертного рейтинга учреждений культуры
4. Основные данные.
Эксперты оценивали учреждения культуры по 4-м категориям критериев,
зрители – по 3-м категориям. То есть, три катеогории шкал совпадают в анкетах
зрителей и экспертов. Оценим, насколько схожи значения между ними математически.
Таблица № 1. Корреляция по шкалам между оценками зрителей и экспертов
0.18
0.16
0.14
0.12
0.10
0.08
0.06
0.04
0.02
0.00
Физические параметры
-0.02
Зрительориентированные
параметры
Творческие параметры
-0.04
Зрители и эксперты очень схоже оценили только физические параметры.
Корреляция между творческими параметрами ниже значений достоверности. Самая
низкая связь между параметрами зрительориентированности. Первый вывод, у
экспертов и зрителей практически противоположные оценки по качеству тех действий
театров и концертных учреждений, которые ориентированы на привлечение и
удобство получения услуг зрителями. Изначально казалось, что самыми сложными для
оценки будут творческие параметры. Справедливости ради стоит отметить, что
творческие параметры у экспертов иные, чем у зрителей. Эксперты уже не являются
обычными зрителями. Основные и сопутствующие услуги они видят не просто поразному, многие неотъемлемые для зрителя элементы вообще исключены из поля
зрения
профессионалов.
Поэтому,
более
важные
параметры
зрительориентированности (комфортность общения с персоналом, ценовая политика,
удобство навигации по зданию) потенциально могут оценить только зрители.
3
Отчет по проведению сравнительного анализа зрительского и экспертного рейтинга учреждений культуры
4.1. Сравнение зрительского и экспертного рейтингов.
Посмотрим, насколько схожи итоговые оценки (рейтинг) у зрителей и
экспертов. На графике видно очень значительное различие экспертного и
зрительского рейтинга учреждений культуры.
Таблица № 2. Коридор колебаний между значениями экспертного и зрительского
рейтингов учреждений культуры Санкт-Петербурга
9.0
8.0
7.0
6.0
5.0
4.0
3.0
Зрительский
2.0
Симфонический оркестр «Классика»
Центр совр. искусства им. Сергея Курехина
Русский концертный оркестр
Академический русский оркестр им. В. В. Андреева
Губернаторский оркестр
Академический симфонический оркестр
БКЗ Октябрьский
Филармония джазовой музыки
Петербург-концерт
Мастерская Козлова
Академическая капелла Санкт-Петербурга
Небольшой драматический театр
Театр эстрады им.А.Райкина
Балет на льду Санкт-Петербурга
Театр «Буфф»
Театр «Суббота
Приют комедианта
Балтийский дом
Молодежный театр на Фонтанке
Театр имени В. Ф. Комиссаржевской
Театр имени Ленсовета
Детский ледовый театр
Театр комедии имени Н.П. Акимова
Кукольный театр сказки
Детский драм театр «На Неве»
Театр марионеток им. Е. С. Деммени
Большой театр кукол
ТЮЗ
Детский театр "Зазеркалье"
Театр «Мюзик-Холл»
Театр балета Бориса Эйфмана
Театр балета имени Леонида Якобсона
Театр Санкт-Петербург Опера
Михайловский театр
Театр музыкальной комедии
1.0
Филармония Санкт-Петербурга для детей…
Экспертный
2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36
Пять
глубоких и несколько менее катастрофичных каньонов «вырытых»
экспертами указывают на минорных участников исследования. У зрителей «рельеф
творческой местности» любительски более ровный и статичный. Часто овраги
зрительских оценок соответствуют пикам экспертов. Зрители и эксперты словно
находятся в разных измерениях, выставляя часто почти противоположные баллы
одним и тем же учреждениям.
В целом, совпадение или хотя бы сближение оценок является здесь скорее
исключением, чем правилом. Тем не менее, большая часть маленького коридора
колебаний принадлежит тем учреждениям, которые стали лидерами экспертного
рейтинга. Так, 7 из 9 учреждений в списке, имеющих наименьшее значение дельты
1
4
Отчет по проведению сравнительного анализа зрительского и экспертного рейтинга учреждений культуры
различий экспертного и зрительского рейтинга, находятся в первой десятке по общему
экспертному рейтингу.
Это может означать, что зрительские оценки имеют более высокую
объективность при оценке только определённых учреждений культуры. С одной
стороны, это может означать, что достойный уровень учреждений и мероприятий
объектов исследования стимулирует более рациональное отношение зрителей к
исследованию и оценке конкретных показателей.
С другой стороны, эти учреждения могли «воспитать» среди своих лояльных
завсегдатаев адекватных зрителей, обладающих художественным вкусом и более
зрелым восприятием творческой реальности.
Большой коридор колебаний аутсайдеров экспертного рейтинга объясняется
общими завышенными оценками зрительского рейтинга.
Таблица 3. Учреждения культуры с наименьшей дельтой значений
экспертного и зрительского
рейтингов учреждений культуры
СанктПетербурга
1. Санкт-Петербургское государственное бюджетное учреждение культуры
«Государственная академическая капелла Санкт-Петербурга»
2. Санкт-Петербургское государственное бюджетное учреждение культуры
3.
4.
5.
6.
7.
8.
9.
«Государственная филармония Санкт-Петербурга для детей и юношества»
Санкт-Петербургское государственное бюджетное учреждение культуры
«Государственный драматический театр «Приют комедианта»
Санкт-Петербургское государственное бюджетное учреждение культуры
«Санкт-Петербургская филармония джазовой музыки»
Санкт-Петербургское государственное автономное учреждение культуры
«Санкт-Петербургский государственный театр «Мастерская»
Санкт-Петербургское государственное бюджетное учреждение культуры
«Санкт-Петербургский Молодежный театр на Фонтанке»
Санкт-Петербургское государственное бюджетное учреждение культуры
«Театр-фестиваль «Балтийский дом»
Санкт-Петербургское государственное бюджетное учреждение культуры
«Санкт-Петербургский академический театр имени Ленсовета»
Санкт-Петербургское государственное бюджетное учреждение культуры
«Санкт-Петербургский Большой театр кукол»
В таблице перечислены учреждения культуры, имеющие значение дельту
экспертного и зрительского рейтингов менее 1,0. То есть, это те учреждения, оценки
которых у экспертов и зрителей схожи.
Таблица 4. Учреждения культуры с наибольшей дельтой значений
экспертного и зрительского
рейтингов учреждений культуры
СанктПетербурга
1. Санкт-Петербургское государственное бюджетное учреждение культуры
«Санкт-Петербургский государственный детский драматический театр «На Неве»
2. Санкт-Петербургское государственное бюджетное учреждение культуры «Петербург-концерт»
3. Санкт-Петербургское государственное бюджетное учреждение культуры
«Губернаторский оркестр Санкт-Петербурга»
4. Санкт-Петербургское государственное бюджетное учреждение культуры
«Санкт-Петербургский театр «Суббота»
5. Санкт-Петербургское государственное автономное учреждение культуры
«Театр «Мюзик-Холл»
6. Санкт-Петербургское государственное бюджетное учреждение культуры
5
Отчет по проведению сравнительного анализа зрительского и экспертного рейтинга учреждений культуры
«Санкт-Петербургский государственный симфонический оркестр «Классика»
Санкт-Петербургское
государственное бюджетное учреждение культуры
7.
«Государственный Русский концертный оркестр Санкт-Петербурга»
8. Санкт-Петербургское государственное бюджетное учреждение культуры
«Санкт-Петербургский государственный академический симфонический оркестр»
9. Санкт-Петербургское государственное бюджетное учреждение культуры
«Академический театр комедии имени Н. П. Акимова»
В таблице перечислены учреждений культуры, имеющие значение дельты
экспертного и зрительского рейтингов более 3,0.
Зрители, в отличие от экспертов, видят в опросе и необходимости оценивать
работу театров или концертных учреждений некое критическое событие, результаты
которого могут оказать негативное влияние на будущее этих учреждений. Не
посвященные в реальную жизнь «за кулисами», простые зрители не могут оценить
причинно-следственные
связи
формальных
и
неформальных
факторов
жизнедеятельности театров и концертных заведений. По сути, им мешает хорошее
отношение к миру сценического творчества.
4.2. Причины специфичности зрительского рейтинга.
Можно констатировать, что использовать полученный в текущем
исследовании зрительский рейтинг, как систему адекватной дифференцированной
оценки учреждений культуры, нельзя. Почему так получилось - разберём по пунктам.
В проекте работала целая команда интервьюеров. Опрос в каждом учреждении
культуры проходил за 2 или даже 3 посещения. Это делалось для того, чтобы получить
данные зрителей различных мероприятий. При выборе респондентов во время
антракта или по окончании спектакля использовались различные социологические
методики для получения репрезентативной выборки. Проблема оказалась не в
технологических вопросах.
Дело в том, что есть некий феномен, назовём его «безусловный культурный
позитивизм». Он знаком нам по другим опросам в этой сфере. Смысл его состоит в том,
что даже если респондент не очень близок к определенной группе учреждений, он
стремится при
любом исследование выбрать те варианты ответов, которые
соответствуют мнению лояльного этой группе лица. Например, при опросе об
отношении к библиотекам даже те горожане, которые не посещали и не планируют
посещать эти учреждения культуры, в подавляющем большинстве отметили, что
библиотеки однозначно необходимы в настоящем и будущем. Большинство горожан в
Санкт-Петербурге к театрам, музеям и концертным учреждениям относятся более, чем
положительно. Причём, как в примере с библиотеками, даже те, кто туда заглядывает
редко.
В разговоре интервьюеров при работе с анкетами, некоторые зрители
высказывали опасение, что опрос проводится с целью выявить невостребованные у
зрителя театры и концертные залы, чтобы в дальнейшем закрыть их. Например, так
было в театре «Балтийский дом», в Смольном соборе и других учреждениях.
Кроме того, мы знаем по предыдущим исследованиям, что горожане посещают
учреждения, которые в большинстве случаев выбирали довольно тщательно. Они
просто не могут поставить низкую оценку театру, в который пришли по своему
выбору. Возможно, подсознательно они ставят эту оценку своему выбору. Скорее всего,
поэтому положительная корреляция между оценками зрителей и экспертов отмечена
только по физическим параметрам. Зрители все-таки догадываются, что
некачественный звук или закуски в буфете, отражённые в анкетах, не послужат
причиной негативных решений, а могут помочь театру решить эти проблемы
6
Отчет по проведению сравнительного анализа зрительского и экспертного рейтинга учреждений культуры
второстепенного уровня. Потому многие писали в примечаниях анкеты пожелания,
больше касающиеся не творческих факторов работы, а материально-технических или
информационных (некомфортная температура в зале; проблемы с креслами, буфетом,
гардеробом, холлом; недостаток рекламной информации).
Важное различие в системе координат зрителей и экспертов. Каждый зритель
имеет, как оказалось, свой мир театров, стабильный и редко меняющийся. Даже
театралы посещают ограниченное число учреждений. Соответственно этому списку
зритель и может оценивать конкретное учреждение и мероприятие. Вытащив руку из
горячей воды, тёплая покажется холодной.
Еще один фактор, попадая в «цель», зрители имеют «кредит» позитивного
отношения. В отчёте по экспертному опросу было определено, что наиболее
позитивная стратегия поведения для зрителя - быть терпеливым, доверять театру,
ждать, когда замысел проявится, в связи с закономерностью отсроченного осознания
смысла и эффекта спектакля. Поэтому, это самое позитивное отношение помогает
зрителю выдержать сложные этапы постановки, но приукрашивает попытки оценить
мероприятие и само учреждение.
Помимо всех указанных факторов есть еще одно важное обстоятельство,
зрители часто воспринимают визит в театр, как праздник. Спектакль заставляет их
задуматься, улучшает настроение, даёт позитивный душевный заряд. Театр, с точки
зрения зрителя, простое учреждение, дарящее сложный комплекс эмоций. Человеку не
просто разобраться даже в своих полученных эмоциях, а уж понять их связь с
номенклатурой учреждения культуры и подавно.
7
Отчет по проведению сравнительного анализа зрительского и экспертного рейтинга учреждений культуры
9
Средний
балл
Зрительориентированные
Творческие
Информационное
обеспечение (зрители)
8
Информационное
обеспечение (эксперты)2
7
Репертуар: жанры,
разнообразие, календарь
(зрители)
6
Сбалансированность
репертуара по жанрам
(эксперты)
5
Удобство сопутствующих
услуг (зрители)
4
Удобство сопутствующих
услуг (эксперты)
3
Оснащение сцены
(зрители)
2
Оснащение сцены
(эксперты)1
1
Общая комфортность
зрительного зала
(зрители)
0
Общая комфортность
зрительного зала
(эксперты)
Параметры
Физические
Таблица 5. Сравнение распределения оценок аналогичных шкал по экспертному и
зрительскому опросу
0,0%
0,1%
0,0%
0,0%
0,0%
0,1%
2,3%
0,1%
0,7%
0,4%
0,5%
0,4%
0,9%
0,0%
0,0%
0,4%
0,5%
0,2%
1,8%
0,0%
0,5%
0,7%
0,2%
0,3%
0,9%
1,1%
2,3%
0,1%
3,0%
0,6%
2,3%
1,7%
2,1%
1,5%
3,7%
2,6%
8,3%
0,6%
5,5%
1,1%
6,5%
2,3%
3,9%
1,9%
6,0%
2,5%
8,3%
1,7%
7.4%
1,5%
13,8%
6,8%
9,9%
5,0%
13,4%
7,6%
9,7%
3,7%
13,1%
4,0%
13,8%
8,4%
18,7%
7,1%
20,3%
9,7%
16,6%
5,3%
16,6%
5,4%
22,1%
16,4%
19,8%
15,5%
16,1%
18,6%
18,0%
15,8%
21,2%
14,7%
17,1%
21,1%
15,4%
23,2%
17,5%
21,0%
24,0%
21,8%
23,5%
26,1%
6,9%
41,9%
4,8%
45,6%
5,5%
36,1%
6,9%
50,0%
6,7%
45,7%
6,5
7,6
6,5
7,8
6,3
7,4
6,1
8,0
6,2
7,9
В этой таблице приведено распределение оценок аналогичных шкал
экспертного и зрительского опросов. Голубым тоном выделены экспертные оценки.
Около половины зрителей поставили максимальную оценку 9 баллов по всем из
данных шкал. Это практически однозначно говорит о высокой субъективности
В экспертном опросе этот параметр оценивался по 2-м факторам - звуковое и световое оснащение. В таблице
приведены средние значения для корректного сравнения со зрительской единой шкалой.
2
В экспертном опросе этот параметр оценивался по 2-м факторам - информационное обеспечение в Интернете
и в самом учреждении. В таблице приведены средние значения для корректного сравнения со зрительской
единой шкалой.
1
8
Отчет по проведению сравнительного анализа зрительского и экспертного рейтинга учреждений культуры
зрительских оценок. Респонденты - непрофессионалы в культурной отрасли почти подетски поставили «пятёрки» своим учреждениям, формализуя идею исследования.
В среднем на 1,42 единицы балл зрителей выше оценки экспертов по этим
шкалам.
По всем оцениваемым учреждениям общий средний балл зрителей составил
7,83 единицы. У экспертов это значение на 1,63 единицы ниже и составляет 6,20
единиц.
По всем оцениваемым учреждениям культуры разброс зрительских оценок в
целом составил всего 1,60 единиц. Минимальное значение 6,90. Максимальное
значение
8,50. Разброс экспертных оценок в целом составил 4,51 единицы.
Минимальное значение 3,13. Максимальное значение 7,64. Более наглядно это
распределение видно на диаграмме.
Таблица № 6. Диапазон оценок рейтинга зрителей и экспертов.
9
8
7
6
5
4
3
2
1
0
Зрители
Эксперты
4.3. Дополнительные данные – опрос интервьюеров.
Учитывая сложность и неординарность проекта, был проведен опрос
интервьюеров, ведущих опрос зрителей в учреждениях культуры.
По их информации зрители очень тепло отнеслись к опросу, доля
отказывающихся лиц была значительно ниже, чем при уличных опросах. Это очень
помогало выполнить задачи проекта, так как временные ресурсы для контакта со
зрителем были очень ограничены, в некоторых спектаклях не было антракта.
Интервьюерам часто приходилось более тщательно информировать
респондентов о задачах опроса, отсекая попытки «сделать как лучше». Много
информации зрители пытались донести на словах – в основном сопереживая
учреждению в его проблемах, позитивно критикуя не вполне удобные сопутствующие
заведения или физические факторы зрительного зала. Как указала одна из сотрудниц:
«Зрители в большинстве случаев с большим желанием заполняли анкеты, надеясь на
помощь любимому театру в том или ином материальном оснащении»
На удивление интервьюерам нередко бросалось в глаза несоответствие труппы
залу и зала — труппе. Зачастую, труппы, которые выступали на чужих площадках,
выглядели достойнее, чем «родные». Здесь также респонденты часто сетовали на
необходимость выделения коллективу площадки для выступления. Один из ярких
9
Отчет по проведению сравнительного анализа зрительского и экспертного рейтинга учреждений культуры
примеров, «Театр–студия небольшой драматический театр» представляла спектакль
«Преступление и наказание»
на сцене Театра «Балтийский дом». В зале
присутствовали сразу несколько классов старшеклассников. Казалось, что постановка
вряд ли затронет столь далекую в массе от сценических ценностей аудиторию. Тем не
менее, труппе удалось буквально до слёз растрогать зрителей, долго не отпускавших
актёров с чужой сцены.
Одно из главных потрясений, помимо открытия новых для себя удивительных
мест, это формальное восприятие сотрудниками учреждений культуры возможности
посещения заведений лицами с ограниченными возможностями. Зачастую, вопрос
даже не в оборудовании и наличии специалистов, умеющим им пользоваться (а с этим
тоже есть проблемы). Приход инвалидов в театр и другие учреждения сегодня –
прецедент. По сути, в массе этот вид услуги для лиц с ограниченными возможностями
очень ограничен.
По общей неформальной информации от интервьюеров, персонал учреждений
культуры по большей части лоялен к зрителям и компетентен в основных вопросах
работы (проблемы возникают при неординарных ситуациях). Вероятнее всего,
компетентность персонала базируется на отборе подходящих по психологическим
характеристикам людей, любящих театр и всё, что с ним связано, а не специальными
методами его подготовки.
4.4. Перспективы зрительской и экспертной систем оценки.







Использовать экспертный опрос в последующих исследованиях возможно.
Необходимо провести модификацию оценочной анкеты экспертов и зрителей
и определять задачи каждого исследования в зависимости от актуальных
задач в отрасли.
Модель опроса зрителей необходимо серьёзно изменить. Один из вариантов опрос в небольшом числе учреждений. Другой вариант – опрос горожан, вне
учреждений культуры, с учётом посещаемых ими учреждений. Кроме того,
перспективной является Интернет среда.
Фокус-группы зрителей могут позволить получать актуальную информацию
по значимым вопросам взаимоотношения театров и зрителей.
Студенты (в том числе, студенты театральных ВУЗов) могут выступить в
роли фокус-групп или «тайных посетителей».
Опрашивать зрителей лучше по качественным, а не оценочным критериям.
Комплиментарность в экспертном опросе может обеспечить опрос
сотрудников театров – менеджеров, художественных руководителей.
5. Общие выводы
Экспертный опрос в сфере культуры и оценки деятельности учреждений
культуры даёт значительно больший количественно и качественно объём данных,
задаёт вектор понимания проблематики отрасли и направление поиска путей
оптимизации.
Респонденты горожане дают больше полезной информации, когда речь идёт о
вопросах, затрагивающих модель отношения (выбора мероприятий, приверженности к
типу учреждения, распределения досуга) к сфере культурного досуга в целом, чем
отношения к конкретному учреждению культуры. Горожанам легче ответить на
вопрос о своих глубинных эмоциональных реакциях, возникающих при просмотре
10
Отчет по проведению сравнительного анализа зрительского и экспертного рейтинга учреждений культуры
спектакля или концерта, чем объективно оценить качество оказываемых учреждением
культуры услуг. Эмоциональная составляющая всех эффектов посещения учреждения
культуры для зрителя настолько значительна, что усилия «холодного интеллекта» не
способны эффективно декомпозировать царство Мельпомены по шкалам и баллам.
Надо учитывать, что сегодняшний зритель чаще пользователь инфокоммуникационного пространства, чем посетитель театров или концертных
учреждений. Там он хочет найти необходимую для выбора мероприятия информацию.
Там же он привык оценивать что-либо, ставя пресловутый «лайк». Можно двигаться к
получению мнений зрителей и в Интернет сфере.
Возможно создать своё информационное пространство, отражающее ситуацию
в учреждениях культуры. Основным потребителем творческого продукта является
зритель и включать его в
исследования в сфере культуры необходимо.
Технологически можно сделать специальную выборку зрителей–экспертов.
Профессиональное экспертное и театральное сообщество дадут две другие вершины
этого «треугольника». Изучать сферу культуры можно, но делать это нужно творчески!
Генеральный директор ООО «Ти Ай Джи»
11
Сазонов В.В.