Прямо в холле

Статья опубликована в журнале «Индустрия рекламы» № 3’ 2003
 ИД «Медиадом»
Александр Ефремов
Прямо в холле
Некоторые маркетологи относят холл-тесты к качественным исследованиям.
Другие говорят, что это что-то среднее между исследованиями количественными и
качественными (что-то среднее между самолетом и подводной лодкой, что не
может ни летать, ни плавать). Мы же решили придерживаться собственной
классификации (см. «ИР» № 18’ 2002), благо специалисты ведущих исследовательских
компаний нас в этом вопросе поддержали.
Итак, исследования, проводимые in hall (или методом холл-теста), относятся к
количественным исследованиям, ибо полученные результаты позволяют отвечать, помимо
прочего, на вопрос «сколько?». Мы не станем отрицать, что в ходе проведения холлтестов могут использоваться некоторые методики, позаимствованные из качественных
исследований.
Дмитрий Писарский, директор компании A/R/M/I-Marketing, вообще посоветовал нам не
называть холл-тесты методом (а особенно методикой). По его мнению, это всего лишь
форма организации исследования. В общем-то, мы с ним согласны, но думаем, что форму
организации можно все же называть методом. Но давайте по порядку.
Холл – не прихожая
Скорее, это и не предбанник, не приемная и не усадьба. Это зал. В английском языке
именно такое значение слова hall является основным. В случае с маркетинговыми
исследованиями hall – это специально подготовленное помещение для проведения опроса
респондентов. Если количественное маркетинговое исследование, неважно какое,
проводится в специально оборудованном для этой цели помещении, то вот вам, бабушка,
и холл-тест. И оборудование данного помещения может быть самым разным. Для
проведения музыкальных тестов может использоваться специальный зал, оснащенный
современным акустическим и электронным оборудованием (см. «ИР» № 24’ 2002), а для
опроса покупателей магазина достаточно выпросить у директора подсобку, а то и вовсе
отгородиться от торгового зала занавесочкой.
На Западе сейчас часто применяются разборные павильончики, которые оборудуются в
торговых залах магазинов на время проведения исследований.
В общем, если вы найдете помещение, в которое можно пригласить респондентов, то
можно говорить, что вы проводите исследование in hall. Исследование, проводимое в
квартире респондента, будет называться in home. Именно такой терминологии сейчас
стараются придерживаться специалисты ведущих маркетинговых агентств. В рекламных
буклетах можно также встретить термины hall test и hall-test, обозначающие то же самое.
Все равны как на подбор
Проведение маркетингового исследования в специальном помещении не является какойто особой методикой, просто в некоторых случаях это наиболее удобно и позволяет
создать условия, необходимые для того, чтобы исследование прошло корректно. Ниже
перечислены основные причины, по которым холл-тест в некоторых случаях
предпочтительней всякого другого организационного метода:
– необходимость обеспечить равные условия для всех респондентов.
Предположим, надо провести тестирование нового аромата мужского дезодоранта, и мы с
этой целью отправляемся в поход по квартирам граждан. Первую дверь открывает
добродушная тетушка: «Ой, милочки, сейчас понюхаю, только огонек на кухне убавлю, а
то борщ убежит!». Нас окутывает крепкий капустно-свекольный аромат. Сейчас тетушка
нам нанюхает! А в другом подъезде стоит стойкий запах гуталина. Это подполковник
Степанов чистил свои хромовые сапоги. А в соседнем доме вчера тараканов морили…
В общем, исследование in home не удалось провести. Результаты оказались слишком
разнородными, чтобы сделать хоть какие-то заключения;
– необходимость демонстрации респондентам различных визуальных материалов.
Скажем, нам нужно протестировать видеоролик. Кассету с записью раздали интервьюерам
и отправили их также по квартирам добропорядочных граждан. И тут началось! У одного
респондента телевизор 29’’, у другого – 14’’, а у третьего – вообще маленький –
переносной черно-белый. У кого-то видак пленку зажевывает, причем этому видаку
неважно, что после него надо кассету еще в тридцать других видаков вставлять. А у
некоторых респондентов видео вообще отсутствует. Одна старушка прямо так и сказала:
«Люблю смотреть сериалы, особенно рекламу в них. Но вот видео этова, сыночки, у меня
нет. Пенсия-то маленькая». Провалилось, в общем, и это исследование;
– необходимость формирования определенной выборки.
Бывает, попадется клиент распальцованный: «Мы, типа, гаванскими сигарами торгуем по
90 баксов за штуку. Нам надо реальных чуваков опросить, будут они с нашими сигарами
понтоваться или они лохи последние». Хотели мы опять послать интервьюеров по
квартирам, но вовремя сообразили, что «реальных чуваков» придется слишком долго
искать таким макаром. Даже в элитных новостройках найти их трудно, поскольку дома
только их жены неработающие скучают, а чаще беби-ситтеры (это такие нянечки
навороченные) с детьми возюкаются. И решили мы организовать холл-тест в бизнесклубе.
Но в подобных случаях всегда надо помнить, что выборка может оказаться
нерепрезентативной по отношению к заданной генеральной совокупности (см. «ИР» №
18’ 2002) по целому ряду параметров, в первую очередь – по географическому
распределению наших потенциальных покупателей. Может оказаться так, что члены
элитного клуба, где мы проводили исследование, предпочитают мундштуки из
шотландского вереска, а большинство остальных состоятельных граждан города – из
балтийского янтаря;
– никакой необходимости нет, просто это удобнее, быстрее и дешевле.
Зачастую здравый смысл подсказывает, что холл-тест в каком-то конкретном случае
является наиболее правильным подходом к организации исследования. Аренда
помещения может оказаться дешевле, нежели оплата услуг десятка интервьюеров.
Организация «холла» в магазине позволит провести исследование за один день.
Проведение опроса в одном-единственном помещении, куда респонденты будут
приглашаться по очереди, позволит сэкономить на демонстрационных материалах. Ведь
может быть и так, что дизайн-студия изготовила пять вариантов новой упаковки, которые
надо протестировать. Все муляжи существуют в единственном экземпляре – разве
доверишь их интервьюеру, ходящему по квартирам?
На четырех китах
Поначалу автор, приступая к этой статье, старательно коллекционировал виды, подвиды,
разновидности и прочие отряды и группы маркетинговых исследований, которые можно
проводить in hall. Но специалисты компании Ipsos-F.Squared посоветовали ограничиться
только четырьмя главными:
– product test;
– advertising test (A-test);
– concept test;
– pack test.
Все маркетинговые исследования, которые мы относим к холл-тестам, при желании
можно уложить в один из этих четырех видов тестов: продукта, рекламы, концепции и
упаковки. Так, например, музыкальный тест – это, скорее всего, product test, поскольку
музыка – продукт радиостанции. Тяжелее определить, куда отнести тестирование
логотипа. Но в зависимости от подхода логотип будет либо самостоятельным продуктом,
либо частью упаковки, либо частью концепции.
Очень часто некоторые тесты приходится совмещать. Чаще всего к одному из тестов
добавляется тест концепции. Даже выражение существует: «Тестирование товара
(упаковки, рекламы) в рамках концепции», причем концепций, как и вариантов упаковки,
рекламы, может быть несколько. Различных комбинаций хоть отбавляй. Формирование в
ходе музыкальных тестов репертуара радиостанции тоже происходит в рамках концепции.
Если кому-то из читателей не очень понятен смысл слова «концепция», приведу такой
пример. Фирма готовится вывести на рынок новое средство для мытья посуды.
Конкурентов, особенно сильных да транснациональных, пруд пруди. И все-то они уже на
рынок вывели. Уже существуют средства, которые лучше других жир смывают (правда,
чтобы убедиться в этом их превосходстве, надо в воду лед положить). Есть средства,
которые лимоном пахнут и руки не раздражают. Есть даже такие, которые микробов
убивают. В общем, все рыночные ниши уже разобраны, и, казалось бы, протиснуться
некуда.
Но это только на первый взгляд. Если собрать фокус-группу потребителей да и
расспросить их о том, что их не устраивает в существующих моющих средствах, то
обязательно найдется какая-нибудь чистоплотная хозяйка, которая скажет, что наиболее
массово рекламирующееся средство для мытья посуды хоть и замечательно смывает жир,
но само потом с посуды не смывается: ни горячей водой, ни холодной, ни даже водой со
льдом. А некоторые другие смываются. Вот и появляется концепция моющего средства,
которое легко удаляется с посуды, не оставляя на нем пленку.
Эту концепцию можно протестировать совместно с самим продуктом. И совершенно
неважно, что на рынке уже есть средства, которые смываются с посуды так же хорошо,
как и наше. Их-то концепции совсем другие: устранение микробов, защита рук и глаз,
экономия денег, приятный запах и так далее. А самое главное – основной конкурент
действительно плохо смывается. Предложи респондентам протестировать всего лишь два
средства – и различия очевидны.
Для продвижения чудесного рецепта в народ разрабатывается рекламная кампания,
базирующаяся на уникальном торговом предложении, соответствующем концепции.
Реклама затем также тестируется в рамках существующей, признанной перспективной,
концепции «легкого смывания».
Подобные удачные маркетинговые находки – относительная редкость. Гораздо чаще нам
приходится наблюдать появление рекламных материалов далеко не с уникальными
торговыми предложениями, которые вызваны к жизни совершенно банальными серыми
концепциями.
Немного статистики
Считается, что минимальное количество респондентов, которые должны принять участие
в холл-тесте, составляет 100 человек. Если респондентов меньше, то за точность
измерений никто из ресечеров на себя ответственности не возьмет. Это, брат, статистика.
Существуют два фундаментальных статистических понятия – доверительный интервал и
доверительная вероятность (опять же, см. «ИР» № 18’ 2002). При стандартной
доверительной вероятности 95% опрос 100 респондентов дает нам возможность
обеспечить точность исследования в пределах доверительного интервала – 10%. Это
весьма невысокая точность. Она означает, что если в ходе проведенного холл-теста 59
респондентов из 100 сказали, что им больше нравится упаковка А, а оставшийся 41
респондент заявил, что Б, то мы не можем рассчитывать, что упаковка А понравится более
чем половине потребителей больше, чем упаковка Б, поскольку полученный результат
измерения находится внутри принятой нами статистической погрешности. Получается,
что тест мы провели впустую и деньги истратили зря.
Но не все потеряно. Можно опросить еще несколько десятков респондентов, и возможно,
необходимая точность будет достигнута. Можно принять волюнтаристское решение и
задним числом изменить доверительную вероятность с 95 на 90%.
К числу 100 не нужно относиться совсем уж слепо. График функции, которая называется
статистической погрешностью, имеет колоколообразную форму. Максимума функция
достигает при значении аргумента, соответствующего 50% от числа опрашиваемых
респондентов (в нашем случае – 50 человек). Если в ходе теста измеряемый параметр
совпал у 50 респондентов из 100, то это самый тяжелый случай. Тогда мы можем лишь
надеяться (с уверенностью в 95% ), что в реальности от 40 до 60% представителей
генеральной совокупности будут вести себя так же, как и наши 50 респондентов. Но вот
если параметр совпал у 90 респондентов из 100, то точность резко повышается. Это
означает, что в реальности примерно 90% потребителей из состава генеральной
совокупности поведут себя подобно нашим 90 респондентам.
При аргументе, стремящемся к 100% (или к нулю), функция стремится к нулю. И бывают
случаи, когда, не особенно даже рискуя, можно обойтись количеством респондентов,
значительно меньшим 100. Ну, например, если ваш шеф считает, что пришло время
выводить на рынок новые духи с ароматом протухшей селедки, то для того, чтобы его
переубедить, потребуется тест с участием всего нескольких респондентов. Главное –
чтобы все они единодушно заявили, что запах этих духов им не нравится. Но это шутка,
конечно.
На практике в самых крайних случаях опрашивается не менее 75 респондентов. Любой
маркетолог скажет, что меньше – это преступление перед статистикой. Ведь такие
очевидные вещи, как протухшая селедка, – большая редкость. Да и тесты в этом случае,
наверное, не обязательны.
Что в лоб, что по лбу
Предположим, что нам нужно протестировать 10 сортов пива на 100 респондентах.
Вариантов тут может быть множество. Можно заставить каждого респондента
попробовать все 10 сортов, а можно разделить респондентов на десятки и дать каждой
группе попробовать только один сорт пива. Второй вариант носит название monadic
(«одиночный») или pure monadic. Если же респонденту предстоит выбирать из нескольких
вариантов, то такая методика называется sequential monadic. Существуют еще различные
разновидности этих «монадиков». Например, proto monadic, когда респонденту сначала
дают попробовать один сорт пива, а затем предлагают сравнить его с остальными.
Любой грамотный исследователь скажет своему клиенту – заказчику теста, что при
тестировании вкуса или запаха продукта бессмысленно пытаться получить от одного
человека больше 3–4 оценок. Респондент быстро забывает свои предыдущие пробы. Он
может сказать, что из двух ароматов ему больше нравится первый или что из трех
чашечек кофе самая вкусная – вторая. Но боже вас упаси поверить, что можно выбрать из
10 сортов пива! Алкогольные же напитки вообще имеют замечательное свойство
воздействовать на вкусовые рецепторы, существенно понижая их чувствительность.
Сравнивать больше двух рюмок водки или двух бокалов вина не имеет никакого смысла.
При этом желательно разделить респондентов на две группы, в которых порядок
тестирования двух напитков будет разным.
Методика тестирования в каждом конкретном случае выбирается в зависимости от
поставленных задач и имеющегося бюджета. Если все же очень хочется сравнить наше
пиво с девятью конкурирующими марками, а проводить девять холл-тестов по 100
респондентов в каждом невозможно по финансовым соображениям, то можно прибегнуть
к методике round robin. Первая десятка респондентов будет сравнивать наше пиво с
первым и вторым конкурирующим напитком, вторая десятка – со вторым и третьим,
третья – с третьим и четвертым и т. д. Результаты будут сведены в матрицу, количество
измерений которой будет зависеть от количества сравниваемых параметров. Таким
образом можно попытаться в какой-то степени обмануть законы статистики. Но вероятнее
всего, тесты придется продолжить уже с меньшим количеством образцов – с теми сортами
пива, которые в первом тесте дали невнятные результаты в сравнении с нашим пивом.
Сдать сессию
Холл-тесты различаются еще и по методике опроса респондентов. Если мы оккупировали
кабинет директора универсама и устроили в нем помещение для холл-тестов, то, скорее
всего, мы будем приглашать туда покупателей из торгового зала поодиночке. Если нам
нужно протестировать серию рекламных роликов и у нас есть для этого специальный зал,
респонденты будут приглашаться группами. Как мы писали в позапрошлом номере, для
проведения музыкальных тестов может арендоваться даже зал кинотеатра, куда
вмещаются одновременно несколько сот респондентов. Такие групповые тесты
называются сессиями. При их проведении необходимо обеспечить условия, чтобы
наиболее активные и разговорчивые респонденты не могли оказывать влияния на своих
соседей.
Например, если во время демонстрации ролика с полуобнаженной красавицей какаянибудь старушка воскликнет: «Срамота-то какая!!», то часть респондентов может под
влиянием этого возгласа занизить свою оценку ролику, а другая часть – завысить (из
чувства протеста). Результаты теста, таким образом, окажутся искаженными.
О конкретных методиках, которые применяются в ходе холл-тестов, рассказывать в
данной публикации мы не будем. Во-первых, потому, что их очень много. Во-вторых,
каждому виду теста (продукта, концепции, рекламы или упаковки) соответствует свой
набор методик.
В качестве примера приведем лишь очень популярную методику, используемую при
тестировании упаковки, – simulated test marketing, или просто buying simulation
(«моделирование покупки»). Оборудуется муляж магазинного стеллажа (shelf display), на
котором расставляются образцы товаров, среди которых находятся и интересующие нас. К
товарам крепятся ценники. Покупателю предлагается «совершить покупку».
Этим методом можно тестировать не только варианты упаковки, но и определять
наиболее предпочтительную цену на наш товар. Методика STM позволяет также
моделировать рыночную ситуацию. Но это отдельный рассказ.
В упрощенном варианте вместо муляжа прилавка используется его фотография. Но вот
насколько это корректно в случае холл-теста…Фотографию, конечно, легче использовать
в тестах in home, не оборудовать же прилавки в каждой квартире!
Примерно вот такие фотографии показывают респондентам в ходе проведения
исследования по методике buying simulation. На фотографии может быть изображен
стеллаж магазина целиком. В условиях холл-теста можно оборудовать полноразмерный
муляж магазинного стеллажа или прилавка (shelf display) с реальными товарами, что для
покупателя гораздо нагляднее.
Демонстрировать товар без цены во многих случаях не имеет смысла, поэтому обычно
каждая позиция на фото снабжается розничной ценой. Покупателю предлагается
«совершить покупку». Исследуемый товар соседствует с товарами конкурента в той
же ценовой категории и подкатегории продукта (например, растворимый кофе обычно
не сравнивается с кофе в зернах). В качестве bench mark (базисного эталона, образца для
сравнения) обязательно используется продукция лидеров рынка.
Засады и тонкости
Опытные специалисты-маркетологи предостерегут новичка от разного рода засад,
которые подстерегают исследователя на его тернистом пути к истине. Прежде всего,
нужно помнить главное предназначение «холла» – создать всем респондентам равные
условия тестирования. В случае с тестированием кофе, например, это означает, что
исследуемый напиток должен быть разлит в одинаковые чашки, иметь одну и ту же
температуру и концентрацию. Вкусовые ощущения человека чрезвычайно сильно зависят
от того, что видят его глаза. Если налить одно и то же шампанское в красивый
хрустальный бокал и в пластиковую кружечку, респондент наверняка скажет, что в бокале
вино вкусней. Бывает, что заранее все предусмотреть не удается.
Сотрудники одной из исследовательских компаний рассказали такую историю из своего
опыта. Тестировались шоколадные батончики. Продукция заказчика была получена от
него самого, а батончики конкурентов были куплены в магазине. Результаты первых же
опытов ошеломили. Батончики клиента начали заметно проигрывать конкурентам.
Респонденты говорили, что они не такие вкусные, как другие, что они не так приятно
откусываются. Но по содержанию шоколада и прочих натуральных компонентов
батончики клиента на самом деле не уступали конкурентам, а зачастую и превосходили
их! В чем же дело?
В конце концов причина была найдена. Иногда исследователю полезно самому
попробовать тестируемый продукт. Выяснилось, что срок годности батончиков, которые
привез клиент, подходил к концу. Шоколадки несколько подсохли и стали более
жесткими. Это и повлияло на восприятие их вкуса респондентами.
Удивительное влияние оказывает на потребителя наличие на тестируемом образце
торговой марки. К сожалению, это влияние далеко не однозначно, поэтому во многих
случаях приходится проводить два тестирования, одно из которых – «вслепую». В данном
случае потребителю дают пробовать продукт без упаковки, не сообщая заранее, какому
производителю данный товар принадлежит. Это условие особенно важно соблюдать, если
необходимо сравнивать именно вкус (запах) продукта, а не весь комплекс ощущений,
которые товары вызывают у респондента.
Можно наверняка утверждать, что положительное (отрицательное) отношение
респондента к бренду будет сказываться и на его вкусовых ощущениях. Если человек
предпочитает конфеты фабрики «Красный Октябрь» и уверен, что они самые лучшие в
мире, то логотип фабрики будет оказывать на него сильное влияние в момент
тестирования. Но отгородиться от влияния бренда невозможно, да и не имеет смысла – в
реальной-то жизни покупатель видит на полках товар в упаковке.
Сто избранных
Не менее важным, чем соблюдение разного рода условий проведения холл-теста, является
корректное формирование выборки. Если мы пригласим для тестирования элитного чая
малообеспеченных пенсионеров, то, возможно, они будут восторгаться его вкусом. Но
покупать такой чай они не будут, поскольку это им не по карману. То же самое можно
сказать и про упаковку, и про цену, и про рекламу, и про концепцию. Бесполезно пытаться
объяснять человеку, который привык пить дешевую водку, концепцию вина, которое
приготовлено особым способом из винограда, собираемого только на солнечной стороне
холмов. У него несколько другие проблемы в жизни. Трудно донести до холостого
мужчины преимущества нового разрыхлителя для теста, который позволяет выпекать
восхитительные кексики. Он, возможно, вообще с трудом представляет себе, как выглядит
тесто, и ничего не слышал о разрыхлителях.
Одним словом, проведению любого исследования предшествует скрининг (см. «ИР» №
23’ 2002). О необходимости и значимости этой предварительной процедуры специалистыресечеры напоминают автору так часто, что он стал подумывать, а не посвятить ли
скринингам отдельную публикацию.