Пилотаж анкеты (предварительное тестирование)

Проведение пилотажа важно потому, что помогает выявить и исправить огрехи языка, структуры, формата и организации анкеты. Невозможно сразу составить хорошую анкету. Если перед началом широкого использования анкеты не устранить её недостатки, это существенно скажется на качестве собираемой информации. Пилотаж – очень важный этап процесса составления анкет, однако им часто пренебрегают в целях экономии времени и денег.

В процессе пилотажного исследования анкету апробируют на небольшой группе респондентов из 15 – 50 человек. Респонденты должны быть похожи на тех, которые будут опрашиваться в фактическом исследовании с выделением крайних значений параметров: полярных уровней образования, мужчин и женщин, других особенностей, существенных для представительной выборки.

Пилотаж проводится методом личного или телефонного интервью независимо от того, каким способом в действительности будет проводиться исследование. Интервьюер должен убедиться, что люди действительно помнят сведения, которые у них спрашивают, что вопросы не кажутся им затруднительными. Интервью должны проводить лучшие специалисты. Руководитель проекта, исследователь, разработавший анкету и ключевые сотрудники должны также провести ряд опросов. Это поможет определить возможные проблемные места и характер ожидаемых данных.

Тестирование в форме личного интервью может выполняться либо методом завершающего собеседования, либо методом протокола. При заключительном собеседовании респонденту предлагают сначала заполнить анкету, а затем ответить на вопросы интервьюера, о чем он думал, когда отвечал на каждый вопрос; не возникло ли каких-либо проблем с пониманием; не получилось ли так, что некоторые аспекты предмета исследования остались незатронутыми.

Если используется метод протокола, респондента по мере заполнения просят «думать вслух». Интервьюер записывает эти мысли и в конце процедуры тестирования просит респондента более подробно рассказать о возникших проблемах, если это необходимо. Этот метод больше подходит для телефонного интервью. Респонденты дают более частые и подробные комментарии по телефону, поскольку у них отсутствуют невербальные средства коммуникации.

В углубленном пилотаже предусматриваются вопросы о понимании вопросов анкеты (интервью об интервью); экспериментальные варианты формулировок одного и того же вопроса (в одной части опытного тиража даны одни, в другой иные варианты ответов, вводной части). Кроме того, проводящие пробу ведут наблюдение за поведением респондентов и их реакцией на вопросы, записывают и анализируют их комментарии.

После проведения пилотажного испытания составляется краткий отчет, в котором излагаются проблемы, которые возникли при использовании анкеты и способы их устранения. При составлении отчета рекомендуется придерживаться следующей схемы.

- Проблемы с проведением анкетирования. Анкетирование заняло столько времени, сколько предполагалось? Если анкетирование заняло больше времени, то каким образом можно её сократить, не жертвуя при этом важными вопросами?

- Проблемы, связанные с пониманием вопросов анкеты. Есть ли в анкете слишком трудные для респондента вопросы? Эта трудность объясняется степенью сложности содержащейся в них информации? Или же вопрос слишком длинный? Не являются ли некоторые вопросы двусмысленными? Как можно переформулировать вопросы, чтобы получить полную и недвусмысленную информацию?

- Проблемы, связанные с нарушением требований, предъявляемых к составлению вопросов. Употреблялись ли в анкете технические термины без пояснения? Как можно их объяснить? Были случаи, когда широко употребляемые слова использовались в необычном контексте? Как прояснить их смысл? Встречались ли вопросы, в которых запрашивалась сложная информация? («Как бы исчислили процент важности для вас фактора цены при покупке тех или иных марок шампуня?») Встречались ли вопросы, запрашивающие информацию, которая вряд ли может быть известна («Сколько километров вы проехали на своей машине в прошлом году?») Как переформулировать такие вопросы, чтобы получить необходимую информацию?

- Проблемы связанные с вариантами ответов. Имеются ли вопросы, на которые наиболее частым ответом было «Не знаю» или «Нет ответа»? были ли вопросы, в которых ответ «Другое» собирал значительный процент ответов? Содержит ли анкета шкалы, которые не обеспечивают требуемую степень различения? (Например шкала «да – не знаю – нет». Встречались ли вопросы, содержащие шкалы с чрезмерной различающей способностью? (Например: «С помощью шкалы от 1 до 100 ощените…»). Как устранить эти проблемы при корректировке анкеты?

- Проблемы связанные с организацией анкеты и следованием вопросов. Заполнение анкеты проходит так успешно как планировалось? Насколько хорошо продуманы переходы и сформулированы инструкции для респондента (интервьюера)? Следует ли внести коррективы в текст переходов и формулировку инструкций? Нет ли в начале анкеты наводящих вопросов, которые влияют на ход её заполнения?

Редактирование анкеты включает корректировку анкеты для устранения проблем, возникших во время предварительного тестирования. Если пересмотр анкеты был существенным, следует провести ещё одно предварительное тестирование с использованием другой выборки респондентов. Предварительное тестирование проводится до тех пор, пока не исчезнет необходимость дальнейших изменений.

Контрольные вопросы

1. Дайте несколько определений анкеты.

2. Как метод опроса влияет на процесс разработки анкет?

3. Чем отличается почтовая анкета от анкеты для телефонного опроса?

4. В чем преимущества и недостатки структурированных анкет?

5. В чем преимущества и недостатки неструктурированных анкет?

6. В чем кроются причины нежелания респондентов отвечать на вопрос?

7. Перечислите существующие рекомендации по определению содержания и формулировке вопросов анкеты.

8. Приведите примеры многозначных и размытых по значению слов, которые нельзя использовать в анкетах.

9. Какие вопросы называют провокационными? Почему их нельзя использовать в анкетах?

10. Как проверить применим ли вопрос ко всем респондентам?

11. Существует ли определенный отрезок времени, которым можно ограничиваться при постановке вопросов в анкете?

12. Какова рекомендуемая длина вопросов в анкете?

13. Какими могут быть типы вопросов по формату?

14. Что такое «ошибка расположения» в многовариантных вопросах? Как с не «бороться»?

15. Достоинства и недостатки дихотомических вопросов.

16. Зачем совместно используют открытые и закрытые вопросы?

17. В чем суть воронкообразного размещения вопросов в анкете?

18. В чем суть секционного размещения вопросов в анкете?

19. Какие еще правила размещения вопросов в анкете существуют?

20. В чем суть техники успокаивающих заявлений?

21. Что такое «двойные вопросы» и почему их не должно быть в анкете?

22. Зачем нужны в анкете вопросы о классификационной информации?

23. Каковы требования к формулировке и размещению в анкете вопросов о классификационной информации?

24. При оформлении анкеты, каким кеглем набирают вопросы и варианты ответов?

25. Какие требования существуют к оформлению инструкций для респондентов и интервьюеров?

26. Перечислите существующие рекомендации к внешнему виду анкеты.

27. Каковы цели проведения предварительного тестирования анкет?

28. С помощью каких методов проводится пилотаж анкеты?

29. В чем суть тестирования анкеты методом завершающего собеседования?

30. В чем суть тестирования анкеты методом протокола?

31. Чем углубленный пилотаж отличается от обычного?

32. Какой схемы придерживаются при составлении отчета о пилотаже?

33. Перечислите этапы алгоритма разработки анкеты.

ГЛАВА 7. ВЫБОРКА

Если хочешь попробовать морской воды,

не обязательно выпивать море

7.1. Понятие и план выборки

Цель большинства маркетинговых исследований – получить информацию о параметрах генеральной (изучаемой, целевой) совокупности. Генеральная совокупность – это полное множество элементов с точки зрения решения проблемы маркетингового исследования. Параметры генеральной совокупности – это количественные соотношения, например, доля потребителей, предпочитающих определенный вид шоколада; доля семей планирующих в текущем году приобрести микроволновые печи; средний возраст парка микроволновых печей и т.п. Информацию о параметрах генеральной совокупности можно получить после проведения сплошного наблюдения (переписи) или выборки.

Сплошное исследование – сбор сведений обо всех единицах генеральной совокупности. Сплошное исследование нереально, если генеральная совокупность достаточно велика. В основном исследования носят выборочный характер из-за ограниченности времени и стоимости. Термин «выборка» подразумевает отбор опрашиваемых по определенной статистической методике.

Выборка – это отобранная для исследования группа респондентов, идентичная всему исследуемому множеству. На основании исследования некоторой части целевой группы можно сделать вывод о поведении, мнении, отношении всей целевой группы. Свойство выборки отражать характеристики изучаемой совокупности называется репрезентативностью (от французского represetatif – представляющий). Любое единичное наблюдение распространяется на более широкую сферу наблюдений, и проблема репрезентации заключается в том, чтобы установить степень соответствия между параметрами обследованной совокупности и реальными характеристиками объекта. Выборочная процедура предназначена как раз для того, чтобы реконструировать реальный объект исследования и генеральную совокупность из отдельных моментных наблюдений. В основании выборочной процедуры всегда лежит предположение о том, что экстраполяция наблюдений существенно не изменит полученный результат.

Надежность выборочных данных на практике оценивается посредством «апостериорного» контроля.[29]

Процесс формирования выборки состоит из пяти взаимосвязанных этапов (рис. 14) и начинается с определения генеральной совокупности.

Генеральная (изучаемая, целевая) совокупность – это совокупность всех элементов или объектов, обладающих информацией, которую нужно получить в ходе исследования, и о которой нужно сделать заключение. Если генеральная совокупность определена неточно, то исследование может послужить основой для неправильных выводов. Чтобы определить генеральную совокупность следует формулировку проблемы маркетингового исследования трансформировать в четкое определение того, кого необходимо изучать.

Рис. 14. Процесс формирования выборки

Проблема несколько усложняется, если разобраться в том, что имеется в виду под объектом исследования. Изучив достаточно многочисленную совокупность людей, исследователь приходит к выводу, что переменная «марка нравиться – марке не нравиться» положительно коррелирует с возрастом: в частности, старшему поколению марка скорее не нравиться, чем нравиться. Но обследованный объект – выборочная совокупность – не существует в реальности как таковой. Он сконструирован процедурой отбора респондентов и проведения интервью, а затем сразу же исчезает, растворяется в массиве. Действительно, выборочная совокупность, с которой непосредственно снимаются данные, порождается процедурой, но в то же время она растворена в большой совокупности, которую представляет или репрезентирует с разной степенью точности и надежности. Маркетинговые заключения относятся не к обследованным на прошлой неделе респондентам, а к идеализированным объектам: «старшим поколениям», «молодежи», тем, кому «марка нравится» или «марка не нравится». Речь идет о категориальных обобщениях, не ограниченных пространственно-временными обстоятельствами. В этом отношении выборочная процедура помогает освободиться от наблюдений и перейти в мир идей.

Таким образом, у нас есть возможность провести разграничение объекта исследования и генеральной совокупности: объект – не просто совокупность единиц, а понятие, в соответствии с которым осуществляется идентификация и отбор единиц исследования. Теоретически объект исследования, должен соответствовать объему генеральной совокупности. Однако такое соответствие достигается крайне редко.

Объект исследования – это совокупность доступных исследователю единиц. Задача состоит в том, чтобы установить группы, являющиеся недоступными либо труднодоступными для сбора данных. Обследовать объект, обозначаемый как «потребители марки», практически невозможно. Среди потребителей марки немало людей, которые в силу возраста не могут самостоятельно ответить на вопросы (дети), которые находятся в больницах, долгосрочных загранкомандировках, в следственных изоляторах и иных труднодоступных для интервьюера местах. Эту группу придется «вычесть» из исследуемого объекта. Похожие проблемы сопровождают обследование читателей, избирателей, жителей малых городов, посетителей театров.

Перечисленные затруднения – лишь малая часть тех, с которыми сталкивается маркетолог на стадии проектирования выборки. Специалист должен предвидеть эти затруднения и не строить иллюзий по поводу полной реализации проектируемого объекта. Итак, объект исследования не совпадает с генеральной совокупностью.

Несомненно, генеральная совокупность – это та совокупность, из которой производится выборка единиц. Однако так только кажется. Выборка производится из той совокупности, из которой производится фактический отбор респондентов. Назовем ее реальной. Реальный изучаемый объект – та совокупность, которая сформировалась на стадии полевого исследования с учетом ограничений в доступности первичной маркетинговой информации.

Изучаемую совокупность нужно определить с точки зрения элементов, единиц наблюдения, территории и времени. Элемент – объект, который обладает информацией (в маркетинговых исследованиях в качестве объектов, как правила, выступают потребители, семьи, магазины); единица выборки – элемент, который подлежит отбору для участия в исследовании; территория – географические границы исследования; время – временные границы исследования.

Определение генеральной совокупности может оказаться непростым: например, исследуются намерения и отношения потребителей к культивируемым грибам и продукции из них. Кого включать в изучаемую совокупность? Всех жителей? Мужчин или женщин? Людей, которые покупали культивируемые грибы в последний месяц, три? Людей в каком возрасте? Определение генеральной совокупности требует ответа на все эти вопросы.

Основа выборки (контур выборки) – это список элементов генеральной совокупности. Примерами основы выборки могут служить телефонные справочники, перечни компаний, занятых в данной отрасли, списки адресатов, городская адресная книга или карта. В этих списках пропущены некоторые элементы (не все имеют телефон), поэтому их использование приведет к ошибке формирования выборки, которую нужно устранить. Иногда различие между генеральной совокупностью и основой выборки невелико и им можно пренебречь.

Выбор метода проведения выборки. Исследователю необходимо сделать выбор между повторной и бесповторной выборкой, а также вероятностным и детерминированным подходом к отбору.

При повторной выборке выбирают элемент из основы выборки, получают от него информацию и затем возвращают его в основу выборки; элемент можно неоднократно включать в выборку. При бесповторной выборке элемент, от которого получена информация, удаляется из основы выборки и не может использоваться вновь. Расчет статистических данных при использовании этих методов немного отличается, но статистические выводы похожи, если основа выборки намного больше объема выборки. Следовательно, различия важно учитывать только тогда, когда основа выборки не на много больше объема выборки.

Наиболее важное решение связано с выбором между вероятностными и детерминированными выборками. Рассмотрим их характеристики в следующем подразделе.