На этом фоне все улучшающегося качества веб-сервисов особенно «отличаются» онлайн анкеты, причем отличие это отнюдь не в положительную сторону. Анкеты в основной своей массе, по-прежнему остались на экране респондента такими, какими были несколько лет назад: громоздкими и не всегда качественно сверстанными. В особенности это касается «табличных вопросов», столь часто используемых маркетологами. Таблицы, которые приходится заполнять респондентам, часто не помещаются на экран, а то и на несколько экранов. Даже «материально замотивированным респондентам» выдержать такое непросто, что становится причиной роста доли «начатых, но не законченных анкет», аномально быстрого прохождения таблиц и т.д. Но так ли обязательны эти «табличные формы», да и вообще – скупость изобразительных средств, «серьезность» онлайн анкеты? Если на бумаге табличную форму подачи информации заменить чем-либо трудно, то в онлайн среде на помощь могут прийти современные интерактивные элементы, основанные на flash-технологии. Однако с началом их использования могут появиться и новые проблемы. Как повлияют интерактивные элементы на качество данных? Проведенное нами исследование позволяет ответить на некоторые возникающие здесь вопросы.

Главной цельюисследования была проверка гипотезы о позитивном воздействии интерактивного инструментария на качество данных онлайн опроса. Мы выделили несколько элементов макета онлайн анкеты, влияющих на ее восприятие (см. Табл. 1)

Таблица 1. Факторы, влияющие на восприятие анкеты

Под качеством данных мы понимали параметры, указываемые обычно в стандартных классификациях источников систематических ошибок, за исключением ошибки выборки, которая не является в данном случае анализируемым фактором (см. Табл. 2).

Таблица 2. Виды ошибок, допускаемых респондентами при заполнении анкеты

Наиболее комплексный параметр из перечисленных выше – это удовлетворенность пользователя. Она прямо связана с остальными двумя критериями, а иногда и является существенной причиной их низкого уровня. Так, слишком длинный или монотонный опрос может привести к простому «пролистыванию» вопросов и заполнению их случайным образом. Мы полагаем, что достаточно одного подобного негативного опыта, чтобы в дальнейшем респондент был склонен вести себя схожим образом.

В опросе принимали участие 432 жителя городов-миллионников в возрасте от 16 до 44 лет. При планировании исследования мы стремились получить оценку качества данных, полученных с использованием интерактивного инструментария и без него. Кроме того, важно было проводить экспериментальный опрос в «условиях, максимально близких к боевым», т.е. использовать не индивидуально запрограммированные в единственном экземпляре анкеты, а обычные, «взятые с конвейера». Работа с прямым программированием анкет не позволила бы обоснованно оценить трудоемкость создания опроса. Никакие преимущества в качестве данных или удовлетворенности респондентов не могли бы рассматриваться как значимые для улучшения схемы онлайн опросов, если бы они привели к отказу от их базовых преимуществ онлайн опросов – скорости проведения и низких цен.

В итоге, мы решили сравнить два вида анкет:

- стандартная, написанная на html, т.е. соответствующая «бумажному» аналогу;

- «flash опросник», позволяющий легко интегрировать любые графические и мультимедийные интерактивные элементы.

Первая модель (html) была реализована на одной из наиболее популярных в мире систем для онлайн опросов - Net-MR от компании GMI. Вторая — на собственной платформе для Flash опросов, которая была разработана автором статьи. Отметим, что система, разработанная нами, прошла к моменту тестирования более десятка коммерческих запусков для проведения маркетинговых исследований.

Кроме интерактивных элементов мы исследовали влияние присутствия в анкете логотипов и других изображений на качество данных. Дело в том, что в обычных оффлайн опросах изображения и логотипы принято использовать либо в виде отдельных карточек, либо в анкете, когда сами изображения являются частью инструментария или тестируемым объектом. Мы предполагаем, что присутствие изображений в веб-среде является «нормой», а потому их восприятие может быть иным в сравнении с бумажным вариантом.

Таким образом, в исследовании проводилось сравнение данных, полученных от четырех анкет, оформленных различным образом. Общая выборка была случайно разбита на четыре части с соблюдением равного представительства респондентов по полу и возрасту внутри групп. Респонденты из каждой группы (подвыборки) участвовали в опросе, выполненном по одной из следующих схем:

1. html без логотипов;

2. html с логотипами;

3. Flash без логотипов;

4. Flash с логотипами.

Качество данных и степень удовлетворенности респондентов, заполнивших анкеты, мы оценивали по следующим параметрам:

1.    Время заполнения анкеты в целом;

2.    Время заполнения контрольных вопросов (как открытых, так и закрытых);

3.   Успешность преодоления «ловушек» на внимательность чтения анкеты.

4. Число символов в открытых вопросах;

5. Количество выбранных вариантов ответов в вопросах с множественным выбором;

6. Прямые оценки удовлетворенности респондентов различными элементами анкеты, в т.ч.:

а   Графическим оформлением анкеты;

b.   Темой опроса;

c.    Длиной анкеты;

d.   Опросом в целом.

Полученные нами данные свидетельствуют о том, что использование интерактивных элементов в сочетании с логотипами и изображениями уменьшает среднее время заполнение анкеты (рис. 1). При этом, чем больше интерактивных элементов, тем меньше время заполнения, несмотря на то, что страницы с flash-элементами и изображениями (логотипами) загружаются, в среднем, несколько дольше.

Влияние формы представления вопроса на качество данных мы проверяли, используя пять табличных вопросов: четыре из них были «классические», т.е. с возможностью выбора одного ответа в строке; еще один — с возможностью выбора нескольких ответов по каждому из объектов.

В html анкетах все таблицы были выполнены в традиционном виде, повторяющем «бумажный». Во Flash анкетах эти же вопросы задавались с использованием «перетаскивания» (drag-and-drop) элементов ответа или клика на них. Такая схема позволила нам сравнивать результаты одних и тех же по содержанию вопросов, но заданных в разной форме.

Как показали результаты дисперсионного анализа полученных в ходе эксперимента данных (см. Табл. 3), добавление интерактивных элементов в табличные вопросы с одним ответом в строке приводит к значимому снижению времени на ответ (F_4,425 = 3,022; p = 0,018).

При этом, повышение скорости заполнения анкеты не снижает концентрацию внимания респондентов. Этот вывод мы сделали, проанализировав результаты ответов на «вопросы-ловушки». Они были сформулированы так:

По результатам сравнения всех четырех подвыборок по тесту Краскела — Уоллиса значимых различий выявлено не было (р = 0,136).

Таблицы с множественным выбором – это, пожалуй, наиболее сложный для восприятия элемент. Могут ли логотипы и интерактивные элементы облегчить жизнь респонденту? Наши исследования показывают, что да, могут, но есть важные детали.

Как видно из Таблицы 4, появление логотипов существенно снижает время заполнения анкеты. Однако появление в анкете Flash-элементов не только не приводит к повышению скорости, но и уменьшает число ответов, которые дает респондент (напомним, в данном случае, их может быть несколько). Означает ли последнее ухудшение качества данных? На наш взгляд, не означает.

Панелисты, регулярно участвующие в опросах, постепенно приобретают опыт. Именно он и позволяет им быстро заполнять довольно объемные анкеты. В данном случае, они столкнулись с новой для себя моделью (оцениваемые бренды располагались в столбцах, а не строчках, как обычно). Здесь нельзя просто «пройтись по всем строкам», а необходимо выбирать и «перетаскивать» подходящие характеристики к некоторым брендам. То есть, заполнение анкеты требовало от респондентов большего, чем обычно внимания, а, значит, и качество получаемых данных, скорее всего, выше.  

Для оценки уровня удовлетворенности респондентов мы использовали два открытых вопроса: один практически в самом начале, другой — в конце. Характерно, что ответы на первый вопрос не различались ни по длине среднего ответа (число символов), ни по времени, затрачиваемом на ответ. На расположенный в конце анкеты второй вопрос люди отвечали иначе. Во Flash опросах средняя длина ответов респондентов, по сравнению с html, увеличилась на 12-15%. Добавление изображений и логотипов также приводило к росту количества символов в ответе в среднем еще примерно на 5%.

С учетом того, что во всех четырех опросах присутствовал индикатор прохождения опроса и респонденты знали, что данный вопрос — заключительный, подобные результаты могут рассматриваться как один из способов оценки удовлетворенности от участия в опросе.

Респондентам задавались и прямые вопросы, касающиеся их впечатления от опроса. В духе проводимого эксперимента, они были заданы как в традиционной табличной форме, так и в виде интерактивного слайдера (число вариантов ответов в обоих случаях было одинаковым). Как следует из Рис. 2 интерактивность анкеты людям понравилась, а вот наличие логотипов мало повлияло на их оценки.

Полученные результаты в целом согласуются с нашими предположениями о повышении качества данных за счет использования в анкете интерактивных элементов. Их появление, как правило, приводило к значимому снижению времени заполнения анкеты. Более того, снижение времени происходило без потери качества по анализируемым критериям, а оценки удовлетворенности опросом оказались во Flash варианте значительно выше. Не столь однозначными оказались выводы по воздействию изображений и логотипов: здесь основной итог заключается в том, что это воздействие существует, и оно может проявляться как в положительную, так и в отрицательную с точки зрения качества данных сторону.

Полученные итоги отнюдь не означают, что все онлайн опросы должны быть переведены на Flash. Тем не менее, при относительно длинной анкете, использовании громоздких и сложных для респондента вопросов продуманное включение интерактивных элементов может способствовать повышению качества данных.

Автор: Сергей Некрасов, начальник отдела разработки новых продуктов.Online Market Intelligence (OMI)