За последние два-три года онлайн-исследования в России продемонстрировали значимый рост. И это несмотря на регулярно звучащие реплики об их нерепрезентативности. Но это не врожденный порок методики, а скорее ограничение, про которое нужно помнить, но которое вовсе не ставит крест на онлайн-опросах. К тому же, число маркетинговых задач, для решения которых не требуется репрезентативная в классическом понимании этого слова выборка, весьма велико. Рост сегмента онлайн-опросов это наглядно демонстрирует.

Таблица 1. Этапы исследования

Деньги vs идея

Источник: Tiburon Research, 5327 интервью

Однако вполне можно предположить, что респонденты водят исследователей за нос, говорят не то, что думают, чтобы «выглядеть красиво». Популярность ответа «Чтобы высказать мнение, что-то изменить» действительно может быть обусловлена его социальной желательностью. Чтобы проверить эту гипотезу мы посмотрели на то, как указанные факторы взаимодействуют между собой и какие группы образуют.

Для этого мы сегментировали панелистов по причинам участия в опросе. Были выделены пять устойчивых, хорошо дифференцируемых сегментов:

1.    «Небезразличные»;

2.    «Азартные»;

3.    «Убивающие время»;

4.    «Любопытные»;

5.    «Профи».

Вот их краткая характеристика (в скобках указана доля каждого сегмента, в сумме – 100%):

Небезразличные (24%). Считают, что опросы – нужное дело (их доля в данном сегменте - 71%), ценят возможность высказывать свое мнение (69%) и узнавать из опросов что-то новое (55%). Стараются давать максимально точные ответы (97%), любят открытые вопросы за возможность точно выразить свои мысли (50%). Добросовестны.

Азартные (20%). Важна и материальная сторона (деньги – 80%, призы – 26%), и возможность высказать мнение, что-то изменить (66%). Они фанаты опросов, часто являются членами нескольких панелей. Не склонны к недобросовестному поведению, т.к. действительно готовы делиться своим мнением за вознаграждение.

Убивающие время (16%). Самая невовлеченная группа панелистов. Участвуют, т.к. «ничего сложного, а деньги капают» (56%), в перерывах между делами, чтобы отвлечься (54%). Менее других склонны делиться действительно личной информацией, не готовы прилагать существенные усилия, добросовестны до тех пор, пока «это их не напрягает».

Любопытные (31%). Любопытство – основной мотив участия: узнать, про что спрашивают на этот раз (66%), что будет в конце опроса (42%), узнать что-то новое (37%). Чувствительны к интересности темы, часто торопятся при заполнении анкеты, если тема им не очень интересна (18%) или лукавят, чтобы пройти отбор (скрининг) и посмотреть, «что внутри» (8%). На пути к добросовестности препятствием является не столько корысть, сколько природное любопытство.

Профи (10%). Участвуют во всех опросах без разбора (97%), деньги, безусловно, важны (44%), члены нескольких панелей одновременно (21%), стремятся во чтобы то ни стало закончить начатую анкету (97%), раздражаются, если не подходят по критериям отбора (стадия скрининга). При этом тематика опросов важна для них, так что в случае совпадения интересов шанс получить адекватные ответы достаточно высок (60%). Вероятность недобросовестного поведения - высокая.

Источник: Tiburon Research

Если теперь изобразить полученные сегменты в виде матрицы, на осях которой находятся качество данных и вовлеченность панелистов в опрос, то получим следующее (см. Диаграмму 2):

Диаграмма 2. Качество и вовлеченность

Источник: Tiburon Research

Среди полученных сегментов есть только один однозначно нежелательный сегмент – это «Профи». Входящие в него люди в силу чрезмерной вовлеченности и объективно низкого качества заполненных анкет представляют реальную угрозу исследовательскому продукту. Причем, несмотря на то, что другим сегментам в той или иной (хотя и в гораздо меньшей) степени тоже может быть присуще недобросовестное поведение, их нельзя считать нежелательными. Панель должна отражать реальный мир, а реальный мир состоит не только из «Небезразличных» людей.

Результаты исследования, характеризующие сегменты панели в разрезе влияющих на качество параметров, приведены в Таблице 2:

Таблица 2. 

Источник: Tiburon Research

А вот как участники панели InternetOpros.ru, входящие в разные сегменты, оценивают анкету только что законченного опроса:

Кратко рекомендации по работе с описанными сегментами можно свести в следующую таблицу:

Небезразличные, 24%	Азартные, 20%	Убивающие время, 16%	Любопытные, 31%	Профи, 10%
Качество:     Очень высокое	Качество: Высокое	Качество: Зависит от сложности и интересности опроса	Качество: Зависит от сложности и интересности опроса	Качество данных: Низкое
Факторы риска: Плохая анкета, плохой перевод, небрежное оформление, другие признаки неуважения	Факторы риска: Принадлежность к нескольким панелям в мультипанельных проектах	Факторы риска: Сложные / скучные анкеты, личные вопросы, плохой перевод	Факторы риска: Очевидный скрининг, занудные анкеты	Факторы риска: Отсутствие средств объективного контроля качества данных
Что делать: Поддерживать вовлеченность (нематериальные стимулы)	Что делать: Поддерживать вовлеченность (материальные и нематериальные стимулы), бороться с множественными регистрациями	Что делать: Usable анкеты, возможность прерваться по ходу заполнения и продолжить позже	Что делать: Usable анкеты, развлекать, отказаться от очевидных отборочных вопросов – сложный скрининг, контроль времени заполнения	Что делать: Бороться: множественные регистрации, контроль времени заполнения, проверочные вопросы

Выводы

Доля участников панели, представляющих опасность для качества данных, мала – это сегмент «Профи», составляющий лишь 10%, что соответствует стандартной величине рекомендуемого запаса выборки. К тому же с этими людьми можно эффективно бороться техническими средствами (отслеживание множественных регистраций, контрольные вопросы, система штрафов), удерживая долю профессиональных респондентов на низком уровне.

С остальными сегментами, вполне можно эффективно работать. Не все они, конечно, идеальны, но на наш взгляд, это отражает реальную действительность, которую мы и пытаемся измерить. Панель, состоящая только из «Небезразличных» участников, выглядела бы подозрительно, если бы даже и могла существовать.

Комплексная (денежная и неденежная) мотивация, так же как и удобные, понятные и красивые анкеты жизненно необходимы для поддержания качества панели на высоком уровне.

Автор приносит искреннюю благодарность компании Validata за помощь в проведении фокус-группы.