Существует множество параметров, помогающих определить, позволяет ли новый источник рекрутинга респондентов получить качественные результаты. Чтобы провести такой анализ, мы отобрали па-нелистов i-Say в возрасте от 18 до 34 лет, которые были рекрутированы в панель из различных онлайн источников с большим числом пользователей в то же самое время, что и респонденты Peanut Labs. Всего было выделено 25 различных источников рекрутинга, которые стали предметом последующего анализа.

В первую очередь следует понять, отвечают ли респонденты базовому критерию — активное участие в панели. Этот критерий требует, чтобы панелисты приняли участие хотя бы в одном исследовании в течение определенного периода времени. По сравнению с участниками из других 25 источников респонденты из панели Peanut Labs имели почти такой же уровень активности; по данному показателю Peanut Labs расположился ровно посередине среди других источников. Респонденты Peanut Labs имели не больше и не меньше шансов быть удаленными из панели по причине неучастия в исследованиях.

Принимая во внимание все более возрастающую важность качества данных, гораздо важнее, чтобы все источники были оценены по ряду качественных показателей. Первое, что делает Ipsos, когда оценивает новый источник выборки, — это проводит анализ ответов предварительного отборочного исследования с помощью программы оценки качества данных Ipsos Panel Integrity 4 (iPi4). Эта программа оценивает каждое отборочное исследование на предмет выявления недобросовестных ответов (ответов по прямой линии, противоречий, других подозрительных действий респондентов). По сравнению с другими источниками выборки мужчин и женщин в возрасте 18-34 лет, которые отвечают минимальным стандартам качества, Peanut Labs ничем не отличался от других и располагался ровно посередине ряда уже зарекомендовавших себя источников.

Разрешив панелисту присоединиться к панели, программа оценки качества данных iPi4 также отслеживает торопливое заполнение анкет на протяжении всех исследований, в которых респондент принимает участие. Например, панелист, который потратил на участие в трех исследованиях менее трех минут на каждое, будет обнаружен и тут же удален из панели. И снова панелисты Peanut Labs ничем не отличались от респондентов из других источников, которые отвечали минимальным стандартам качества и стали участниками панели.

Последним показателем качества, который мы рассматривали, была процедура ipiLive — процедура, которую Ipsos использует непосредственно в ходе опроса для измерения качества данных каждого конкретного исследования. Панелисты, которые не прошли оценку с помощью ipiLive 3 раза и более, удаляются из панели i-Say. Как и ранее, процент панелистов Peanut Labs, которые были удалены из панели в результате данной процедуры, не отличался от показателей других анализируемых источников выборки молодых людей. Панелисты Peanut Labs по данному показателю располагались ровно посередине.

Заключительный показатель анализа качества нового источника из числа основополагающих — это удовлетворенность респондентов. В конце каждого исследования i-Say предлагает 4 вопроса для оценки удовлетворенности участием в исследовании. Вопросы касаются продолжительности исследования, степени интереса для участника, важности исследования и того, почерпнул ли участник что-то новое для себя. Прежде всего данные вопросы предназначены для оценки качества исследования, однако они также позволяют понять, насколько участники исследования из того или иного источника оказались довольным им. Иными словами, насколько высоки их ожидания от исследований i-Say. И опять панелисты Peanut Labs расположились посередине и заняли 14-ю позицию из 25 сравниваемых источников. Это означает, что несмотря на то, что респонденты Peanut Labs пришли из среды социальных сетей, для которых характерны максимальное использование возможностей Web 2.0 и высокая степень взаимодействия между участниками, они высоко оценили свой опыт участия в исследованиях.

Все полученные в ходе наших исследований показатели качества и рейтинги важны для получения всесторонней картины сравнения па-нелистов Peanut Labs с панелистами из других источников. Однако существует еще один очень важный показатель: существуют ли отличия в ответах панелистов Peanut Labs и панелистов других источников рекрутинга. Даже если их показатели качества их ответов примерно одинаковы, совершенно различные по направленности ответы были бы серьезной проблемой. Должны быть определенные сходства в трендах, рейтингах и бизнес-выводах по результатам исследований, чтобы гарантировать, что новые источники выборки оценены надлежащим образом.

С другой стороны, важно понимать, что новые источники выборки могут давать совершенно иные, но тем не менее достоверные результаты. Мы должны стремиться обеспечить представленность всего населения с помощью процедур выборки, а не отдельных сегментов, которые могут отражать состояние Интернета в тот или иной момент времени. Как показывает ниже круговая диаграмма Венна, существует множество источников для набора новых панелистов. Различия в результатах дают возможность набора более широкого круга панелистов, а значит, позволяют принять участие в исследовании новым группам людей, которые могли бытьне охвачены с помощью более традиционных источников рекрутирования панелистов.

Первое исследование касалось пользования электроникой — той сферы, где можно предположить наличие существенных различий между панелистами, использующими и не использующими новые возможности Интернета. Применялись стандартные процедуры формирования выборки, однако в выборке Peanut Labs по сравнению с выборками из других источников оказалась существенно более высокая доля мужчин в возрасте 18-24 лет. Сам по себе этот результат неудивительный, за исключением того, что это крайне сложная для рекру-тинга группа, которую легко может предоставить Peanut Labs.

Были получены ответы более 450 респондентов из панели Peanut Labs и других более традиционных источников выборки. Чтобы гарантировать, что различия в ответах являются результатом истинных отличий во мнениях респондентов, а не обусловлены различиями демографических характеристик панелистов из различных источников, выборки были перевзвешены по переменным возраста, пола, дохода, образования, размера семьи и региона проживания.

На рисунке 2 показаны ответы на три вопроса о покупательских намерениях (один и два наивысших ответа по оценочной шкале — топ 1 и топ 2). Очевидно, что ответы панелистов Peanut Labs похожи на ответы панелистов, рекрутированных из традиционных источников. Высоким показателям для одного источника соответствуют высокие показатели для другого источника Конечно, результаты не идентичны. Учитывая размеры выборок и интервал ошибки выборки в 2,3%, некоторые различия статистически значимы. Но, несмотря на эти отличия, ранговый порядок показателей примерно одинаков; единственное отличие между выборками — в рангах для второго и третьего показателей.

Второе исследование касалось замороженных десертов и включало 300 интервью с панелистами Peanut Labs и более 2000 интервью панелистов из других источников. В этом случае не было оснований ожидать, что ответы панелистов из социальной сети будут отличаться от ответов панелистов из традиционных источников. Просто не было причин подозревать, что любители определенного типа мороженого соберутся в одной социальной сети.

Для начала данные были перевзвешены по различным демографическим показателям, чтобы гарантировать, что различия в ответах вызваны реальными различиями во мнениях, а не социально-демографическими различиями участников исследования. На рисунке 3 приведены ответы на вопросы данного исследования (наивысшие ответы согласия, топ-ответы). Здесь представлен широкий ряд вопросов, начиная с употребления продукта и цены и заканчивая доверием и предпочтениями.

Вполне предсказуемо, что ответы панелистов Peanut Labs похожи на ответы других панелистов. Ни по одному вопросу результаты не отличаются больше чем на 5%, в среднем разница составляет всего лишь 2%. Ранжировки показателей также достаточно схожи, что является косвенным показателем сходства результатов. Только по одному показателю расхождения в пунктах превысили три ранга, в то время как по остальным показателям различия были от 0 до 2 пунктов.

Третье исследование было посвящено спортивным событиям, и здесь сравнивались 500 интервью панелистов Peanut Labs и 400 интервью с другими панелистами. И опять среди рекрутированных Peanut Labs респондентов оказалось больше труднодостижимых респондентов, в первую очередь молодых мужчин. Результаты данного исследования также подтверждают ранее сделанный вывод об отсутствии различий в ответах респондентов двух подвыборок. В данном случае вопросы касались интереса к различным видам спорта, согласия с высказываниями о характеристиках различных видов спорта. Те показатели, которые высоко оценивались респондентами из традиционных источников выборки панелистов, также получали высокую оценку и у панелистов Peanut Labs. Тем не менее по одному из показателей различия составили 10%, но по остальным различия не превышали 6%. За исключением этого одного случая, наибольшие отличия между ранжировками показателей у респондентов Peanut Labs и респондентов из других источников составляли 1 пункт. То есть если у панелистов Peanut Labs показатель имел ранг 4, то для респондентов из других источников он мог быть 3, 4 или 5.

Рисунок 2. Ответы на вопросы исследования о спорте

Данные результаты показывают, что ответы респондентов социальной сети Peanut Labs не отличаются существенным образом от данных, собранных на базе других источников. Небольшие различия вполне предсказуемы. В действительности исследователи хорошо знают, что различия в результатах будут даже при использовании одного и того же источника в разные периоды времени.

Статья была опубликована в сбрнике "Онлайн исследования в России 2.0".