Любой заказчик, выбирая агентство, – рекламное, консалтинговое, исследовательское - всегда проявляет «здоровый скептицизм». И понять его можно: он отдает бюджет в чужие руки и не может полностью контролировать его использование. Убедить его в правильности выбора должны бы презентации, красиво оформленные агентством, с описанием того что будет сделано, и кто именно будет это делать. Но вопросы остаются – ведь пока все это не более чем слова и картинки. Особенно осторожен заказчик, когда речь идет о новых методах, к числу которых относятся и онлайн-исследования.
Главная проблема в этом случае - отсутствие собственного опыта в работе с новыми методами: неясно как выделить ключевые факторы, способные повлиять на качество работы. В помощь «новичкам» Ассоциация европейских исследователей рынка ESOMAR составила «26 вопросов в помощь заказчику онлайн-исследований». Предполагается, что сравнив ответы на них разных исполнителей, заказчик сможет выбрать из них приемлемый для себя вариант. Впрочем, часто ответы агентств на одни и те же вопросы повторяются – каждый исполнитель стремится показать себя в лучшем свете, а выдумать что-то «особенное», отличающее от других, не всегда возможно, да и не всегда нужно. В этом случае заказчики концентрируются на группах вопросов, которые считают наиболее важными для себя, стараясь разглядеть здесь даже мельчайшие различия. К их числу, прежде всего, относятся вопросы, касающиеся качества панели – ведь если, скажем, респонденты не те, за кого себя выдают, то ни продвинутый софт, ни современный менеджмент агентства не смогут обеспечить надежные результаты. Как исследователи доказывают, что их панели – «это те самые панели»? Задача кажется невыполнимой, но ресечеры находят доводы. Убедительны ли они?
Проверка личности респондента
Надежная гарантия того, что на вопросы виртуальной анкеты ответил реальный респондент, подходящий под целевую аудиторию, – мечта любого заказчика онлайн – исследования. По словам Натальи Калгиной, руководителя отдела маркетинговых исследований компании «Аквион», успешная выполнимость этой задачи всегда ставится под вопрос. «Мы пока не встречались ни с одним стоящим примером реализации проверки личности респондента. Слышали об исполнителях, которые поначалу набирали online-панель принципиально только из off-line, но вынуждены были отказаться от этого, так как таким способом очень трудно набрать достаточно большую панель, - сетует Калгина. - Поэтому это все еще актуальная задача. Если она будет реализована, то, во-первых, мы будем уверены, что опросили именно женщин 25-45 лет, а не школьников, которые зарабатывают себе на карманные расходы, а, во-вторых, вероятность утечки информации о наших планах к конкурентам будет мала. А за уверенность мы готовы платить больше».
«Видеть будущего панелиста в момент рекрутирования не обязательно, - считает Ярослав Зайцев, руководитель группы онлайн - исследований подразделения потребительских исследований “Nielsen Россия”– вполне достаточно видеть его паспорт при выплате вознаграждения. Это самый «драконовский» для респондента, но в то же время понятный для клиента способ». Процедура проста: когда респондент набирает необходимую сумму на счету и хочет получить наличные, его просят выслать фотографию или скан паспорта, и далее на имя его имя высылается обычный почтовый перевод. То есть в этом случае, панелисту нет смысла искажать, к примеру, свой возраст, ведь в этом случае он рискует остаться без денег. По словам эксперта, для одного из проектов приглашения были отправлены только тем, кто не отказался подтвердить, что информация в анкете соответствует паспортным данным. Но подобные «строгости» используются не всегда.
В компании ГФК Русь не проводят проверок с использованием документов, удостоверяющих личность респондента. «Мы применяем методологические процедуры, направленные на обеспечение качества панельных данных: защита от двойной регистрации; проверка регистрационных данных на логику заполнения; обновление личных данных панелистов два раз в год и так далее», - рассказывает Сергей Давыдов, руководитель отдела медиа-исследований ГФК - Русь . Это, конечно, прибавляет работы исследователям, но дает уверенность в адекватности получаемых данных.
В том или ином виде подобные «сита» выстраивают, пожалуй, все серьезные игроки рынка онлайн-исследований. Различия только в том, какой именно этап работы окажется для них более трудоемким: в первом описанным случае сложнее собрать панель, во втором – надо больше «ухаживать» за ней.
Однако подобные приемы вряд ли защитят ресечеров от «профессиональных респондентов», зарегистрированных в десятках панелей. Как защититься от них? И надо ли защищаться?
Профессиональные респонденты
Желание респондента получать деньги за заполнение анкеты вряд ли можно считать ненормальным, сегодня это распространенная практика при проведении самых разных видов исследований. Хуже другое: слишком часто заполняющий анкеты панелист «перекашивает» статистику, требующую случайного выбора опрашиваемых. Впрочем, это касается только опросов по схожей тематике. Александр Шашкин, генеральный директор Online Market Intelligence (OMI), утверждает, что снизить эффект «профессионализации» можно, если темы предыдущих проектов, в которых принимал участие тот или иной панелист, использовать в качестве отборочных фильтров для последующих проектов. При этом допускается не более четырех исследований в месяц для каждого респондента.
В TNS Россия также существуют жесткие правила, регламентирующие интенсивность приглашений как по частоте участия в онлайн-опросах вообще, так и по определенной тематике и по определенной товарной категории. По словам Алексея Тихановича, директора по производству TNS Россия, такого рода ограничения существенно снижают привлекательность панели для «профессионалов».
В то, какой именно будет частота участия респондента в опросах, заказчики не хотят вникать, справедливо считая этот вопрос непрофильным для себя. «Аргументированно спорить по поводу того, участие в трех или в пяти опросах за тот или иной период делает респондента профессиональным, я не могу, - говорит Василий Пономарев, директор департамента стратегического развития ОАО "Детский мир - Центр". - Требовать уникальности тоже, да и не уверен, что в этом есть особый смысл. Проверять респондентов – это дело агентств».
По мнению многих опрошенных нами экспертов, сегодня респонденты получают приглашения к опросу, в среднем, два-три раза в месяц, к тому и еще не всегда проходят скринирующую часть анкеты. Таким образом, угроза «профессиональных» респондентов невелика, если, конечно, не возникают «отягчающие обстоятельства» - деньги. Точнее, даже не сами деньги, а их количество.
Форма и объем вознаграждения респондента
Решение о том, какая сумма и в какой форме будет выплачиваться панелистам, безусловно, остается за агентством. По мнению Алексея Попова, директора по стратегическому планированию агентства социальной рекламы Zavod, для заказчика это любопытно, но не очень важно. «Достаточно, чтобы опрос не преподносился респонденту как викторина, где он должен дать «правильные» ответы и выиграть главный приз. Всё остальное не ведёт к системным смещениям ответов», - считает Попов
Исследователи более педантичны. «Наиболее интересные люди в панели – это те, кто участвуют в опросах не ради денег, а скажем из любопытства или желания помочь производителям, желания влиять на рынок и решения крупных компаний - говорит Ярослав Зайцев. - При этом, от респондентов, искажающих информацию о себе с целью заработать, как можно больше денег, помимо правильно сформулированных вопросов и вариантов ответов защищает невозможность «получить деньги по-быстрому». Кто-то устанавливает лимит, начиная с которого можно стучаться в кассу в 1000 рублей, кто-то 200 рублей – но ограничения должны быть!». Если в панели существует возможность забрать деньги сразу после опроса – то гарантированно в ней есть респонденты, которые зарабатывают деньги и врут», - предупреждает Зайцев.
При всем этом заинтересованность панелиста в вознаграждении – не есть абсолютное зло, если он не искажает данные о себе. То же относится и к факту участия респондентов в разных панелях. Доказательств того, что это влияет на адекватность ответов респондентов, нет. «Но это не означает, что у респондента есть высокий шанс принять участие в одном и том же исследовании дважды, - говорит Зайцев. - В тех случаях, когда мы используем выборки из различных панелей, обязательно используются программные методы выявления и удаления панелистов, которые пытаются пройти опрос дважды».
Кому верить?
Слушая обе стороны, заказчика и исполнителя, можно предположить, что последние способны развеять любые сомнения в надежности онлайн-исследований. Однако у заказчика остаются сомнения, хотя бы потому, что виртуальное исследование уж очень «виртуально», его нельзя ни увидеть, ни «пощупать». Исследовательская компания может отлично описать свои методики, однако как они будут применяться, можно понять только в ходе исследования. Неужели выхода нет?
«Пока многие клиенты, действительно, настороженно относятся к онлайн-исследованиям, как к методу, что требует последовательной разъяснительной работы со стороны исследовательских компаний и объединения усилий в этом направлении, - признает Алексей Тиханович. - Прежде всего, нужно объяснять границы применимости онлайн-опросов и подтверждать валидность онлайн-исследований конкретными цифрами». Такой возможностью, по мнению специалиста, могла бы стать публикация результатов исследований Research-on-Research, когда данные онлайн-опросов сравниваются с данными, полученными в ходе телефонных или квартирных интервью.
«Агентство обязано честно и открыто указывать заказчику на возможность или невозможность использования онлайн-исследований для решения его задачи, даже если это приведет к тому, что контракт будет отложен или вовсе не состоится, - утверждает Александр Шашкин из OMI. – Только в этом случае возникает доверие и к самому агентству, и к используемому им инструментарию. А это в свой черед рано или поздно приведет к тому, что заказчик вернется».
Пока идет разъяснительная работа, заказчикам приходится руководствоваться только репутацией компании-исполнителя или брать на себя часть ее функций. Василий Пономарев видит это следующим образом: «Есть два варианта. В первом случае, привлекается агентство, которое должно нести ответственность за свои действия - а это возможно только при наличии доверия к бренду этого агентства и наличия у него апробированных методик. Таких агентств на российском рынке я вижу всего два. В противном случае, постановкой исследования заказчик будет заниматься сам, привлекая агентство только к техническим работам».
Впрочем, бренд – дело наживное. И образуется он на рынке B2B-услуг, к которым относятся и маркетинговые исследования, не массированным рекламным воздействием, а часто в результате выполнения одной, а лучше нескольких работ для одного заказчика. Но на это нужно время. Можно ли быстрее понять «кто есть кто»? Наталья Калгина предлагает свой рецепт - «побывать в шкуре респондента». «Вовсе необязательно иметь опыт работы с исполнителем в качестве заказчика, чтобы составить впечатление о контрагенте, - считает Калгина. – Иногда достаточно зарегистрироваться в его панели и заполнить несколько анкет, чтобы «в реальном времени» оценить работу исследовательского агентства. Именно так можно понять, какими технологии оно пользуется, выяснить частоту приглашений, получить представление о способах проверки личности респондента, его честности, узнать защищаются ли тестируемые рекламные материалы от копирования и так далее», - делится опытом эксперт.
Пока заказчики и исполнители ищут общий язык, рынок развивается. Актуальность фундаментальных преимуществ онлайн-исследований - скорость выполнения и низкие цены - со временем только растут.
