И все бы ничего, если бы это касалось только СМИ общего интереса. Но к ним подтягиваются и деловые, строя рейтинги компаний, брендов, банков и т.д. И на эти рейтинги, действительно, ориентируются менеджеры компаний, планируя рекламные кампании, инвестиционные планы и т.д. Это уже совсем другие рейтинги, в их составлении участвуют обычно серьезные исследовательские компании, а СМИ выступают публикаторами, либо в отдельных случаях инициаторами проекта.

Удобство представления данных в виде рейтингов привело к росту популярности этого формата. Так, даже обычные исследовательские замеры часто оформляются в виде ранжированных списков – для удобства восприятия и, соответственно, популяризации авторов. Естественно, возникает «конкуренция», когда по одной и той же теме в профессиональной среде циркулирует несколько рейтингов. Что делать конечному пользователю, если данные этих рейтингов расходятся? Кому верить? «На людях», т.е. в прессе углы обычно сглаживаются, зато «на кухнях» менеджеры дают волю словам в адрес исследователей, чьи данные их меньше устраивают. Эти «кухонные разговоры» иногда выплескиваются на конференции в эмоциональных выкриках из зала типа: «Да откуда у вас такие данные! А вот нам говорили…» И так далее. Спасибо, что без рук.   

Впрочем, вот реальная совсем свежая история. По данным опроса, проведенного ВЦИОМом в начале февраля 2012 года, первую позицию рейтинга российских социальных сетей занимают «Одноклассники». А по данным TNS Россия аналогичный рейтинг возглавляет «ВКонтакте». Так не бывает? Вот цифры.

«Самыми популярными социальными сетями Рунета остаются «Одноклассники» (ими пользуются 73% пользователей интернета) и «Вконтакте» (62%)», - читаем мы в пресс-бюллетене ВЦИОМ от 13 февраля 2012 года.  А по данным TNS Россия, обнародованных в том же феврале 2012 года (данные за январь 2012 г.) лидерство в Рунете среди социальных сетей уже достаточно давно сохраняет «ВКонтакте», собирающая каждый день, в среднем, более 11 млн пользователей, в то время как у «Одноклассников» аналогичный показатель немного недотягивает до 10 млн. чел. Тоже немало, но дело в принципе: кто же все-таки первый?

И при этом цифры стабильны, как их ни складывай, как ни умножай. Не только дневная, но и недельная и месячные аудитории, измеренные TNS, показывают лидерство «Вконтакте». По версии ВЦИОМа, «Одноклассники» лидируют не только по доле среди пользователей Интернета, но и среди всех опрошенных, а также среди пользователей соцсетей.

Попытки привлечь «внешнего эксперта» и получить независимые данные, конечно, возможны, но вряд ли будут продуктивны. Так, в феврале 2012 года в рамках проекта «Открытое мнение», помимо электоральных вопросов, респондентов спрашивали и о пользовании Интернетом. Получились результаты, совпадающие со ВЦИОМовскими: «Одноклассники» впереди. Опрос проводился по телефону, выборка – всероссийская, свыше 3 тыс. человек. Однако привлечением еще одного эксперта и созданием таким образом «большинства голосов» такие вопросы не решаются. 

Причем, во всех описанных выше случаях лидерство рассчитывалось по одному и тому же параметру: величине аудитории. И ВЦИОМ, и TNS Россия весьма авторитетны, фактически, они задают стандарты отрасли – каждая в своей области. Учитывая реалии последнего времени, может закрадываться и подозрение, что «рейтинг-то ненастоящий».  И как быть в этой ситуации рекламодателям? Куда нести основной бюджет, как считать аудиторию?

Описанная нами ситуация вовсе не единичная. Подобные коллизии «конфликта данных», может быть, не столь наглядные, случаются довольно часто. Существует ли алгоритм, позволяющий понять «что есть истина»? Попробуем это сделать.   

Прежде всего, сравниваем методики измерения, которые используются в обоих случаях. Сразу же невооруженным глазом видна разница: ВЦИОМ проводит опрос face-to-face, в то время как TNS использует собственную панель. В чем разница?

Давайте сравним методики и природу измеряемых объектов.

В первом случае все происходит в оффлайне, выборка строится так, что генеральной совокупностью является все население РФ. Таким образом, с точки зрения достижимости респондентов это прямые измерения с оговоркой, что выбор респондентов проводится, как и положено, случайным образом, а также учтена масса методических нюансов, касающихся подобного рода опросов. Вот тут важна репутация компании. В данном случае, ВЦИОМ такой репутацией несомненно обладает.

С другой стороны, источником информации является человек, который может что-то забыть, перепутать и т.п. Скажем, интервьюер задает вопрос: «Какими социальными сетями вы пользуетесь?» и показывает длинный список. Даже, если человек искренне хочет честно ответить на вопрос (и имеет время!), то при наличии нескольких эккаунтов сделать различие между ними ему будет трудно. Информации типа «я два раза в неделю захожу в «Одноклассники» и три раза в «Вконтакте» (или наоборот) поверить трудно. Поэтому так никто вопросы и не ставит. В итоге, получается местами точная, местами размытая информация. Исследователи прекрасно это знают и не ставят невыполнимых целей. Таким образом, опрос ВЦИОМ, проведенный методом F2F (личное интервью), измеряет только месячную аудиторию, да и то с известной долей условности.   

TNS Россия в рамках проекта Web Index проводит прямые измерения аудитории сайтов, т.е.  буквально засекают каждого посетителя. Но учитывают при этом не любого, а только «своего», т.е. входящего в панель. О панелистах (всего их в данный момент 12500) известно многое: пол, возраст, доход, место проживания, наличие автомобиля и т.д. Кроме того, помечены и компьютеры панелистов (стандартным образом, по кукам). На российских сайтах, участвующих в проекте, установлены программы, засекающие их посещение панелистами. А затем выполняется рутинная процедура экстраполяции данных, т.е. так же как и в первом случае по данным выборки судят о характеристиках генеральной совокупности. Т.е. по числу панелистов, зашедших на тот или иной сайт, судят о его популярности среди аудитории всей генеральной совокупности. Вот эти-то миллионы человек и показаны в отчетах исследователей. Не вдаваясь в детали (их немало!), можно сказать, что при соблюдении ряда правил, измерения такого рода признаны профессиональным сообществом корректными (валидными).

Другое важное отличие в том, что под генеральной совокупностью в данном случае понимаются не все граждане России определенного возраста, а только те, кто живет в городах с населением свыше 100 тыс. чел.

Еще одно отличие – возраст респондентов. Если ВЦИОМ опрашивает всех взрослых, т.е. старше 18 лет, то панелисты TNS Россия должны быть не младше 12, но не старше 54 лет. Почему так? Это выбор самих исследовательских компаний. Обычно он связан с внешними по отношению к конкретному проекту обстоятельствами. Например, ВЦИОМ, проводящий в большом количестве электоральные опросы, «заряжен» на избирателей, отсюда и ограничения – 18+. TNS Россия поддерживает свою панель в коммерческих целей, поэтому возрастной диапазон, фактически, диктуют их заказчики. Базовый формат работы той или иной компании – очень важный параметр, он может многое объяснить.

Есть в нашей почти детективной истории и ложный след, на который часто «покупаются» неопытные охотники за сенсациями. Несмотря на то, что ВЦИОМ опрашивает людей, как имеющих доступ в Интернет, так и без оного, а TNS работает исключительно с интернетчиками, сравнивать результаты вполне возможно без дополнительного пересчета. Он уже сделан делается исследователями на стадии установочного исследования, предваряющего запуск проекта и повторяется время от времени. Как говорят физики, «проводится юстирование» или калибровка. В результате в качестве панелистов выбирают отнюдь не всех желающих, а только тех, чьи персональные данные соответствуют профилю выбранной генеральной совокупности, в данном случае, это население России, возраста 12-54, проживающего в городах 100 тыс.

Подведем итоги. В рассмотренных нами случаях исследователи демонстрируют широкой публике аудиторию, измеренную в одинаковых единицах, но полученную разным путем и имеющую разную структуру. Повлияло ли это на итоговый рейтинг? Давайте посмотрим на те же данные через увеличительное стекло.

На первый взгляд, различия проектов по величине населенных пунктов респондентов не имеет значения: соотношения долей обоих лидеров рейтинга соцсетей примерно одинаковые и в столицах, и в городах 100+. Но посмотрите, что происходит, если подключить детализацию по возрасту: среди молодежи 18-24 года лидируют «ВКонтакте», причем с заметным отрывом. Второй фактор «в ту же кассу» - преобладание в столицах, да и вообще, в городах молодежи.

Данные телефонного опроса проекта "Открытое мнение" подтверждают общую тенжденцию: в крупных городах у лидирующих сетей примерный паритет, но в деревнях и поселках городского типа значимое преимущество у "Одноклассников".

В итоге, живущие в городах активные молодые люди и образовали то ядро, которое дало преимущество «ВКонтакте» в проекте TNS.  

Так что же в итоге? Кто же все-таки лидер рейтинга? Ларчик открывается просто, вот только одним ответом не отделаешься. Среди жителей городов с численностью 100 тыс. жителей и более лидирует «Вконтакте», а среди всего российского населения – «Одноклассники». Откуда же в таком случае проблемы конфликта рейтингов? Все очень просто: важные детали своих исследований ресечеры обычно пишут мелким шрифтом в виде скучных примечаний к своим таблицам. Их мало кто читает, даже в профессиональной, а тем более, в журналистской среде. А зря.