В 2014 году исследование «Экономика Рунета» проводилось совместно РАЭК и НИУ ВШЭ уже третий раз. Это важно. Как отметил Сергей Плуготаренко, директор РАЭК, возобновляемость этого исследования относится числу его основных ценностей. Что и понятно: архивы любых подобных «волновых» проектов должны «склеиваться». Это масштабное исследование. Оно дает оценку объемов всех базовых рынков интернет-индустрии, а также смежных с ними. И не только объемов, но и базовых трендов, и прогнозов развития. Непосредственно с результатами исследования «Экономика Рунета», включая архивные, читатель может познакомиться на сайте экономикарунета.рф или, скачав брошюру с отчетом. Работа, действительно, впечатляющая.
Однако так ли точны объемы и прогнозы, основанные лишь на «мнениях»? Да, это были мнения квалифицированных людей, да, их было много (всего в 2014 году опрошено 253 эксперта), но все они люди, тратившие на заполнение анкеты лишь 30 – 40 минут. А ведь речь идет о рынках, суммарная емкость которых сегодня сопоставима с 10% от национального ВВП. Словом, у нас возникли вопросы. И мы решили задать человеку, отвечавшему за методическую часть проекта, – Сергею Давыдову, заместителю факультета медиакоммуникаций НИУ ВШЭ.
Research&trends: Как, кем и по каким критериям выбирались эксперты для исследования?
Сергей Давыдов: Полевые работы делали сотрудники РАЭК, мы оказывали им методическую и консультационную помощь. У РАЭК есть социальная сеть – Runet-ID. Она хранит информацию об участниках всех мероприятий этой организации – форумах, конференциях, круглых столах и т.д. К участию приглашались те, кто проявлял определенную активность по тематике исследования.
R&T: Задавалась ли экспертам какая-то шкала для оценок, предлагался ли какой-то общий глоссарий или это были свободные ответы на открытые вопросы?
Сергей Давыдов: Логика построения анкеты была следующая. Мы задавали несколько конкретных вопросов – например, просили дать численную оценку тому или иному рынку в 2013 году, предполагаемую динамику (в %) в нынешнем году и т.д. После двух-трех таких логически связанных вопросов предлагался открытый вопрос: «Если Вы хотите оставить комментарий к ответам на вопросы …, Вы можете сделать это здесь». Некоторые эксперты указывали, например, что не уверены в своей оценке или могут оценить только определенную часть рынка. Естественно, такие комментарии учитывались при анализе.
R&T: Наверняка эксперты давали существенно различные оценки. Как вы сводили их воедино? И какова в этой связи погрешность финальных оценок? Ведь в качестве объемов рынка фигурируют вполне конкретные цифры, они не могут не иметь погрешностей.
Сергей Давыдов: Конечно, оценки расходились достаточно сильно, но мы были к этому готовы. Наше исследование основано на мнениях. Лучше, конечно, использовать конкретные финансовые показатели, однако на сегодняшний день компании не готовы их предоставить.
Третий год подряд, приглашая экспертов, мы не ставим жестких фильтров. Однако при анализе информации мы учитываем, что уровень экспертизы у респондентов разный. Ключевые специалисты, имеющие доступ к финансовым данным, хорошо известны – как по согласованным оценкам в прошлые годы, так и по участию в работе профильных комиссиях РАЭК.
R&T: Были ли предусмотрены какие-то процедуры, позволяющие экспертам изменять свои оценки на основе знания ответов других респондентов? Например, такого рода итеративный подход практикуется при составлении консенсус-прогнозов.
Сергей Давыдов: Мы не обращались повторно к нашим респондентам с целью скорректировать полученные оценки. Однако перед публикацией обсудили интерпретацию результатов с ключевыми экспертами.
R&T: Оцените, пожалуйста, «сходимость» данных Исследования разных лет при том, что сами интернет-рынки весьма интенсивно развивались, наверняка была «текучка» в пуле экспертов (кстати, какая?) и границы рынков могли пониматься ими по-разному?
Сергей Давыдов: Развитие рынков и их границы – очень важные вопросы. Мы каждый год обсуждаем их с широким кругом экспертов. По результатам обсуждений формулируются краткие определения сегментов и рынков, которые мы вставляем в анкету. Чтобы эксперты однозначно понимали, что они оценивают. Это короткие тексты, но их согласование – важная часть работы.
Иногда формулировки меняются. Например, в этом году при оценке рынка Web-разработки мы впервые просили экспертов учитывать мобильную разработку. Подобные случаи обязательно находят отражение в отчетах.
Текучка в пуле респондентов достаточно значительная. Немало новых людей пришло в прошлом году – когда стало очевидно, что проект состоялся, некоторым захотелось получить экспертный статус. В то же время, по каждому рынку сформировался определенный костяк экспертов. Возможно, в какой-то момент они согласятся раскрыть свои финансовые данные. Это стало бы логичным шагом развития и для самоорганизации рынков, и для нашего проекта.
