Портал СMS Magazine опубликовал промежуточные результаты (итоги будут подведены 22 февраля) рейтинга веб-студий, занимающихся созданием и поддержкой сайтов ("Рейтинг Рунета»). На первый взгляд все выглядит вполне солидно – на первые строчки «Рейтинга Рунета» попали весьма уважаемые компании (тройка лидеров - РБК Софт, Actic Wunderman, Студия Артемия Лебедева). Однако новый рейтинг сразу же попал под огонь критики. Участников созданной в декабре 2009 года Ассоциации интерактивных агентств (АИА) насторожила методика его составления.
Согласно описанию, в ее основе лежат измерения показателей результатов работы каждой веб-студии. В качестве таковых показателей выбраны тИЦ и Page Rank сайтов, созданных участниками рейтинга для своих клиентов. Результаты рейтинга СМS Magazine строятся на сумме значений этих двух показателей:
Балл = ( 100 * ∑тИЦ / sum(∑тИЦ) + 100 * ∑PR / sum(∑PR)) / 2
«Однако даже в "идеальной модели" оценки указанная формула обладает рядом искажений», - пишут эксперты АИА в информационном письме, распространенном в СМИ (копия есть в редакции – R&T). Во-первых, балл строится суммарно, т.е. компании, заявляющие большой поток мелких проектов с низкими индексами, имеют шанс получить существенно более высокий показатель, чем компании, заявляющие в меньшем количестве сайты с хорошими для своей индустрии показателями. Во-вторых, баллы, зачисляемые по параметрам тИЦ и PR неравнозначны. Т.к. первый варьирует в диапазоне от 0 до сотен тысяч и выше, а второй от 0 до 10, причем, наиболее часто встречаемые значения PR – от 4 до 6.
И это далеко не все недостатки.
«В «Рейтинге Рунета» не учтены многие важные показатели работы веб-студии, - считает Алексей Персианов, генеральный директор ADV/web-engineering. - Невозможно на основании анализа места в поисковой системе оценить клиентский сервис студии, аналитику, креатив, качество работ, оперативность поддержки, эффективность развития ресурса».
«Правильное агентство создает сайты для клиентов только с одной целью – решить бизнес-задачи, которые поставлены их заказчиком. Ни тИЦ, ни PageRank не являются критерием оценки эффективности чего бы то ни было, - утверждает Дмитрий Козлов, генеральный директор DEFA Interaktiv. - Их даже нельзя считать критерием оценки эффективности поисковой оптимизации – такими критериями являются стоимость привлечения потенциального клиента, конверсия посетителей в покупателей и т. д.».
Вряд ли претензии экспертов вызваны тем, что «им дали низкое место». В корректности результатов Рейтинга Рунета сомневаются и те, кто занимает верхние строчки. «Рейтинг с методологией использования тИЦ как основной составляющей представит крайне неправильную картину рынка и места каждой из студий на нем, - говорит Анна Свердлова, управляющий директор Actis Wunderman. - Например, компания, создавшая популярный портал 10 лет тому назад, но практически прекратившая свое существование, может получить гораздо более высокое место, чем компания, активно работающая даже с крупными клиентами, для которой тИЦ их сайта просто не имеет большого значения. Таким образом, вместо внесения прозрачности на рынок, такой рейтинг может лишь добавить сумятицы».
Впрочем, сумятица на рынке уже присутствовала. Первая попытка создания рейтинга вэб-студии была предпринята в 2006 году Экспертной группой Tagline (проект «Рейтинг Тэглайн»). Он основан на проходящем в несколько этапов экспертном опросе участников рынка и независимых экспертов. Полученные ответы с помощью сложной системы коэффициентов учитывали в т.ч. и такие показатели как оборот компаний, количество проектов, сотрудников и т.д. Критики этого проекта отмечали субъективность результатов и непрозрачность методики обработки данных. «Все это очень спорно, особенно когда конкуренты вынуждены голосовать друг за друга и их оценки в дальнейшем не разглашаются, – считает Дмитрий Будневский, генеральный директор X-Project. - Как правило, уже сама постановка голосования неправильна, во-вторых, можно все цифры «подкрутить» в результате чего объективность вообще теряется».
Создатели Рейтинга Рунета предприняли попытку избавиться от этих недостатков. «Активный клиентский портфель — основа нашего рейтинга. Мы сознательно не использовали такие субъективные и трудноизмеримые параметры как качество работ, известность компании и т.п., — говорит Сергей Бесшабашнов, директор по развитию проектов "Рейтинг Рунета" и СMS Magazine. — Рейтинг строится на открытых данных и его организаторы никак не могут влиять на его результаты. Все участники рейтинга находятся в равных условиях». Однако, результат снова получился неоднозначным. Насколько серьезна критика Рейтинга Рунета?
«Различные диапазоны тИЦ и PR не могут быть препятствием к их использованию в такого рода расчетах, поскольку в формулах показатели каждого участника взвешиваются на суммарные показатели по всему рейтингу, - считает Александр Ломизов, директор по исследованиям компании Bojole Research (специализируется на количественных исследованиях рынка). – Стремление авторов методики Рейтинга Рунета к прозрачности понятно, но на мой взгляд использование только одного критерия - видимости проектов участника поисковыми машинами - недостаточно для объективной оценки. Выбор тех или иных показателей для сравнения работы разных компаний должен быть обоснован не только экспертным мнением авторов методики, но и обеспечен предварительными исследованиями. Необходимо соотнести выбор показателей рейтинга с целями проекта, в противном случае, любой рейтинг превращается в «искусство для искусства».
Это понимают и сами участники рынка. «Оценка эффективности работы интернет-ресурсов – сложная задача, которую нельзя свести к двум индикаторам, никак не отражающим соответствие результатов работы сайтов задачам бизнеса», - говорит Дмитрий Козлов из DEFA Interaktiv.
Несмотря на бытующее мнение, что «в интернете можно измерить все», как выясняется, это далеко не так. Для получения валидных результатов надо не только иметь техническую возможность измерения того или иного показателя, но и суметь выбрать этот показатель среди множества других, а затем соответствующим образом обработать результаты. В противном случае может получиться как в анекдоте, когда предмет ищут не там, где он может находиться, а под фонарем – там светлее.
