Если вы заметили, что количествотрафика на вашем вебсайте уменьшается, несмотря на все ваши старания по удержанию хорошего рейтинга в Google, вполне возможно, что вы пали жертвой довольно несложной схемы редиректа страниц, которая сейчас набирает популяр
ость.
Этот эксплойт, который начал использоваться как минимум с августа 2003 года, и известный как Google 302 Pagejacking, или просто как Googlejacking, позволяет заменять страницы конкурентов, которые получили высокий рейтинг в Google законным путем, на страницы других сайтов. Способ этот, хотя и не является явным нарушением правил, выглядит весьма спорно с этической точки зрения. Как заявил постер под ником “japanese” на мейнстримном форуме вебмастеров Webmaster World, “Любой сайт с PR5 или ниже, может быть подвержен этому. Если ваш сайт имеет PR 3 или 4, у вас тоже есть повод для беспокойства”.
Google и MSN Search, похоже, особенно подвержены воздействию этого эксплойта, однако и другие поисковые системы не защищены от него. Функционирование его основано специфической реакции основных поисковых систем на действия PHP и других скриптов при редиректе 302-страниц. В отличие от 301-редиректа, использование которого более правильно, и который означает, что страница была удалена безвозвратно, 302 код означает временное перемещение. Способ обработки поисковыми спайдерами этого кода, в сочетании с тем, как они взаимодействуют друг с другом, может привести к следующему: спайдеры считают, что законная страница, на которую ссылаются с использованием 302 кода, является дубликатом или дополнением страницы, на которой размещена ссылка. Не вдаваясь в технические подробности, можно констатировать, как минимум, один случай наихудшего сценария, в результате которого страница-“самозванка” буквально заменила настоящую страницу адалт-вебсайта.
Речь идет о блоге Daze Reder’s Sex News Blog, который стал жертвой эксплойта в начале марта, если верить поддерживающему его вебмастеру. “На протяжении более четырех лет Daze Reader работал над созданием прочного рейтинга и постоянного источника трафика с Google”, – таким образом начал он свой постинг, датированный 4 марта. “Потом, 17 декабря… мой дневной трафик с Google упал более чем на 90%. Сначала я просто ждал, в надежде на то, что все придет в норму. Но ничего не изменялось… Лучшим объяснением, которое я смог придумать, это то, что Daze Reader пал жертвой мошенничества с использованием подложных 302-редиректов… Моя статистика посещений с Google за 1-2 марта показывает, что количество пользователей сейчас составляет примерно 1% от средних значений ноября прошлого года.
Сейчас я могу вполне определенно заявить: Daze Reader отправили в творческий отпуск.”
Сложно сказать, насколько широко используется эксплойт в пределах и применимо к адалт-индустрии. Ни известный эксперт в области поисковых систем Scott “Traffic Dude” Rabinowitz, ни консультант в области адалт-технологий Brandon Shalton, не владеют информацией о том, пострадали ли от таинственного исчезновения PR какие-либо значимые фигуры в индустрии. Однако владелец Sex.com Gary Kremen отмечает: “Я не сомневаюсь, что это происходит. Я это знаю. Я слышал, как люди обсуждали это явление. Однако они не скажут ничего публично, потому что они зарабатывают на этом деньги”.
Наверное, самой плохой новостью для вебмастеров будет то, что сделать что-либо эффективное для предотвращения “грабежа страниц” нельзя. Разве что убедить поисковые системы изменить алгоритм поведения их спайдеров. Yahoo! сделал это в октябре прошлого года, после публичного признания того, что проблема существует. Как гласит пост на SearchEngineWatch, сделанный представителем Yahoo! под онлайн-ником TheOtherTim, “Недавно мы пересмотрели методы обработки редиректов в поиске Yahoo! Мы отследили поведение редиректов 301, 302, и мета-рефрешингов… Эта презентация доступна для загрузки на Yahoo! Sezrch Blog под названием ‘Search Engines and Webmasters’.
Нужно отметить: по крайней мере один из экспертов в области поисковых систем уверен, что большинство “грабежей страниц”, осуществляемых посредством 302-редиректа поисковых спайдеров, происходит ненамеренно. Claus Schmidt, основатель Интернет-консалтинговой фирмы clsc.net, написал в своем анализе этого вопроса: “Это брешь в технической части поисковых систем. Некоторые вебмастера, конечно, пользуются этой брешью. Однако большинство случаев, с которыми я сталкивался, не являются преднамеренной попыткой грабежа. И грабитель, и жертва одинаково невиновны, поскольку здесь имеет место эффект, который происходит внутри поисковых систем, и в большинстве случаев грабитель даже не знает, что он(а) грабит другую страницу.”
“Я хочу еще раз подчеркнуть, что это брешь в поисковой системе”, – продолжает Schmidt. “Она наносит вред невинным и ничего не подозревающим вебмастерам, которые занимаются своими обычными делами, поддерживая и продвигая свои страницы как обычно. Совершенно необязательно предпринимать какие-то исключительные шаги, выходящие за рамки “обычных”, чтобы быть ограбленным или ограбить других. Напротив, грабежи страниц происходят при применении ежедневных стандартных процедур и приемов, используемых большинством вебмастеров”.
Каким образом вебмастер может определить, подверглась ли его или ее страница воздействию Googlejack? Для начала наберите “allinurl:yourdomail.com” в поисковой форме Google и посмотрите на результаты. Упомянутый домен должен возглавлять листинг. Если листинг содержит другие результаты с правильными заголовками и выдержками, а в некоторых случаях и кешированными данными, но с некорректными URL, шансы весьма велики, что страница была подвергнута действию Googlejack, случайно или преднамеренно.
Устранить проблему не так просто, как обнаружить. Вебмастера не могут забанить 302-реферралов и большинство из скриптов редиректа, поскольку серверы не получают эту информацию во время коннект-запросов. Клики со страницы, содержащей редирект-скрипт, забанить можно, однако это окажет влияние только на серферов, но не на поисковых спайдеров – в которых, собственно, вся проблема. Вебмастеры могут запросить Google на удаление страниц, но это процесс длительный и утомительный, да и работает он только в пределах определенных параметров.
Schmidt предлагает вебмастерам предпринять несколько шагов, чтобы свести к минимуму вероятность грабежа их страниц:
Schmidt также предлагает вебмастерам принять меры, чтобы не стать случайными грабителями: