ПРО БОТОВ(Клоакинг. Ловушка для робота
D-Free
[email protected] http://defendfree.wallst.ru Термин "клоакинг" (cloaking) подразумевает один очень интересный эффект, который благодаря некоторым манипуляциям, можно произвести над поисковыми системами.
Идея эта, конечно, не нова. Дело в том, что кроме пользователей твою страничку посещает и огромное количество роботов. Эти "монстры" - боты, краулеры, спайдеры, которые собирают разного рода информацию о Сети и сайтах. Вот, например, TurnitinBot с IP-адресом 64.140.49.69 представляет собой краулер системы, производящей анализ всех сайтов всей сети для занесения в свою базу. Хитрые преподаватели университета Беркли придумали систему TurnitinBot, чтобы устроить веселую жизнь своим студентам.
Информация, полученная ботом заносится в базу данных. Студент, написавший реферат или курсовик сначала предоставляет свои работы для проверки системе, которая производит анализ работы и если выясняется, что учащийся попросту сдул свой курсовик с какого-нибудь сайта, его работа считается плагиатом и не подлежит дальнейшему рассмотрению.
Примерно так же работают и поисковые системы - Яндекс, Рамблер, Гугл и т.д. Сначала страницу посещает бот, который проверяет ее наличие, заносит в базу отдает, команду другому боту, который проверяет содержание и в свою очередь, дает команду следующему боту, что бы тот проверил, к примеру, ссылки на странице. Я не претендую на то чтобы абсолютно правильно описать работу, производимую этими монстрами, а лишь рассказываю о принципе их действий
В каждой поисковой системе несколько ботов. Они имеют разные функции и производят анализ страницы по различным параметрам. Отличает этих монстров от обычных пользователей только два основных параметра. Это IP-адрес и тип браузера.
Иными словами можно выделить робота по параметрам значения переменных REMOTE_ADDR и USER_AGENT. Это значит, что для робота можно выдавать страницу с одними параметрами, а всем остальным пользователям с другими. Смысл в том, что роботу абсолютно все равно, удобочитаемый ли текст на странице или полная ахинея. Робот анализирует, к примеру, количество ключевых слов на странице. Так надо дать ему такое содержание, которое позволит вывести эту страницу на 1-е место по нужным ключевым словам. Мало того, возможен вариант, когда сайт про хомячков будет находится по фразе "эротические обои" и наоборот.
Вот эти манипуляции с ботами поисковых систем и называются клоакингом.
Для клоакинга используются специальные скрипты. Язык скрипта может быть любой - PERL, PHP и т.д. Можно, например, написать такой скрипт, который бы выполнял следующие действия:
Определить робот посещает страницу или человек
Если робот, проверить REMOTE_ADDR и USER_AGENT из базы
Если значения этих переменных совпали, выдать страницу для роботов
Если этих значений нет в базе, но имеется подозрение что на страницу зашел робот, выдать страницу для робота, а его REMOTE_ADDR и USER_AGENT занести в базу
Если это робот, определить какой именно и сгенерировать страницу исходя из особенностей поисковой системы
можно продолжать и дальше - насколько хватит фантазии
Естественно, поисковые системы борются с клоакингом. Есть методы, позволяющие отслеживать подобные страницы. Сайт, заподозренный в клоакинге будет немедленно внесен в бан-лист без малейшей надежды когда-либо быть проиндексированным заново.
Клоакинг приводит к подрыву доверия пользователей к поисковой системе (искал про хомячков, а нашел эротические обои).
Все же для повышения ранжирования страницы лучше написать правильную страницу и никого не пытаться обмануть. В любом случае если твой сайт посвящен хомячкам, не нужно пытаться увеличить посещаемость такими методами. Раз уж сайт про хомячков, пусть будет про хомячков, а эротические обои оставь кому-нибудь другому
проще будет написать Имя и салон - типа Вика Гранд и так и быть звездочка * 
