[ Статья ] Как отследить поисковых роботов.

Внимание! Статья 2012 года. Переношу блог со своего сайта на форум.

Добро пожаловать!

Когда я написал скрипт, отслеживающий поисковых роботов, я поискал подобное в google... После чего как-то перехотелось публиковать эту тему.

Но все же, я подошел к теме немного уникально и написал эту статью.

Немного теории:
Чтобы узнать, посетил ли наш сайт бот, мы создаим такой скрипт

if(strpos($_SERVER['HTTP_USER_AGENT'], 'Googlebot')!==false)

 {

   $text = date("Y-m-d H:i") . " Google посетил страницу: ". $_SERVER['REQUEST_URI']."\r\n";

 }

Мы проверяем, зашел ли к нам Google. Если да, то формируем строку в переменную $text.
Чтобы записывать строку в лог файл - мы добавим в условие:

$file = fopen("bot.txt","a");

fwrite($file, $text);

fclose ($file);

Если мы хотим получить уведомление на почту, мы должны добавить:

mail('[email protected]', 'Google посетил страницу', $text);

PHP скрипт отслеживающий поисковых роботов

if(strpos($_SERVER['HTTP_USER_AGENT'], 'Googlebot')!==false)

{

  $text = date("Y-m-d H:i") . " Google посетил страницу: ". $_SERVER['REQUEST_URI']."\r\n";

  // запись в файл

  $file = fopen("bot.txt","a");

  fwrite($file, $text);

  fclose ($file);

  // отпарвка на почту

  mail('[email protected]', 'Google посетил страницу', $text);

}

Не забудьте поменять [email protected] на свою почту.
Нас уведомит на почту, а в файле bot.txt мы увидим:
2012-10-23 17:32 Google посетил страницу: /post-9.html
2012-10-23 19:12 Google посетил страницу: /post-10.html
2012-10-25 11:24 Google посетил страницу: /post-11.html
- А если нам нужен другой робот? Яндекс например.
- Копируем код и заменяем на Yandex.
И так во всем интернете. Ну не глупо же? Мы же не израильские программисты, которым платят за количество строк (наверное, поэтому они циклами и не пользуются).

PHP cкрипт для людей

function robot ($bot)

{

 if(strpos($_SERVER['HTTP_USER_AGENT'], $bot)!==false)

 {

 $text = date("Y-m-d H:i") . " $bot посетил страницу: ". $_SERVER['REQUEST_URI']."\r\n";

 // запись в файл

 $file = fopen("bot.txt","a");

 fwrite($file, $text);

 fclose ($file);

 // отправка на почту

 mail('[email protected]m', "$bot посетил страницу", $text);

 }

}

 

// отслеживаем роботов

robot('Googlebot');

robot('Yandex');

Как видите, нам не надо плодить куски кода, достаточно написать функцию robot с именем робота.

Как и где использовать скрипт для отслеживания робота?

По хорошему, если у вас сайт грузиться через index.php, достаточно добавить функцию robot() в начало файла.

Чтобы отследить поискового бота на WordPress, надо добавить функцию в header.php используемого шаблона.

Если же на каждая страница самостоятельная, то сохраняем функцию robot() в файл (например robot.php), и на каждой странице в начало добавляем

include_once('/robot.php')

2012 год andreisoroka.com

автору +
реально работает!