Вернуться   SEO форум - оптимизация и продвижение сайтов > Web разработки > Программирование

Важная информация
Программирование - PHP, MySQL, JavaScript, CSS, HTML верстка и т.д.

Ответ
 
Опции темы Рейтинг: Рейтинг темы: голосов - 2, средняя оценка - 3.00. Опции просмотра
Старый 03.02.2016, 02:00   #1
 
Аватар для Unick
 
Сообщений: 698
FR (активность): 31,962

Доп. информация
По умолчанию Автор темы Как отследить поисковых роботов.

Внимание! Статья 2012 года. Переношу блог со своего сайта на форум.

Добро пожаловать!

Когда я написал скрипт, отслеживающий поисковых роботов, я поискал подобное в google... После чего как-то перехотелось публиковать эту тему.

Но все же, я подошел к теме немного уникально и написал эту статью.

Немного теории:
Чтобы узнать, посетил ли наш сайт бот, мы создаим такой скрипт
if(strpos($_SERVER['HTTP_USER_AGENT'], 'Googlebot')!==false)
{
$text = date("Y-m-d H:i") . " Google посетил страницу: ". $_SERVER['REQUEST_URI']."\r\n";
}
Мы проверяем, зашел ли к нам Google. Если да, то формируем строку в переменную $text.
Чтобы записывать строку в лог файл - мы добавим в условие:
$file = fopen("bot.txt","a");
fwrite($file, $text);
fclose ($file);
Если мы хотим получить уведомление на почту, мы должны добавить:
mail('example@gmail.com', 'Google посетил страницу', $text);
PHP скрипт отслеживающий поисковых роботов
if(strpos($_SERVER['HTTP_USER_AGENT'], 'Googlebot')!==false)
{
$text = date("Y-m-d H:i") . " Google посетил страницу: ". $_SERVER['REQUEST_URI']."\r\n";
// запись в файл
$file = fopen("bot.txt","a");
fwrite($file, $text);
fclose ($file);
// отпарвка на почту
mail('example@gmail.com', 'Google посетил страницу', $text);
}
Не забудьте поменять example@gmail.com на свою почту.
Нас уведомит на почту, а в файле bot.txt мы увидим:
2012-10-23 17:32 Google посетил страницу: /post-9.html
2012-10-23 19:12 Google посетил страницу: /post-10.html
2012-10-25 11:24 Google посетил страницу: /post-11.html
- А если нам нужен другой робот? Яндекс например.
- Копируем код и заменяем на Yandex.
И так во всем интернете. Ну не глупо же? Мы же не израильские программисты, которым платят за количество строк (наверное, поэтому они циклами и не пользуются).

PHP cкрипт для людей
function robot ($bot)
{
if(strpos($_SERVER['HTTP_USER_AGENT'], $bot)!==false)
{
$text = date("Y-m-d H:i") . " $bot посетил страницу: ". $_SERVER['REQUEST_URI']."\r\n";
// запись в файл
$file = fopen("bot.txt","a");
fwrite($file, $text);
fclose ($file);
// отправка на почту
mail('example@gmail.com', "$bot посетил страницу", $text);
}
}

// отслеживаем роботов
robot('Googlebot');
robot('Yandex');
Как видите, нам не надо плодить куски кода, достаточно написать функцию robot с именем робота.

Как и где использовать скрипт для отслеживания робота?

По хорошему, если у вас сайт грузиться через index.php, достаточно добавить функцию robot() в начало файла.

Чтобы отследить поискового бота на WordPress, надо добавить функцию в header.php используемого шаблона.

Если же на каждая страница самостоятельная, то сохраняем функцию robot() в файл (например robot.php), и на каждой странице в начало добавляем
include_once('/robot.php')


2012 год andreisoroka.com
Canny, tilperion и seo-master-team: сообщение полезно


andreisoroka.com
Unick вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
 MVS (03.02.2016),  Puppeteer (03.02.2016)
Старый 03.02.2016, 07:21   #2
 
Аватар для seo-master-team
 
Сообщений: 60
FR (активность): 554

Доп. информация
По умолчанию

автору +
реально работает!
seo-master-team вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
[ Вопрос ] Как отследить разные URL cava Анализ и обзор статистики 4 10.11.2015 00:14
Вопрос по подозрительному продвижению. По каким критериям Яндекс палит роботов? boris_b Яndex 9 22.12.2014 19:54
Сайт глазами роботов Korsakov Оптимизация страниц сайта 5 08.07.2013 02:18
Для кого делать статьи: для роботов или для людей? webhostingcomua Продвижение статьями 23 15.12.2011 09:39
Бестиарий Роботов Яндекса Umka Яndex 2 13.02.2010 21:56

Текущее время: 03:55. Часовой пояс GMT +3.