Вернуться   SEO форум - оптимизация и продвижение сайтов > Web разработки > Программирование

Важная информация
Программирование - PHP, MySQL, JavaScript, CSS, HTML верстка и т.д.

Ответ
 
Опции темы Рейтинг: Рейтинг темы: голосов - 2, средняя оценка - 3.00. Опции просмотра
Старый 03.02.2016, 02:00   #1
 
Аватар для Unick
 
Сообщений: 711
FR (активность): 37,335

Доп. информация
По умолчанию Автор темы Как отследить поисковых роботов.

Внимание! Статья 2012 года. Переношу блог со своего сайта на форум.

Добро пожаловать!

Когда я написал скрипт, отслеживающий поисковых роботов, я поискал подобное в google... После чего как-то перехотелось публиковать эту тему.

Но все же, я подошел к теме немного уникально и написал эту статью.

Немного теории:
Чтобы узнать, посетил ли наш сайт бот, мы создаим такой скрипт
if(strpos($_SERVER['HTTP_USER_AGENT'], 'Googlebot')!==false)
{
$text = date("Y-m-d H:i") . " Google посетил страницу: ". $_SERVER['REQUEST_URI']."\r\n";
}
Мы проверяем, зашел ли к нам Google. Если да, то формируем строку в переменную $text.
Чтобы записывать строку в лог файл - мы добавим в условие:
$file = fopen("bot.txt","a");
fwrite($file, $text);
fclose ($file);
Если мы хотим получить уведомление на почту, мы должны добавить:
mail('[email protected]', 'Google посетил страницу', $text);
PHP скрипт отслеживающий поисковых роботов
if(strpos($_SERVER['HTTP_USER_AGENT'], 'Googlebot')!==false)
{
$text = date("Y-m-d H:i") . " Google посетил страницу: ". $_SERVER['REQUEST_URI']."\r\n";
// запись в файл
$file = fopen("bot.txt","a");
fwrite($file, $text);
fclose ($file);
// отпарвка на почту
mail('[email protected]', 'Google посетил страницу', $text);
}
Не забудьте поменять [email protected] на свою почту.
Нас уведомит на почту, а в файле bot.txt мы увидим:
2012-10-23 17:32 Google посетил страницу: /post-9.html
2012-10-23 19:12 Google посетил страницу: /post-10.html
2012-10-25 11:24 Google посетил страницу: /post-11.html
- А если нам нужен другой робот? Яндекс например.
- Копируем код и заменяем на Yandex.
И так во всем интернете. Ну не глупо же? Мы же не израильские программисты, которым платят за количество строк (наверное, поэтому они циклами и не пользуются).

PHP cкрипт для людей
function robot ($bot)
{
if(strpos($_SERVER['HTTP_USER_AGENT'], $bot)!==false)
{
$text = date("Y-m-d H:i") . " $bot посетил страницу: ". $_SERVER['REQUEST_URI']."\r\n";
// запись в файл
$file = fopen("bot.txt","a");
fwrite($file, $text);
fclose ($file);
// отправка на почту
mail('[email protected]m', "$bot посетил страницу", $text);
}
}

// отслеживаем роботов
robot('Googlebot');
robot('Yandex');
Как видите, нам не надо плодить куски кода, достаточно написать функцию robot с именем робота.

Как и где использовать скрипт для отслеживания робота?

По хорошему, если у вас сайт грузиться через index.php, достаточно добавить функцию robot() в начало файла.

Чтобы отследить поискового бота на WordPress, надо добавить функцию в header.php используемого шаблона.

Если же на каждая страница самостоятельная, то сохраняем функцию robot() в файл (например robot.php), и на каждой странице в начало добавляем
include_once('/robot.php')


2012 год andreisoroka.com
Canny, tilperion и seo-master-team: сообщение полезно


andreisoroka.com
Unick вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
 MVS (03.02.2016),  Puppeteer (03.02.2016)
Старый 03.02.2016, 07:21   #2
 
Аватар для seo-master-team
 
Сообщений: 60
FR (активность): 554

Доп. информация
По умолчанию

автору +
реально работает!
seo-master-team вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2296 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
[ Вопрос ] Как отследить разные URL cava Анализ и обзор статистики 4 10.11.2015 00:14
Вопрос по подозрительному продвижению. По каким критериям Яндекс палит роботов? boris_b Яndex 9 22.12.2014 19:54
Сайт глазами роботов Korsakov Оптимизация страниц сайта 5 08.07.2013 02:18
Для кого делать статьи: для роботов или для людей? webhostingcomua Продвижение статьями 23 15.12.2011 09:39
Бестиарий Роботов Яндекса Umka Яndex 2 13.02.2010 21:56

Текущее время: 17:28. Часовой пояс GMT +3.