Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 30.09.2010, 11:54   #1
 
Аватар для tbear
 
Сообщений: 3
FR (активность): 76

Доп. информация
По умолчанию Автор темы Слишком частая индексация страницы

Проблема в том, что слишком часто посещается некими роботами определенная страница моего сайта, которая никак не меняется со временем.
Сотни посещений в день. За что мне это? Почему только эта страница так часто посещается?
tbear вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 30.09.2010, 12:26   #2
 
Аватар для seo_panda
 
Сообщений: 106
FR (активность): 2,593

Доп. информация
По умолчанию Re: Слишком частая индексация страницы

Цитата:
Сообщение от tbear Посмотреть сообщение
За что мне это?
Другие на Вашем месте только радовались бы. Но а если серьезно то нужно посмотреть логи доступа к сайту, может это и не поисковые роботы, скорее всего это спам боты, у меня такое было на одном сайте, 20-30 посещений в сутки.
Как один с возможных методов борьбы можно расмотреть блокировку через файл .htaccess.
Для этого в корневой файл сайта в файл .htaccess вносится следующий блок:
Order Allow,Deny
Allow from all
deny from xxx.xxx.xxx.xxx


где xxx.xxx.xxx.xxx это айпи адрес надоедливого бота.


seo_panda вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 30.09.2010, 12:51   #3
 
Аватар для tbear
 
Сообщений: 3
FR (активность): 76

Доп. информация
По умолчанию Автор темы Re: Слишком частая индексация страницы

я даже не знаю стоит ли его блокировать, а вдруг он хороший)
но этот бот портит мне статистику посещений (уже 7000 посещений накопилось у этой страницы).
бот заходит по 10 ip адресам.
как бы наспамить на странице негде. что он долбится об эту страницу непонятно.
может встречался с такой напастью кто?
tbear вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 30.09.2010, 13:10   #4
 
Аватар для seo_panda
 
Сообщений: 106
FR (активность): 2,593

Доп. информация
По умолчанию Re: Слишком частая индексация страницы

Выложите список ip, уверен его можно сверить и определить что это за бот.
seo_panda вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 30.09.2010, 13:55   #5
 
Аватар для tbear
 
Сообщений: 3
FR (активность): 76

Доп. информация
По умолчанию Автор темы Re: Слишком частая индексация страницы

возможно, что в этом списке могут попастся и обычные пользователи сайта.

Основная масса это США Хьюстон

174.133.196.226
174.133.231.162
174.133.81.194
174.133.83.122
207.218.230.10
209.85.23.50
216.40.239.114
216.40.239.146
67.18.243.50
67.19.117.218
67.19.158.66
67.19.159.18
67.19.164.2
67.19.182.242
67.19.183.154
67.19.242.194
67.19.8.162
70.84.17.66
70.84.204.34
70.85.162.106
70.86.18.218
70.86.21.162
70.86.4.58
70.86.7.10
70.86.95.106
70.87.242.210
70.87.243.34
74.53.105.58
74.55.249.202
75.125.241.10
tbear вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 30.09.2010, 14:10   #6
 
Аватар для seo_panda
 
Сообщений: 106
FR (активность): 2,593

Доп. информация
По умолчанию Re: Слишком частая индексация страницы

Спамеры это, более чем уверен.
seo_panda вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 30.09.2010, 15:51   #7
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: Слишком частая индексация страницы

Хьюстон? Может космонавты? Тем более "ThePlanet.com Internet Services, Inc."

А вообще вот:
http://www.botsvsbrowsers.com/details/197595/index.html

User Agent Details for "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-GB; rv:1.9.0.1) Gecko/2008070208 Firefox/3.0.1 (.NET CLR 3.5.30729)"
User Agent:
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-GB; rv:1.9.0.1) Gecko/2008070208 Firefox/3.0.1 (.NET CLR 3.5.30729)
This User Agent is not a known bot.

Этим же сервисом можете и остальных пришельцев из космоса поглядеть...
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Byblik (30.09.2010)
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2630 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
где мои страницы ? 4Fun.Fantasy О работе SEO Cafe 7 30.09.2010 19:15
В индексе 2 гл. страницы IveGotSoul Индексация сайта 5 05.06.2010 12:15
Индексация сайта. Учитывается только Главная страница сайта, или все страницы? AntonV Индексация сайта 3 04.04.2010 03:56
Частичная индексация страницы Denssss Индексация сайта 2 23.03.2010 21:04
Как увеличить PR страницы? mike Google 12 19.05.2008 02:01

Текущее время: 23:48. Часовой пояс GMT +3.