Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 08.04.2013, 12:48   #1
 
Аватар для Valorous
 
Сообщений: 69
FR (активность): 2,012

Доп. информация
По умолчанию Автор темы Вопрос по robots.txt

Есть сайт салона красоты http://www.makisalon.ru
У салона несколько филиалов и одна и та же услуга в разных филиалах дублируется как отдельная страница, меняется только шапка страницы. Из-за этого на сайте очень много дублированных страниц. Так же у сайта огромное количество пустых страниц. Поэтому первым делом я запретил к индексации все пустые и дублированные страницы в robots.txt. (http://www.makisalon.ru/robots.txt). Но прошло уже больше полугода, а Яндекс и Гугл по прежнему индексируют как пустые так дублированные страницы. Я думаю из-за этого сайт находится под фильтром из-за чего не растут позиции и ТИЦ. Подскажите, почему поисковики до сих пор индексируют страницы запрещенные к индексации в robots.txt? Может я что-то не так сделал?


С уважением, Valorous
Valorous вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 08.04.2013, 13:10   #2
 
Аватар для Peugeon
 
Сообщений: 159
FR (активность): 4,744

Доп. информация
По умолчанию

Для Яндекса укажите отдельно

User-agent: Yandex

и дальше все тоже самое продублируйте.
Peugeon вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 08.04.2013, 13:15   #3
 
Аватар для Valorous
 
Сообщений: 69
FR (активность): 2,012

Доп. информация
По умолчанию Автор темы

Поначалу именно так и стояло, но почему-то Яндекс.Вебмастер не видел строк после строки "User-agent: Yandex" да и Яндекс опять же все индексировал. К тому же данный вариант подходит только для Яндекса, а Гугл будет попрежнему все индексировать?


С уважением, Valorous
Valorous вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 08.04.2013, 13:17   #4
 
Аватар для sinadjo
 
Сообщений: 151
FR (активность): 3,796

Доп. информация
По умолчанию

Для начала составьте карту сайта sitemap.xml, далее пропишите в robots.txt хост и путь к карте сайта. Скормите карту Гуглу и Яндексу в панелях Веб-мастера. После индексации карты ПС-ми, проверьте наличие кода 404 в ответе на запрашиваемые страницы (которые у Вас запрещены в robots.txt) в панелях Веб-мастера Гугла и Яндекса. Создание sitemap.txt сосредоточит внимание ботов именно на тех ссылках, которые предназначены для индексирования и не закрыты в robots.txt.
Из опыта, нет смысла отдельно прописывать то же самое отдельно для Яндекса, отдельно для Гугла.
sinadjo вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Valorous (09.04.2013)
Старый 09.04.2013, 21:56   #5
 
Аватар для leshii
 
Сообщений: 40
FR (активность): 443

Доп. информация
По умолчанию

Цитата:
Сообщение от Valorous Посмотреть сообщение
Может я что-то не так сделал?
может, пустые стоило просто удалить, чтобы отдавали 404ю?
leshii вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 09.04.2013, 23:04   #6
 
Аватар для Grush
 
Сообщений: 414
FR (активность): 6,880

Доп. информация
По умолчанию

Цитата:
Сообщение от Valorous Посмотреть сообщение
Но прошло уже больше полугода, а Яндекс и Гугл по прежнему индексируют как пустые так дублированные страницы. Я думаю из-за этого сайт находится под фильтром из-за чего не растут позиции и ТИЦ. Подскажите, почему поисковики до сих пор индексируют страницы запрещенные к индексации в robots.txt? Может я что-то не так сделал?
вот здесь удалите их
http://webmaster.yandex.ru/delurl.xml
http://support.google.com/webmasters...answer=1663419
Grush вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 10.04.2013, 14:51   #7
 
Аватар для Brume
 
Сообщений: 2
FR (активность): 178

Доп. информация
По умолчанию

Лучший способ - удалить страницы
Brume вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Плохо" от:
webmas (10.04.2013)
Старый 13.04.2013, 18:52   #8
 
Аватар для Gradce
 
Сообщений: 55
FR (активность): 190

Доп. информация
По умолчанию

не знаю, у меня на некоторых сайтах поисковики не полностью учитывают содержание файла роботс


усЁ гуд)
Gradce вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Плохо" от:
webmas (13.04.2013)
Старый 19.04.2013, 02:44   #9
 
Аватар для vold57
 
Сообщений: 57
FR (активность): 510

Доп. информация
По умолчанию

Цитата:
Сообщение от sinadjo Посмотреть сообщение
проверьте наличие кода 404 в ответе на запрашиваемые страницы (которые у Вас запрещены в robots.txt) в панелях Веб-мастера Гугла и Яндекса.
Можно поподробней о 404 ошибке по страницам запрещенным в robots.txt?
vold57 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 19.04.2013, 06:23   #10
 
Аватар для Makc.Plan
 
Сообщений: 833
FR (активность): 12,499

Доп. информация
По умолчанию

Прочитайте инфу по созданию ПРАВИЛЬНОГО роботс, например нехер плодить пустые строки... это так для начала...
Затем робот это рекомендация, используйте ее, а также рел=каноникал для дублированного контента.
И вообще на крайний случай, можно сделать 410 или 404 ответ сервера, при этом отображать нормальный контент пользователю, но это уже извращение...
Makc.Plan вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 19.04.2013, 09:11   #11
 
Аватар для Romix
 
Сообщений: 1
FR (активность): 134

Доп. информация
По умолчанию

Закрывая от индексации страницы сайта,нужно учесть то что и в поиске страниц будет меньше,сейчас так же замечена тенденция того чем больше закрытых страниц тем меньше позиция сайта в поисковых системах особенно заметно это в яндексе,мой совет закрывайте только те страницы которые действительно нужно закрывать а не все подряд
Romix вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 19.04.2013, 10:09   #12
 
Аватар для vold57
 
Сообщений: 57
FR (активность): 510

Доп. информация
По умолчанию

Цитата:
Сообщение от Romix Посмотреть сообщение
закрывайте только те страницы которые действительно нужно закрывать а не все подряд
Крайне полезно! Напишите еще пару ценных советов.
vold57 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 13.05.2013, 22:32   #13
 
Аватар для chornobryvtsi
 
Сообщений: 1
FR (активность): 5

Доп. информация
По умолчанию

У меня два сайта на одном хостинге. Сначала идет корневая папка, потом папка с названием второго сайта. Куда закачать robots.txt для второго сайта? Пробовал и в корневую и в папку с названием сайта, Яндекс.Вебмастер не видит и показывает, что идет перенаправление. Как поступить?
chornobryvtsi вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 13.05.2013, 22:39   #14
 
Аватар для Stelz
 
Сообщений: 451
FR (активность): 13,088

Доп. информация
По умолчанию

На любом хостинге или сервере сайты находятся в папке www в ней сайты идут по порядку если все правильно залито. Файл роботс нужно залить в папку где файлы сайта. В директорию www его заливать не нужно - путь -www-сайт-файли движка(сайта)


Stelz вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Метки
robots.txt

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 1835 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
вопрос про robots.txt Customizer Индексация сайта 30 22.08.2013 10:13
Вопрос по robots.txt Chemodan Индексация сайта 7 01.01.2012 18:54
Вопрос про host: в robots Chemodan Индексация сайта 2 07.07.2011 10:54
Вопрос про robots.txt и индексацию сайта Smallbear Индексация сайта 12 07.07.2011 10:50
Вопрос по robots.txt mumitroll Беседка 0 23.07.2009 15:26

Текущее время: 14:50. Часовой пояс GMT +3.