Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 08.04.2013, 12:48   #1
 
Аватар для Valorous
 
Сообщений: 69
FR (активность): 2,012

Доп. информация
По умолчанию Автор темы Вопрос по robots.txt

Есть сайт салона красоты http://www.makisalon.ru
У салона несколько филиалов и одна и та же услуга в разных филиалах дублируется как отдельная страница, меняется только шапка страницы. Из-за этого на сайте очень много дублированных страниц. Так же у сайта огромное количество пустых страниц. Поэтому первым делом я запретил к индексации все пустые и дублированные страницы в robots.txt. (http://www.makisalon.ru/robots.txt). Но прошло уже больше полугода, а Яндекс и Гугл по прежнему индексируют как пустые так дублированные страницы. Я думаю из-за этого сайт находится под фильтром из-за чего не растут позиции и ТИЦ. Подскажите, почему поисковики до сих пор индексируют страницы запрещенные к индексации в robots.txt? Может я что-то не так сделал?


С уважением, Valorous
Valorous вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 08.04.2013, 13:10   #2
 
Аватар для Peugeon
 
Сообщений: 159
FR (активность): 4,744

Доп. информация
По умолчанию

Для Яндекса укажите отдельно

User-agent: Yandex

и дальше все тоже самое продублируйте.
Peugeon вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 08.04.2013, 13:15   #3
 
Аватар для Valorous
 
Сообщений: 69
FR (активность): 2,012

Доп. информация
По умолчанию Автор темы

Поначалу именно так и стояло, но почему-то Яндекс.Вебмастер не видел строк после строки "User-agent: Yandex" да и Яндекс опять же все индексировал. К тому же данный вариант подходит только для Яндекса, а Гугл будет попрежнему все индексировать?


С уважением, Valorous
Valorous вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 08.04.2013, 13:17   #4
 
Аватар для sinadjo
 
Сообщений: 151
FR (активность): 3,749

Доп. информация
По умолчанию

Для начала составьте карту сайта sitemap.xml, далее пропишите в robots.txt хост и путь к карте сайта. Скормите карту Гуглу и Яндексу в панелях Веб-мастера. После индексации карты ПС-ми, проверьте наличие кода 404 в ответе на запрашиваемые страницы (которые у Вас запрещены в robots.txt) в панелях Веб-мастера Гугла и Яндекса. Создание sitemap.txt сосредоточит внимание ботов именно на тех ссылках, которые предназначены для индексирования и не закрыты в robots.txt.
Из опыта, нет смысла отдельно прописывать то же самое отдельно для Яндекса, отдельно для Гугла.
sinadjo вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Valorous (09.04.2013)
Старый 09.04.2013, 21:56   #5
 
Аватар для leshii
 
Сообщений: 40
FR (активность): 443

Доп. информация
По умолчанию

Цитата:
Сообщение от Valorous Посмотреть сообщение
Может я что-то не так сделал?
может, пустые стоило просто удалить, чтобы отдавали 404ю?
leshii вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 09.04.2013, 23:04   #6
 
Аватар для Grush
 
Сообщений: 414
FR (активность): 6,880

Доп. информация
По умолчанию

Цитата:
Сообщение от Valorous Посмотреть сообщение
Но прошло уже больше полугода, а Яндекс и Гугл по прежнему индексируют как пустые так дублированные страницы. Я думаю из-за этого сайт находится под фильтром из-за чего не растут позиции и ТИЦ. Подскажите, почему поисковики до сих пор индексируют страницы запрещенные к индексации в robots.txt? Может я что-то не так сделал?
вот здесь удалите их
http://webmaster.yandex.ru/delurl.xml
http://support.google.com/webmasters...answer=1663419
Grush вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 10.04.2013, 14:51   #7
 
Аватар для Brume
 
Сообщений: 2
FR (активность): 178

Доп. информация
По умолчанию

Лучший способ - удалить страницы
Brume вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Плохо" от:
webmas (10.04.2013)
Старый 13.04.2013, 18:52   #8
 
Аватар для Gradce
 
Сообщений: 55
FR (активность): 190

Доп. информация
По умолчанию

не знаю, у меня на некоторых сайтах поисковики не полностью учитывают содержание файла роботс


усЁ гуд)
Gradce вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Плохо" от:
webmas (13.04.2013)
Старый 19.04.2013, 02:44   #9
 
Аватар для vold57
 
Сообщений: 57
FR (активность): 510

Доп. информация
По умолчанию

Цитата:
Сообщение от sinadjo Посмотреть сообщение
проверьте наличие кода 404 в ответе на запрашиваемые страницы (которые у Вас запрещены в robots.txt) в панелях Веб-мастера Гугла и Яндекса.
Можно поподробней о 404 ошибке по страницам запрещенным в robots.txt?
vold57 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 19.04.2013, 06:23   #10
 
Аватар для Makc.Plan
 
Сообщений: 833
FR (активность): 12,369

Доп. информация
По умолчанию

Прочитайте инфу по созданию ПРАВИЛЬНОГО роботс, например нехер плодить пустые строки... это так для начала...
Затем робот это рекомендация, используйте ее, а также рел=каноникал для дублированного контента.
И вообще на крайний случай, можно сделать 410 или 404 ответ сервера, при этом отображать нормальный контент пользователю, но это уже извращение...
Makc.Plan вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 19.04.2013, 09:11   #11
 
Аватар для Romix
 
Сообщений: 1
FR (активность): 134

Доп. информация
По умолчанию

Закрывая от индексации страницы сайта,нужно учесть то что и в поиске страниц будет меньше,сейчас так же замечена тенденция того чем больше закрытых страниц тем меньше позиция сайта в поисковых системах особенно заметно это в яндексе,мой совет закрывайте только те страницы которые действительно нужно закрывать а не все подряд
Romix вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 19.04.2013, 10:09   #12
 
Аватар для vold57
 
Сообщений: 57
FR (активность): 510

Доп. информация
По умолчанию

Цитата:
Сообщение от Romix Посмотреть сообщение
закрывайте только те страницы которые действительно нужно закрывать а не все подряд
Крайне полезно! Напишите еще пару ценных советов.
vold57 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 13.05.2013, 22:32   #13
 
Аватар для chornobryvtsi
 
Сообщений: 1
FR (активность): 5

Доп. информация
По умолчанию

У меня два сайта на одном хостинге. Сначала идет корневая папка, потом папка с названием второго сайта. Куда закачать robots.txt для второго сайта? Пробовал и в корневую и в папку с названием сайта, Яндекс.Вебмастер не видит и показывает, что идет перенаправление. Как поступить?
chornobryvtsi вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 13.05.2013, 22:39   #14
 
Аватар для Stelz
 
Сообщений: 449
FR (активность): 12,571

Доп. информация
По умолчанию

На любом хостинге или сервере сайты находятся в папке www в ней сайты идут по порядку если все правильно залито. Файл роботс нужно залить в папку где файлы сайта. В директорию www его заливать не нужно - путь -www-сайт-файли движка(сайта)


Stelz вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Метки
robots.txt

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
вопрос про robots.txt Customizer Индексация сайта 30 22.08.2013 10:13
Вопрос по robots.txt Chemodan Индексация сайта 7 01.01.2012 18:54
Вопрос про host: в robots Chemodan Индексация сайта 2 07.07.2011 10:54
Вопрос про robots.txt и индексацию сайта Smallbear Индексация сайта 12 07.07.2011 10:50
Вопрос по robots.txt mumitroll Беседка 0 23.07.2009 15:26

Текущее время: 15:13. Часовой пояс GMT +3.