Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 27.10.2012, 15:15   #1
 
Аватар для noel500
 
Сообщений: 2
FR (активность): 71

Доп. информация
По умолчанию Автор темы Удаление дублей в robots.txt

Всем привет. Имеется такая проблема. Кривоватый движок интернет магазина и куча дублей такого вида:
сайт.com/товар1 - это хочу выводить в поисковике
сайт.com/категория1/товар1
сайт.com/категория2/товар1
сайт.com/категория1/подкатегория1/товар1

Но именно страницы вида /категория1 в поисковике нужны. Ибо там есть описание с ключевыми словами, а все что уже под слешем не нужно.
Решил в robots.txt сделать такую запись
...
Disallow: /категория1/*
Allow: /категория1
Disallow: /категория2/*
Allow: /категория2
Disallow: /категория1/подкатегория1/*
Allow: /категория1/подкатегория1

Правильно ли?
Заранее спасибо за ответ.
noel500 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.10.2012, 08:50   #2
 
Аватар для Aland
 
Сообщений: 26
FR (активность): 456

Доп. информация
По умолчанию

Не совсем правильно. Сначала идет Allow. А потом проверьте на https://webmaster.yandex.ua/robots.xml , видит ли бот все ваши нужные ссылки
Aland вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.10.2012, 13:53   #3
 
Аватар для noel500
 
Сообщений: 2
FR (активность): 71

Доп. информация
По умолчанию Автор темы

Сначала куча Allow а потом куча Disallow? Так?

Сообщение добавлено 28.10.2012 в 14:14

1-77
User-agent: *
Disallow: /*?index.php?route=product/search
...
Disallow: /en/weight-loss/*


79-79
Allow: /

Вот что выдал яндекс. Я ничего не понял.


А... нашел где проверять ссылки. Спасибо
noel500 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 24.02.2013, 19:55   #4
 
Аватар для lepota
 
Сообщений: 18
FR (активность): 989

Доп. информация
По умолчанию

А просто если Disallow: /*.php*
я правда на смс я этим так все дубли убрал.
lepota вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.02.2013, 10:24   #5
 
Аватар для alexanderm
 
Сообщений: 7
FR (активность): 35

Доп. информация
По умолчанию

Другое вариант решения данной проблемы - использование canonical. Очень сподручный метод удаления дублей.
alexanderm вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.02.2013, 10:53   #6
 
Аватар для AlexeyOrloff
 
Сообщений: 1,483
FR (активность): 33,839

Доп. информация
По умолчанию

Цитата:
Сообщение от Aland Посмотреть сообщение
Не совсем правильно. Сначала идет Allow.
порядок следования директив в файле robots.txt не влияет на использование их роботом


Недорогое продвижение сайтов
AlexeyOrloff вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
robots.txt - учимся использовать. Часто задаваемые вопросы по robots.txt Alex LM Общие вопросы 18 10.05.2016 11:09
Массовое удаление из поиска ненужных страниц, дублей webmas Индексация сайта 6 20.03.2012 17:23
Удаление метатега robots в wordpress InterMedio WordPress 2 17.10.2011 21:51
О закрытии дублей страниц Artpsiholog Artal Индексация сайта 1 22.02.2011 17:36
Фильтр дублей гугл makay Google 0 04.06.2009 23:51

Текущее время: 20:45. Часовой пояс GMT +3.