Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 27.10.2012, 15:15   #1
 
Аватар для noel500
 
Сообщений: 2
FR (активность): 71

Доп. информация
По умолчанию Автор темы Удаление дублей в robots.txt

Всем привет. Имеется такая проблема. Кривоватый движок интернет магазина и куча дублей такого вида:
сайт.com/товар1 - это хочу выводить в поисковике
сайт.com/категория1/товар1
сайт.com/категория2/товар1
сайт.com/категория1/подкатегория1/товар1

Но именно страницы вида /категория1 в поисковике нужны. Ибо там есть описание с ключевыми словами, а все что уже под слешем не нужно.
Решил в robots.txt сделать такую запись
...
Disallow: /категория1/*
Allow: /категория1
Disallow: /категория2/*
Allow: /категория2
Disallow: /категория1/подкатегория1/*
Allow: /категория1/подкатегория1

Правильно ли?
Заранее спасибо за ответ.
noel500 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.10.2012, 08:50   #2
 
Аватар для Aland
 
Сообщений: 26
FR (активность): 456

Доп. информация
По умолчанию

Не совсем правильно. Сначала идет Allow. А потом проверьте на https://webmaster.yandex.ua/robots.xml , видит ли бот все ваши нужные ссылки
Aland вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.10.2012, 13:53   #3
 
Аватар для noel500
 
Сообщений: 2
FR (активность): 71

Доп. информация
По умолчанию Автор темы

Сначала куча Allow а потом куча Disallow? Так?

Сообщение добавлено 28.10.2012 в 14:14

1-77
User-agent: *
Disallow: /*?index.php?route=product/search
...
Disallow: /en/weight-loss/*


79-79
Allow: /

Вот что выдал яндекс. Я ничего не понял.


А... нашел где проверять ссылки. Спасибо
noel500 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 24.02.2013, 19:55   #4
 
Аватар для lepota
 
Сообщений: 18
FR (активность): 989

Доп. информация
По умолчанию

А просто если Disallow: /*.php*
я правда на смс я этим так все дубли убрал.
lepota вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.02.2013, 10:24   #5
 
Аватар для alexanderm
 
Сообщений: 7
FR (активность): 35

Доп. информация
По умолчанию

Другое вариант решения данной проблемы - использование canonical. Очень сподручный метод удаления дублей.
alexanderm вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.02.2013, 10:53   #6
 
Аватар для AlexeyOrloff
 
Сообщений: 1,483
FR (активность): 34,669

Доп. информация
По умолчанию

Цитата:
Сообщение от Aland Посмотреть сообщение
Не совсем правильно. Сначала идет Allow.
порядок следования директив в файле robots.txt не влияет на использование их роботом


Недорогое продвижение сайтов
AlexeyOrloff вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2056 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
robots.txt - учимся использовать. Часто задаваемые вопросы по robots.txt Alex LM Общие вопросы 18 10.05.2016 11:09
Массовое удаление из поиска ненужных страниц, дублей webmas Индексация сайта 6 20.03.2012 17:23
Удаление метатега robots в wordpress InterMedio WordPress 2 17.10.2011 21:51
О закрытии дублей страниц Artpsiholog Artal Индексация сайта 1 22.02.2011 17:36
Фильтр дублей гугл makay Google 0 04.06.2009 23:51

Текущее время: 12:26. Часовой пояс GMT +3.