Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Раскрутка в общих чертах

Важная информация
Раскрутка в общих чертах - Общая информация о поисковой оптимизации. Поисковые системы, раскрутка, продвижение, оптимизация сайта. Работа с вКонтакте, Twitter, Facebook.

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 23.11.2013, 08:28   #1
 
Аватар для Sashka3
 
Сообщений: 4
FR (активность): 120

Доп. информация
По умолчанию Автор темы Как должен выглядеть Robots.txt

Доброго времени суток!
Хотелось бы узнать, правильно ли составлен файл robots.txt , учитывая, что это варезник на Dle 9.8 ? Сегодня добавил ещё то, что выделено "красным". Будет ли с таким файлом, который Вы видите ниже, индексироваться должным образом яндексом? Почитал в инете на эту тему, но как говорится сколько людей, столько и мнений. Тем более, что это зависит ещё от того, как у этих людей при этом индексируется сайт. Некоторые пишут, что чем меньше запретов в файле, тем быстрее и лучше индексируется. Также другие пишут, что чем больше дублей, тем больше проблем с яндексом. То есть, выкладывается новость постером, и одна и та же новость попадает на главную стр., в категорию и в календарь. Получается дублируется несколько раз одна и та новость под разным урл. У меня закрыты от индексации дубли как видите в файле, но возник вопрос, не закрыл ли я чего лишнего, может из дублей что то всё же нужно открыть для лучшей индексации? Этот вопрос мучает давно, так как в инете во многих статьях вообще дубли не закрыты, то есть вот это -
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
Disallow: /page/
Disallow: */page/

Выглядит у меня так:


User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
Disallow: /page/
Disallow: */page/
Sitemap: http://site.ru/sitemap.xml
User-agent: Yandex
Host: site.ru
Sashka3 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Метки
robots.txt

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
robots.txt - учимся использовать. Часто задаваемые вопросы по robots.txt Alex LM Общие вопросы 18 10.05.2016 11:09
Как должна выглядеть главная страница по мнению Яндекса Umka Яndex 8 13.05.2013 11:02
Как лучше должен выглядеть баннер talantmriy Дизайн и верстка 3 09.02.2013 15:56
SAPE, это должен знать каждый Samuel Юмор 1 02.12.2010 15:05
Какой должен быть robots.txt для WP? Pilot Яndex 0 24.02.2010 12:16

Текущее время: 03:33. Часовой пояс GMT +3.