Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Раскрутка в общих чертах

Важная информация
Раскрутка в общих чертах - Общая информация о поисковой оптимизации. Поисковые системы, раскрутка, продвижение, оптимизация сайта. Работа с вКонтакте, Twitter, Facebook.

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 23.11.2013, 08:28   #1
 
Аватар для Sashka3
 
Сообщений: 4
FR (активность): 120

Доп. информация
По умолчанию Автор темы Как должен выглядеть Robots.txt

Доброго времени суток!
Хотелось бы узнать, правильно ли составлен файл robots.txt , учитывая, что это варезник на Dle 9.8 ? Сегодня добавил ещё то, что выделено "красным". Будет ли с таким файлом, который Вы видите ниже, индексироваться должным образом яндексом? Почитал в инете на эту тему, но как говорится сколько людей, столько и мнений. Тем более, что это зависит ещё от того, как у этих людей при этом индексируется сайт. Некоторые пишут, что чем меньше запретов в файле, тем быстрее и лучше индексируется. Также другие пишут, что чем больше дублей, тем больше проблем с яндексом. То есть, выкладывается новость постером, и одна и та же новость попадает на главную стр., в категорию и в календарь. Получается дублируется несколько раз одна и та новость под разным урл. У меня закрыты от индексации дубли как видите в файле, но возник вопрос, не закрыл ли я чего лишнего, может из дублей что то всё же нужно открыть для лучшей индексации? Этот вопрос мучает давно, так как в инете во многих статьях вообще дубли не закрыты, то есть вот это -
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
Disallow: /page/
Disallow: */page/

Выглядит у меня так:


User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /user/
Disallow: /index.php?do=register
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=stats
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Disallow: /2013/
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
Disallow: /page/
Disallow: */page/
Sitemap: http://site.ru/sitemap.xml
User-agent: Yandex
Host: site.ru
Sashka3 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Метки
robots.txt

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2980 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
robots.txt - учимся использовать. Часто задаваемые вопросы по robots.txt Alex LM Общие вопросы 18 10.05.2016 11:09
Как должна выглядеть главная страница по мнению Яндекса Umka Яndex 8 13.05.2013 11:02
Как лучше должен выглядеть баннер talantmriy Дизайн и верстка 3 09.02.2013 15:56
SAPE, это должен знать каждый Samuel Юмор 1 02.12.2010 15:05
Какой должен быть robots.txt для WP? Pilot Яndex 0 24.02.2010 12:16

Текущее время: 20:24. Часовой пояс GMT +3.