Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 27.12.2013, 12:56   #1
 
Аватар для Djezzy13
 
Сообщений: 82
FR (активность): 4,165

Доп. информация
По умолчанию Автор темы Правильно стоставлен robots или нет?

Хотел бы узнать правильно составлен robots.txt или нет? Стоит закрывать страницы page/1 и т.д.
Оффтоп:
User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/themes
Disallow: /wp-content/plugins
Disallow: /wp-content/languages
Disallow: /wp-content/cache
Disallow: /wp-content/flashgames/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /game/
Disallow: /glavnaya
Disallow: /media-video/
Disallow: /media-oboi/
Disallow: /audition2/



User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /webstat/
Disallow: /feed/
Disallow: /trackback
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /wp-content/themes
Disallow: /wp-content/plugins
Disallow: /wp-content/languages
Disallow: /wp-content/cache
Disallow: /wp-content/flashgames/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /comments
Disallow: /glavnaya
Disallow: /media-video/
Disallow: /media-oboi/
Disallow: /audition2/


Host: mmonlinegames.ru
Sitemap: http://mmonlinegames.ru/sitemap.xml
Sitemap: http://mmonlinegames.ru/sitemap.xml.gz
Djezzy13 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Метки
robots

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
robots.txt - учимся использовать. Часто задаваемые вопросы по robots.txt Alex LM Общие вопросы 18 10.05.2016 11:09
Правильно ли составлен robots.txt Valorous Индексация сайта 9 15.08.2013 09:24
Как правильно составить robots.txt для vbulletin? basken vBulletin 3 30.08.2012 15:08
Как правильно прописать host: в robots.txt Miko210191 Индексация сайта 13 04.04.2012 05:34
Как правильно составить Robots.txt? Dino_ak47 Google 16 03.03.2009 02:51

Текущее время: 13:39. Часовой пояс GMT +3.