Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Оптимизация страниц сайта

Важная информация
Оптимизация страниц сайта - Мета теги (description и т.д.), заголовок h1, title, alt. Микроразметка, структура контента, внутренняя перелинковка.

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 03.02.2016, 10:28   #1
 
Аватар для K_Marx
 
Сообщений: 12
FR (активность): 599

Доп. информация
По умолчанию Автор темы Вопрос по robots.txt для ИМ на WP

Привет форумчане.
Сформировал файл robots.txt для ИМ, который работает через https. Сайт сделан на WP. Меня терзают сомнения в его корректности, не указал ли чего лишнего там . Буду рад любому совету.

Содержимое файла:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /account
Disallow: /author
Disallow: */trackback
Disallow: */feed
Disallow: /cgi-bin
Disallow: *?s=
Disallow: *?
Disallow: /comments
Disallow: /comment
Disallow: /*?
Disallow: /*?*

Host: https:// (Стоит ли указывать протокол тут?)

Далее пытаюсь сформировать карту сайта на сервисе htmlweb.ru.
Ругается на на файл robots.txt "В вашем robots.txt в директиве host: мой сайт. указан другой протокол! Сервер не возвращает в заголовке время изменения страницы". Для генерации карты указывал домен с https
K_Marx вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 03.02.2016, 11:47   #2
 
Аватар для MVS
 
Сообщений: 545
FR (активность): 7,728

Доп. информация
По умолчанию

Цитата:
Сообщение от K_Marx Посмотреть сообщение
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
всё это я закрыл одной строкой:
Disallow: /wp-

Цитата:
Сообщение от K_Marx Посмотреть сообщение
Host: https:// (Стоит ли указывать протокол тут?)
да, стоит.

Цитата:
Сообщение от K_Marx Посмотреть сообщение
Disallow: *?*
Disallow: *?s=
по моему тут первое правило с двумя звёздочками перекрывает второе.
вообще если на сайте много страниц и плагинов, то роботс у вас для начала правильный. А дальше после индексации поисковиков вы смотрите что из мусора попало в индекс и закрываете их, потому что физически невозможно заранее всё найти и закрыть))
на счёт формирования карты сайта - установите плагин
https://ru.wordpress.org/plugins/wordpress-seo/
он бесплатен и формирует карту автоматически, достаточно один раз настроить. да и по общим сео настройкам он очень удобен. и не нужны будут никакие сервисы.
ну и конечно же в роботсе прописать путь к карте сайта.
K_Marx: сообщение полезно
MVS вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 03.02.2016, 15:07   #3
 
Аватар для K_Marx
 
Сообщений: 12
FR (активность): 599

Доп. информация
По умолчанию Автор темы

Цитата:
Сообщение от MVS Посмотреть сообщение
всё это я закрыл одной строкой:
Disallow: /wp-


да, стоит.


по моему тут первое правило с двумя звёздочками перекрывает второе.
вообще если на сайте много страниц и плагинов, то роботс у вас для начала правильный. А дальше после индексации поисковиков вы смотрите что из мусора попало в индекс и закрываете их, потому что физически невозможно заранее всё найти и закрыть))
на счёт формирования карты сайта - установите плагин
https://ru.wordpress.org/plugins/wordpress-seo/
он бесплатен и формирует карту автоматически, достаточно один раз настроить. да и по общим сео настройкам он очень удобен. и не нужны будут никакие сервисы.
ну и конечно же в роботсе прописать путь к карте сайта.
Цитата:
Сообщение от MVS Посмотреть сообщение
https://ru.wordpress.org/plugins/wordpress-seo/
Установлен. Куда он генерит карту сайта не знаю (в корне сайта нет).
Через плагин просматриваю когда показывает несколько файлов. Их яндекс вебмастер не принимает.
K_Marx вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 03.02.2016, 16:09   #4
 
Аватар для MVS
 
Сообщений: 545
FR (активность): 7,728

Доп. информация
По умолчанию

Цитата:
Сообщение от K_Marx Посмотреть сообщение
Куда он генерит карту сайта не знаю
/sitemap_index.xml
или /sitemap.xml , он редиректит на верхний адрес.
видимо Вы что-то делаете не так, ибо у меня яндекс и гугл и остальные поисковики всё прекрасно принимают
Оффтоп:
MVS вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Метки
robots.txt

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
вопрос про robots.txt Customizer Индексация сайта 30 22.08.2013 10:13
[ Вопрос ] Вопрос по robots.txt Valorous Индексация сайта 13 13.05.2013 22:39
Вопрос по robots.txt Chemodan Индексация сайта 7 01.01.2012 18:54
Вопрос про host: в robots Chemodan Индексация сайта 2 07.07.2011 10:54
Вопрос по robots.txt mumitroll Беседка 0 23.07.2009 15:26

Текущее время: 16:13. Часовой пояс GMT +3.