Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 16.06.2017, 11:30   #1
 
Аватар для Darza
 
Сообщений: 32
FR (активность): 1,295

Доп. информация
По умолчанию Автор темы Всё ли в порядке с robots.txt

Друзья, помогите разобраться с таким вопросом...
Есть сайт (на вордпрессе), он какое-то время был на переработке и был закрыт в роботсе disallow /
А 2 дня назад, я залил такой роботс:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: url этого сайта
Sitemap:

Да, без сайтмапа- его нет просто. Чисто шаблоный роботс.

А вчера заказчик говорит, что сайт не в индексе, я проверил-да!
Вопрос: это за 1 день Гугл ещё не успел переиндексировать сайт с новым роботсом или я в роботсе что-то напортачил? Нет ли в моём роботсе какой-то директивы, из-за которой сайт выпал из индекса?
Darza вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 16.06.2017, 13:39   #2
 
Аватар для R.Romanov
 
Сообщений: 118
FR (активность): 1,720

Доп. информация
По умолчанию

Цитата:
Сообщение от Darza Посмотреть сообщение
Вопрос: это за 1 день Гугл ещё не успел переиндексировать сайт с новым роботсом или я в роботсе что-то напортачил? Нет ли в моём роботсе какой-то директивы, из-за которой сайт выпал из индекса?
Не успел конечно.


Цитата:
Сообщение от Darza Посмотреть сообщение
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
...
Sitemap:
Эти строчки вообще лучше убрать. Первые три не дадут роботу посмотреть ресурсы подгружаемые на странице, последняя просто не должна быть пустая - это ошибка разметки.

Для карты сайта и прочего поставьте Yoast SEO...


Ручной крауд-маркетинг и естественные ссылки с форумов.
R.Romanov вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Darza (16.06.2017)
Старый 16.06.2017, 15:04   #3
 
Аватар для Darza
 
Сообщений: 32
FR (активность): 1,295

Доп. информация
По умолчанию Автор темы

Цитата:
Сообщение от R.Romanov Посмотреть сообщение
Не успел конечно.



Эти строчки вообще лучше убрать. Первые три не дадут роботу посмотреть ресурсы подгружаемые на странице, последняя просто не должна быть пустая - это ошибка разметки.

Для карты сайта и прочего поставьте Yoast SEO...
Yoast SEO - это плагин такой?
Darza вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 18.06.2017, 18:05   #4
 
Аватар для R.Romanov
 
Сообщений: 118
FR (активность): 1,720

Доп. информация
По умолчанию

Цитата:
Сообщение от Darza Посмотреть сообщение
Yoast SEO - это плагин такой?
Да, он автоматом генерит нормальные сайтмапы + даёт возможность нормально прописывать шаблоны генерации меттегов и прочие плюшки.


Ручной крауд-маркетинг и естественные ссылки с форумов.
R.Romanov вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Darza (19.06.2017)
Старый 19.06.2017, 11:09   #5
 
Аватар для Darza
 
Сообщений: 32
FR (активность): 1,295

Доп. информация
По умолчанию Автор темы

Цитата:
Сообщение от R.Romanov Посмотреть сообщение
Да, он автоматом генерит нормальные сайтмапы + даёт возможность нормально прописывать шаблоны генерации меттегов и прочие плюшки.
Спасибо, буду знать!
Darza вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 21.08.2017, 07:26   #6
 
Аватар для undome
 
Сообщений: 2
FR (активность): 10

Доп. информация
По умолчанию

Я бы убрал бы все Disallow пусть все индексируется.
undome вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 18.09.2017, 16:19   #7
 
Аватар для microsoftexam
 
Сообщений: 9
FR (активность): 0

Доп. информация
По умолчанию

Цитата:
Сообщение от undome Посмотреть сообщение
Я бы убрал бы все Disallow пусть все индексируется.
и для чего например поисковый мусор нужен в строке с знаком ?
microsoftexam вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Метки
robots.txt

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
robots.txt - учимся использовать. Часто задаваемые вопросы по robots.txt Alex LM Общие вопросы 18 10.05.2016 11:09
robots.txt Dharam Индексация сайта 5 13.02.2015 22:31
Порядок мета-тегов. Есть разница в каком порядке стоят мета теги в структуре документа? Junk Оптимизация страниц сайта 2 28.07.2014 17:17
Помогите узнать, всё ли в порядке с сайтом + вопросы по тегам Grace7 Раскрутка в общих чертах 6 16.02.2010 09:49
Robots.txt Anaksagor Индексация сайта 5 17.09.2009 14:17

Текущее время: 17:50. Часовой пояс GMT +3.