Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 15.02.2016, 10:46   #1
 
Аватар для San4ez
 
Сообщений: 6
FR (активность): 105

Доп. информация
По умолчанию Автор темы Гугл блокирует старницы Disallow: /catalog

Добрый день!
добавил сайт в Гугл с Яшей пока не известно, как да что, а вот Гугл уже блокирует страницы,
просит поменять в Disallow: /catalog, сайт на опенкарте, мой роботс:

Блокирует скрипты,
/catalog/view/javascript/jquery/ui/themes/ui-lightness/jquery-ui-1.8.16.custom.css, это нормально, а не блокирует ли связанные страницы??? т.к. в списках есть товар...


User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=

User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /download
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Host: сайт.ru

Обратите внимание на полезные ответы в этой теме!

San4ez вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 15.02.2016, 10:55   #2
 
Аватар для cthulchu
 
Сообщений: 3,670
FR (активность): 107,432

Доп. информация
По умолчанию

Попробуйте спокойно и подробно расписать проблему. Потом перечитать и переписать так, чтобы было читабельно.
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 15.02.2016, 10:59   #3
 
Аватар для MVS
 
Сообщений: 545
FR (активность): 7,728

Доп. информация
По умолчанию

Цитата:
Сообщение от San4ez Посмотреть сообщение
Блокирует скрипты,
/catalog/view/javascript/jquery/ui/themes/ui-lightness/jquery-ui-1.8.16.custom.css
если нужно разблокировать стили в этой директории, сделайте так
Allow: /catalog/view/javascript/jquery/ui/themes/ui-lightness/*.css
или так еще можно:
Allow: /*/*/*/*/*/*/*/*.css
MVS вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 15.02.2016, 11:14   #4
 
Аватар для San4ez
 
Сообщений: 6
FR (активность): 105

Доп. информация
По умолчанию Автор темы

Цитата:
Сообщение от cthulchu Посмотреть сообщение
Попробуйте спокойно и подробно расписать проблему. Потом перечитать и переписать так, чтобы было читабельно.
Попробую))
Гугл в вебмастере заблокировал ссылки со связанным содержимым:
/catalog/view/javascript/jquery/ui/themes/ui-lightness/jquery-ui-1.8.16.custom.css
/catalog/view/theme/ava/stylesheet/stylesheet.css
/catalog/view/javascript/js/jquery.flexnav.js
/catalog/view/theme/ava/image/payment/mastercard.png
/catalog/view/theme/ava/image/payment/qiwi.png
/catalog/view/javascript/js/jquery.elevatezoom.js
/catalog/view/javascript/jquery/ui/jquery-ui-1.8.16.custom.min.js
/catalog/view/javascript/js/animation-menu.js
/catalog/view/javascript/js/jquery.dcjqaccordion.js
/catalog/view/javascript/jquery/jquery-1.7.1.min.js


при проверки роботс, выделяет красным Disallow: /catalog
Что подскажите делать?
В связанных страницах есть ссылки на товар!!!!
San4ez вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 15.02.2016, 11:15   #5
 
Аватар для MVS
 
Сообщений: 545
FR (активность): 7,728

Доп. информация
По умолчанию

Цитата:
Сообщение от San4ez Посмотреть сообщение
не блокирует ли связанные страницы???
в гугл вебмастере есть инструмент проверки robots.txt
https://www.google.com/webmasters/to...s-testing-tool
как и у яши
https://webmaster.yandex.ru/site/robots.xml
введите адрес связанной страницы и узнаете, блокирует ли он её и если да, покажет какое правило на это влияет.
MVS вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 15.02.2016, 11:18   #6
 
Аватар для MVS
 
Сообщений: 545
FR (активность): 7,728

Доп. информация
По умолчанию

Цитата:
Сообщение от San4ez Посмотреть сообщение
/catalog/view/javascript/jquery/ui/themes/ui-lightness/jquery-ui-1.8.16.custom.css
/catalog/view/theme/ava/stylesheet/stylesheet.css
/catalog/view/javascript/js/jquery.flexnav.js
/catalog/view/theme/ava/image/payment/mastercard.png
/catalog/view/theme/ava/image/payment/qiwi.png
/catalog/view/javascript/js/jquery.elevatezoom.js
/catalog/view/javascript/jquery/ui/jquery-ui-1.8.16.custom.min.js
/catalog/view/javascript/js/animation-menu.js
/catalog/view/javascript/js/jquery.dcjqaccordion.js
/catalog/view/javascript/jquery/jquery-1.7.1.min.js
Allow: /*/*/*/*/*/*/*/*.css
Allow: /*/*/*/*/*/*.css
Allow: /*/*/*/*/*/*.js
Allow: /*/*/*/*/*.js
Allow: /*/*/*/*/*/*/*.css
Allow: /catalog/view/theme/ava/image/*
вставьте это для гугла и проверьте
MVS вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 15.02.2016, 11:40   #7
 
Аватар для San4ez
 
Сообщений: 6
FR (активность): 105

Доп. информация
По умолчанию Автор темы

Цитата:
Сообщение от MVS Посмотреть сообщение
Allow: /*/*/*/*/*/*/*/*.css
Allow: /*/*/*/*/*/*.css
Allow: /*/*/*/*/*/*.js
Allow: /*/*/*/*/*.js
Allow: /*/*/*/*/*/*/*.css
Allow: /catalog/view/theme/ava/image/*
вставьте это для гугла и проверьте
спасибо огромное, подсвечивается зеленым с зеленой галкой, значит всё ок?, а как удалить те связанные ссылки с товарами, что он добавил в список? оставить как есть?
Для Яши не добавлять, что Вы писали?

Сообщение добавлено 15.02.2016 в 11:42

Цитата:
Сообщение от MVS Посмотреть сообщение
в гугл вебмастере есть инструмент проверки robots.txt
https://www.google.com/webmasters/to...s-testing-tool
как и у яши
https://webmaster.yandex.ru/site/robots.xml
введите адрес связанной страницы и узнаете, блокирует ли он её и если да, покажет какое правило на это влияет.
у Яши вот это вылезает:

32-54
User-agent: Yandex
Disallow: /*route=account/
...
Host: сайт.ru
San4ez вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 15.02.2016, 11:43   #8
 
Аватар для MVS
 
Сообщений: 545
FR (активность): 7,728

Доп. информация
По умолчанию

Цитата:
Сообщение от San4ez Посмотреть сообщение
а как удалить те связанные ссылки с товарами, что он добавил в список? оставить как есть?
да, через некоторое время он реорганизует индекс страниц согласно новым правилам.
Цитата:
Сообщение от San4ez Посмотреть сообщение
Для Яши не добавлять, что Вы писали?
не надо, яше это не важно.
MVS вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 15.02.2016, 11:47   #9
 
Аватар для San4ez
 
Сообщений: 6
FR (активность): 105

Доп. информация
По умолчанию Автор темы

Цитата:
Сообщение от MVS Посмотреть сообщение
не надо, яше это не важно.
Спасибо большое, при проверки Роботс яша выдаёт
Цитата:
32-54
User-agent: Yandex
Disallow: /*route=account/
...
Host: сайт.ru
это норм?
San4ez вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 15.02.2016, 11:50   #10
 
Аватар для MVS
 
Сообщений: 545
FR (активность): 7,728

Доп. информация
По умолчанию

Цитата:
Сообщение от San4ez Посмотреть сообщение
это норм?
это он Вам говорит, какие правила действуют на него) т.е. для яндекса прописаны строки 32-54, остальные он игнорирует.
да, это нормально)
San4ez: сообщение полезно
MVS вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 15.02.2016, 11:52   #11
 
Аватар для San4ez
 
Сообщений: 6
FR (активность): 105

Доп. информация
По умолчанию Автор темы

Цитата:
Сообщение от MVS Посмотреть сообщение
это он Вам говорит, какие правила действуют на него) т.е. для яндекса прописаны строки 32-54, остальные он игнорирует.
да, это нормально)
спасибо огромное!
San4ez вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 15.02.2016, 18:51   #12
 
Аватар для cthulchu
 
Сообщений: 3,670
FR (активность): 107,432

Доп. информация
По умолчанию

а я так и не понял зачем в первую очередь было каталог весь в дизаллоу ставить?
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Метки
robots.txt

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
[ Вопрос ] Гугл Хром блокирует файлы на сайте. Что делать? Анна Миллер Безопасность 5 16.04.2015 11:00
Canonical или disallow kartel32 Оптимизация страниц сайта 1 10.07.2014 22:55
[ Ищу ] Сервис который не блокирует рекламные расссылки Дмитрий Сатаров Дорвеи и черное SEO 5 12.08.2013 11:12
Disallow: /*#cut правильно? dimka119 Разработка сайтов 5 11.05.2012 12:05
Nod блокирует доступ к сайту serverserf Раскрутка в общих чертах 1 24.01.2011 21:55

Текущее время: 18:07. Часовой пояс GMT +3.