Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 24.01.2013, 06:37   #1
 
Аватар для prettyremage
 
Сообщений: 84
FR (активность): 4,335

Доп. информация
По умолчанию Автор темы robots.txt для битрикса

Ребят подскажите, как правильно составить роботс для сайта на битриксе, есть какие нибудь определенные места которые нужно закрывать от индексации?


teedo.ru
prettyremage вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 24.01.2013, 08:35   #2
 
Аватар для Che
 
Сообщений: 425
FR (активность): 13,170

Доп. информация
По умолчанию

Цитата:
Сообщение от prettyremage Посмотреть сообщение
Ребят подскажите, как правильно составить роботс для сайта на битриксе, есть какие нибудь определенные места которые нужно закрывать от индексации?
Да, конечно. Закрывайте от индексации смело вот эту папку - /bitrix/
Также еще закрываю в роботсе файлы поиска - search.php
В принципе, это необходимый минимум. Остальное - зависит от конкретного сайта


Видео-курс "Основы поисковой оптимизации"
Аудит и консультации по внутренней оптимизации Вашего сайта.
Che вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
prettyremage (24.01.2013)
Старый 24.01.2013, 10:44   #3
 
Аватар для se_ost
 
Сообщений: 5
FR (активность): 107

Доп. информация
По умолчанию

Пример robots.txt

User-agent: *
Disallow: /bitrix/
Disallow: /search/
Disallow: /auth/
Disallow: /auth.php
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /temp_index.php
Disallow: /access.log
Disallow: /include/
Disallow: /upload/
Disallow: /cgi-bin/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Советую взять на заметку.


Мой seo блог - consei.ru
se_ost вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
prettyremage (24.01.2013)
Старый 10.04.2014, 16:03   #4
 
Аватар для ella
 
Сообщений: 2
FR (активность): 40

Доп. информация
По умолчанию

ВСЕМ ПРИВЕТ!
Очень нужна помощь опытных сеошников.

Интернет магазин на Битриксе. В карточке товара Битрикс добавляет еще один уровень вложенности после названия товара и Гугл такие урлы индексирует - сайт.ru/catalog/televizory/Televizor_Samsung_UE46F6510/ffhjl

Такие адреса образуются на всех товарах каталога, набор символов там разный (таким образом обрабатываются внутренние параметры на сайте). 301 редирект ставить нельзя.

Будет ли правильным так закрыть этот мусор после последнего слеша в robots.txt:
Disallow: /catalog/*/*/*

Не закроет ли такая директива весь каталог от индексации? Или может, кто подскажет другой выход?

Заранее спасибо.
ella вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 16.04.2014, 08:25   #5
 
Аватар для ap0stal
 
Сообщений: 5
FR (активность): 113

Доп. информация
По умолчанию

Цитата:
Сообщение от ella Посмотреть сообщение
ВСЕМ ПРИВЕТ!
Очень нужна помощь опытных сеошников.

Интернет магазин на Битриксе. В карточке товара Битрикс добавляет еще один уровень вложенности после названия товара и Гугл такие урлы индексирует - сайт.ru/catalog/televizory/Televizor_Samsung_UE46F6510/ffhjl

Такие адреса образуются на всех товарах каталога, набор символов там разный (таким образом обрабатываются внутренние параметры на сайте). 301 редирект ставить нельзя.

Будет ли правильным так закрыть этот мусор после последнего слеша в robots.txt:
Disallow: /catalog/*/*/*

Не закроет ли такая директива весь каталог от индексации? Или может, кто подскажет другой выход?

Заранее спасибо.
Можно запретить индексацию не только с помощью robots.txt. Воспользуйтесь meta-тегом
Код:
<meta name="ROBOTS" content="NOINDEX,NOFOLLOW" />
который настройте для нужного уровня вложенности с помощью PHP.
ap0stal вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 23.04.2014, 15:54   #6
 
Аватар для ella
 
Сообщений: 2
FR (активность): 40

Доп. информация
По умолчанию

ap0stal, огромное спасибо за ценный совет

А где нужно этот мета-тэг прописать?

Спасибо.
ella вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
robots.txt - учимся использовать. Часто задаваемые вопросы по robots.txt Alex LM Общие вопросы 18 10.05.2016 11:09
robots.txt для DLE YaltaHome.com DLE 9 10.12.2012 10:45
Про robots.txt heretic Joomla 6 17.03.2011 10:40
google и robots.txt wnt Индексация сайта 3 24.01.2011 11:39
Robots.txt Anaksagor Индексация сайта 5 17.09.2009 14:17

Текущее время: 23:36. Часовой пояс GMT +3.