Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 12.10.2009, 23:31   #1
 
Аватар для Масаракш
 
Сообщений: 3
FR (активность): 118

Доп. информация
По умолчанию Автор темы Динамически формируемый robots.txt

Дано: основной сайт типа site.ru + поддомены типа xxx.site.ru. Все на одном хостинге. Причем физически xxx.site.ru и site.ru - это одно и тоже т.е. имеют единую точку входа (один и тот же файл/директория) (не спрашивайте зачем так сделано).

Задача: запретить индексирование всех субдоменов xxx.site.ru но не сам site.ru

Если создать обычный robots.txt то он будет общий для субдомена и сайта, что не подходит.

Варианты решения проблемы:
1. Сделать robots.txt динамическим, т.е. скриптом смотрим переменную $_SERVER['HTTP_HOST'], если запрос пришел на субдомен до генерим "disallow".
Как поисковики отнесутся к такому динамически генерируемому файлу?

2. Есть доступ к META тэгам страницы. Т.е. поставить NOINDEX, NOFOLLOW - это по идее должно запретить индексирование. Только вот вопрос все ли роботы их понимают и следуют им?

Что скажете?
Масаракш вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2989 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
вопрос про robots.txt Customizer Индексация сайта 30 22.08.2013 10:13
Robots.txt Anaksagor Индексация сайта 5 17.09.2009 14:17
Вопрос по robots.txt mumitroll Беседка 0 23.07.2009 15:26
Использование robots.txt specialist-seo Разработка сайтов 0 07.04.2009 15:16
Как правильно составить Robots.txt? Dino_ak47 Google 16 03.03.2009 02:51

Текущее время: 02:32. Часовой пояс GMT +3.