Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 28.11.2013, 09:27   #1
 
Аватар для mr_freeman
 
Сообщений: 8
FR (активность): 186

Доп. информация
По умолчанию Автор темы Как запретить индексацию сайта?

Всем привет! Есть два сайта на домене .ru и .рф. Оба берут данные из одного ftp. Как запретить индексацию того, что на .рф?
mr_freeman вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.11.2013, 09:32   #2
 
Аватар для gidroballon
 
Сообщений: 605
FR (активность): 21,095

Доп. информация
По умолчанию

robots.txt еще не отменяли вроде

User-agent: Yandex
Disallow: /


Bali Baguette: Эксклюзивно. Качественно. Доступно.
gidroballon вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.11.2013, 09:37   #3
 
Аватар для mr_freeman
 
Сообщений: 8
FR (активность): 186

Доп. информация
По умолчанию Автор темы

Цитата:
Сообщение от gidroballon Посмотреть сообщение
robots.txt еще не отменяли вроде

User-agent: Yandex
Disallow: /
Так этот роботс будет действовать на оба сайта. А мне нужно не индексировать только один.
mr_freeman вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.11.2013, 09:41   #4
 
Аватар для Phoenix
 
Сообщений: 1,005
FR (активность): 35,050

Доп. информация
По умолчанию

mr_freeman, у вас сайты разделены по папкам?


В сео денег нет, совсем нет
Phoenix вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.11.2013, 09:44   #5
 
Аватар для Hodge
 
Сообщений: 685
FR (активность): 14,957

Доп. информация
По умолчанию

mr_freeman, ридерект с рф на ru или на оборот.
Если в robots.txt прописать host, то поисковики выберут указанный домен, а второй просто склеят.
Hodge вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.11.2013, 09:44   #6
 
Аватар для mr_freeman
 
Сообщений: 8
FR (активность): 186

Доп. информация
По умолчанию Автор темы

Нашел инфу на одном форуме (ссылка тут):

-----------------------
В файл .htaccess добавляем

RewriteCond %{HTTP_HOST} ^mysite\.com
RewriteRule ^robots\.txt$ disallow.txt [L]
mysite.com понятно заменить на свой)

в корне сайта создать файл disallow.txt и записать

User-Agent: *
Disallow: /

User-Agent: Yandex
Disallow: /
Host: mysite.some.com
или что там у вас!

В итоге на этих двух сайтах файл robots.txt при запросе в адресной строке, должен быть разный!
-----------------------

Это будет работать?

Сообщение добавлено 28.11.2013 в 10:45

Цитата:
Сообщение от Phoenix Посмотреть сообщение
mr_freeman, у вас сайты разделены по папкам?
нет, все файлы одни и те же

Сообщение добавлено 28.11.2013 в 10:45

Цитата:
Сообщение от Hodge Посмотреть сообщение
mr_freeman, ридерект с рф на ru или на оборот.
Если в robots.txt прописать host, то поисковики выберут указанный домен, а второй просто склеят.
Что значит склеят?
mr_freeman вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.11.2013, 10:35   #7
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию

Цитата:
Сообщение от mr_freeman Посмотреть сообщение
нет, все файлы одни и те же
Разнесите. Сделайте .рф отдельно.

Можно сделать так: отделить .рф и сделать все его содержимое из одного файла .htaccess такого вида:

Код:
RewriteEngine On
RewriteBase /
RewriteCond %{http_host} ^имя_сайта.рф$
RewriteRule ^(.*)$ http://www.имя_сайта.ru/$1 [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/
RewriteRule ^index\.html$ http://www.имя_сайта.ru [R=301,L]
RewriteCond %{http_host} ^www.имя_сайта.рф$
RewriteRule ^(.*)$ http://www.имя_сайта.ru/$1 [R=301,L]

При этом будет происходить перенаправление с .рф на .ru
Hodge: сообщение полезно
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.11.2013, 10:56   #8
 
Аватар для mr_freeman
 
Сообщений: 8
FR (активность): 186

Доп. информация
По умолчанию Автор темы

Цитата:
Сообщение от Umka Посмотреть сообщение
Разнесите. Сделайте .рф отдельно.

Можно сделать так: отделить .рф и сделать все его содержимое из одного файла .htaccess такого вида:

Код:
RewriteEngine On
RewriteBase /
RewriteCond %{http_host} ^имя_сайта.рф$
RewriteRule ^(.*)$ http://www.имя_сайта.ru/$1 [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.html\ HTTP/
RewriteRule ^index\.html$ http://www.имя_сайта.ru [R=301,L]
RewriteCond %{http_host} ^www.имя_сайта.рф$
RewriteRule ^(.*)$ http://www.имя_сайта.ru/$1 [R=301,L]

При этом будет происходить перенаправление с .рф на .ru
Зачем разносить то? А если будет меняться контент? Не править же кучу файлов и там и там. Посмотрите мое предыдущее сообщение, такой вариант подойдет?
mr_freeman вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.11.2013, 11:35   #9
 
Аватар для Hodge
 
Сообщений: 685
FR (активность): 14,957

Доп. информация
По умолчанию

mr_freeman, воспользуйтесь тем, что написал Umka.

Пример этого можно увидеть здесь:
Скрытый (как скрывать?) текст. Только для группы: "Новичок":
Ваша группа не позволяет просмотреть скрытую информацию.
Цитата:
Что значит склеят?
Есть такая замечательная вещь, как поиск по форуму, он поможет ищите зеркало и клей.
Hodge вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.11.2013, 11:38   #10
 
Аватар для mr_freeman
 
Сообщений: 8
FR (активность): 186

Доп. информация
По умолчанию Автор темы

Цитата:
Сообщение от mr_freeman Посмотреть сообщение
В файл .htaccess добавляем

RewriteCond %{HTTP_HOST} ^mysite\.com
RewriteRule ^robots\.txt$ disallow.txt [L]
mysite.com понятно заменить на свой)

в корне сайта создать файл disallow.txt и записать

User-Agent: *
Disallow: /

User-Agent: Yandex
Disallow: /
Host: mysite.some.com
или что там у вас!

В итоге на этих двух сайтах файл robots.txt при запросе в адресной строке, должен быть разный!
Я сделал вот так.
robots.txt действительно получился разный. Думаю, это будет работать.
mr_freeman вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.11.2013, 11:59   #11
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию

Цитата:
Сообщение от mr_freeman Посмотреть сообщение
А если будет меняться контент? Не править же кучу файлов и там и там.
Если сделать, как я написал - то контент у вас будет один. На одном сайте. А второй (.рф) - станет просто зеркало, которое при заходе на него будет перекидывать на основной сайт (на ру).
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Метки
запретить индексацию

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Запретить индексацию дублирующих страниц gigs Индексация сайта 6 03.03.2013 20:05
[ Вопрос ] Нужно запретить индексацию сайта АлексейЗ Яndex 8 06.02.2013 12:52
Как запретить индексацию с помощью .htaccess? garik77 Индексация сайта 11 26.11.2011 09:18
Как запретить индексацию поддомена sandazh Индексация сайта 12 31.03.2011 11:15
Как запретить индексацию блока текста для google? koreash Google 4 17.04.2009 20:15

Текущее время: 16:06. Часовой пояс GMT +3.