Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 25.02.2012, 17:20   #1
 
Аватар для odaplus
 
Сообщений: 823
FR (активность): 32,923

Доп. информация
По умолчанию Автор темы Сео оптимизация.

Что такое robots.txt? Каким должно быть содержимое этого файла?
Такие вопросы часто задают новички на форумах или блогах, в этой небольшой статье я вкратце опишу предназначение файла robots.txt и его особенности.

Удаление сайта из поиска и запрет к индексации:

Для удаления сайта из ПС, необходимо роботам указать о запрете индексации содержимого.
Для этого залейте в корень сайта файл «robots.txt», в файле должны быть следующие строки:
User-agent: *
Disallow: /
Бывают редкие ситуации, когда необходимо запретить индексацию определенному роботу, например это будет робот Яндекса:
User-agent: Yandex
Disallow: /
Как же быть, если у Вас сайт работает на безопасном протоколе HTTPS и содержит такой же контент, как и HTTP? В этом случае Вам придется создать файл robots.txt для каждого протокола:
Для http (http://domen.ru/robots.txt):
User-agent: *
Allow: /
Для https (https://domen.ru/robots.txt):
User-agent: *
Disallow: /
Получается, что мы просто запрещаем к индексации и сканированию протокол HTTPS.

Если Вам необходимо срочно удалить страницу из ПС*, это можно сделать в панеле веб-мастера как у google так и yandex.
Igoshinaman: сообщение полезно


Вебмастер, заработай на своих сайтах
Оптимизатор, получай ссылки только с качественных ресурсов


Размещение статей на всегда, тема-строительство
odaplus вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Igoshinaman (10.03.2012), Lala Bagirova (25.02.2012)
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2124 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
О - обмен ссылками, обфускация, оптимизатор, оптимизация сайта, оптимизация страниц, Jokeron SEO словарь 1 19.06.2011 14:05
внутренняя оптимизация abro cadbury SEO оптимизация (анализ) 4 05.04.2010 13:52
Оптимизация SЕО YaltaHome.com Раскрутка в общих чертах 16 19.06.2009 22:31
Оптимизация!!! YaltaHome.com Софт оптимизатора, SEO утилиты 0 15.06.2009 18:14
Черная оптимизация judenfirst Раскрутка в общих чертах 2 15.05.2009 14:07

Текущее время: 01:32. Часовой пояс GMT +3.