Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 21.08.2010, 19:15   #31
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

У Гугла - в вебмастере "Конфигурация сайта" - "Доступ для сканера" - внизу выбрать нужного робота ("Googlebot") - проверить...
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 22.08.2010, 14:39   #32
 
Аватар для flober
 
Сообщений: 39
FR (активность): 535

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Проверил, Гугл тоже скушал, все ОК.
flober вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 03.08.2011, 12:20   #33
 
Аватар для Valorous
 
Сообщений: 69
FR (активность): 2,012

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Здравствуйте, помогите, пожалуйста, с файлом robots.txt
После создания сайта создателями был закрыт доступ к сайту для поисковиков, после просьбы открыть индексацию файл стал выглядеть следующим образом:
User-agent: *
Disallow:
Sitemap: http://hausemafia.ru/sitemap.223832.xml.gz

User-Agent: Yandex
Allow: /
Host: hausemafia.ru
Sitemap: http://hausemafia.ru/sitemap.223832.xml.gz
Я, конечно, не особо разбираюсь в файле robots.txt, но мне кажется, что он прописан правильно, разве только можно убрать дерективу для Яндекса, поскольку есть User-agent: * Однако, в Вебмастере яндекса до сих пор прописано: "Внимание! Главная страница сайта исключена из индекса: Документ запрещен в файле robots.txt .", хотя робот уже не раз посещал сайт. В чем может быть причина?


С уважением, Valorous
Valorous вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 03.08.2011, 12:49   #34
 
Аватар для Grush
 
Сообщений: 414
FR (активность): 6,880

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

вот тут проверьте http://webmaster.yandex.ru/robots.xml


Цитата:
Сообщение от Valorous Посмотреть сообщение
Однако, в Вебмастере яндекса до сих пор прописано: "Внимание! Главная страница сайта исключена из индекса: Документ запрещен в файле robots.txt .", хотя робот уже не раз посещал сайт. В чем может быть причина?
там данные не изменяются мгновенно, может быть задержка до двух недель

Добавлено через 2 минуты
Цитата:
Сообщение от Valorous Посмотреть сообщение
Sitemap: http://hausemafia.ru/sitemap.223832.xml.gz
а почему карта сайта в таком виде?
Grush вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Valorous (03.08.2011)
Старый 03.08.2011, 13:01   #35
 
Аватар для Valorous
 
Сообщений: 69
FR (активность): 2,012

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Цитата:
Сообщение от Grush Посмотреть сообщение
вот тут проверьте http://webmaster.yandex.ru/robots.xml
Уже проверял, выдает следующее:
Используемые секции Строка
3-3 Sitemap: http://hausemafia.ru/sitemap.223832.xml.gz
5-8 User-Agent: Yandex
Allow: /
Host: hausemafia.ru
Sitemap: http://hausemafia.ru/sitemap.223832.xml.gz

Цитата:
Сообщение от Grush Посмотреть сообщение
там данные не изменяются мгновенно, может быть задержка до двух недель
А ну возможно тогда в этом и есть причина
Цитата:
Сообщение от Grush Посмотреть сообщение
а почему карта сайта в таком виде?
Карта сайта создается в таком виде автоматически движком сайта, доступа по ftp у меня нет, поэтому сделать карту вручную я не могу


С уважением, Valorous
Valorous вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 03.08.2011, 13:03   #36
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Цитата:
Сообщение от Valorous Посмотреть сообщение
хотя робот уже не раз посещал сайт
смотря какой.. там роботов, как десептиконов в последних Трансформерах - тысячи, легионы просто.
Индексирующий пройдется, потом АП. У меня закрытый от индексации сайт после разрешения на индексацию недели три висел с таким сообщением.
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Valorous (03.08.2011)
Старый 03.08.2011, 13:54   #37
 
Аватар для Valorous
 
Сообщений: 69
FR (активность): 2,012

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Интересное сравнение))) Хех, может я и вправду слишком рано начал паниковать) Хотя заметил такой момент: когда сайт был запрещен к индексации вебмастер так и писал: сайт запрещен к индексации в robots.txt, после того как индексация была разрешена сообщение пропало на несколько дней, а после появилось сообщение, что главная страница исключена из индекса


С уважением, Valorous
Valorous вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 03.08.2011, 15:06   #38
 
Аватар для MbILLIEHbKA
 
Сообщений: 36
FR (активность): 471

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Цитата:
Сообщение от Valorous Посмотреть сообщение
User-agent: *
Disallow:
Sitemap: http://hausemafia.ru/sitemap.223832.xml.gz

User-Agent: Yandex
Allow: /
Host: hausemafia.ru
Sitemap: http://hausemafia.ru/sitemap.223832.xml.gz
А не стоит ли прописать что именно Disallow? А то ботам открыто к индексации все (что неверно - вспомним недавнюю историю с Мегафоном). И еще стоит главное зеркало прописать - хост с www или без.

А еще можно помощь почитать по роботсу.
MbILLIEHbKA вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Valorous (03.08.2011)
Старый 03.08.2011, 15:23   #39
 
Аватар для Valorous
 
Сообщений: 69
FR (активность): 2,012

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Цитата:
Сообщение от MbILLIEHbKA Посмотреть сообщение
А не стоит ли прописать что именно Disallow?
Я думал об этом, но если честно не знаю как это сделать не имея доступа по ftp, я просто не знаю как выглядит вся структура сайта, какие в нем каталоги и т.д., т.е. я просто не знаю, что запрещать.

Цитата:
Сообщение от MbILLIEHbKA Посмотреть сообщение
И еще стоит главное зеркало прописать - хост с www или без
А что дает директива host? Как сайт будет отображаться в поиске? И будет ли передоваться вес ссылки формата www.site.ru, если прописана директива host: site.ru


С уважением, Valorous
Valorous вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 03.08.2011, 15:37   #40
 
Аватар для MbILLIEHbKA
 
Сообщений: 36
FR (активность): 471

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Цитата:
Сообщение от Valorous Посмотреть сообщение
А что дает директива host? Как сайт будет отображаться в поиске? И будет ли передоваться вес ссылки формата www.site.ru, если прописана директива host: site.ru
Директива Host указывает главное зеркало. В поиске отобразится главное зеркало. Для Яндекса оно у Вас уже прописано без WWW. Для остальных - никак не прописано. Передаваться вес ссылок должен, если редирект правильно прописан.

Насчет структуры сайта и Disallow - дело, конечно, хозяйское, но я бы озаботился. На всякий случай.
MbILLIEHbKA вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 03.08.2011, 16:13   #41
 
Аватар для Valorous
 
Сообщений: 69
FR (активность): 2,012

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Цитата:
Сообщение от MbILLIEHbKA Посмотреть сообщение
Передаваться вес ссылок должен, если редирект правильно прописан.
А где он прописывается и как выглядит?


С уважением, Valorous
Valorous вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 03.08.2011, 16:18   #42
 
Аватар для MbILLIEHbKA
 
Сообщений: 36
FR (активность): 471

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Цитата:
Сообщение от Valorous Посмотреть сообщение
А где он прописывается и как выглядит?
Обычно в htaccess. Правило наподобие вот такого:

RewriteCond %{HTTP_HOST} ^www.site.ru
RewriteRule (.*) http://site.ru/$1 [R=301,L]

Этот вариант "приклеивает" домен с WWW к домену без WWW. Кажется, Вам так и надо, судя по тому, что главное зеркало для Яшки у Вас без WWW указано.
MbILLIEHbKA вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Valorous (03.08.2011)
Старый 03.08.2011, 16:28   #43
 
Аватар для Valorous
 
Сообщений: 69
FR (активность): 2,012

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Хмм, я тут интересную вещь заметил. У меня есть сайт gsavto.ru В robots.txt прописано host: gsavto.ru, однако при раскрутке все ссылки закупались в формате www.gsavto.ru, и на данный момент это самый раскрученный сайт связанный с ремонтом глушителей, все возможные запросы в топ 10. При этом никакого редиректа на сайте нет, как и файла htaccess. Следовательно, вес ссылки все же передается с www.site.ru на site.ru даже без редиректа?


С уважением, Valorous
Valorous вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Метки
robots.txt

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2328 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Текущее время: 09:21. Часовой пояс GMT +3.