Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 07.08.2009, 18:23   #1
 
Аватар для Customizer
 
Сообщений: 49
FR (активность): 2,085

Доп. информация
По умолчанию Автор темы вопрос про robots.txt

простите за мой нубский вопрос, но все же.
мой robots.txt выглядит так 9я его не менял)

Код:
User-agent: *
Disallow:

Sitemap: http://cgdesignstyle.ru/sitemap.xml.gz

<!-- www.000webhost.com Analytics Code -->
<script type="text/javascript" src="http://analytics.hosting24.com/count.php"></script>
<noscript><a href="http://www.hosting24.com/"><img src="http://analytics.hosting24.com/count.php" alt="web hosting" /></a></noscript>
<!-- End Of Code -->
вроде хосьтингом создан. он ничего не закрывает у меня на сайте от индексации?
Customizer вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 09.08.2009, 23:07   #2
 
Аватар для upgreyt
 
Сообщений: 434
FR (активность): 14,103

Доп. информация
По умолчанию Ответ: вопрос про robots.txt

Нужно это выкинуть
<!-- www,000webhost.com Analytics Code -->
<script type="text/javascript" src="http://analytics.hosting24.com/count.php"></script>
<noscript><a href="http://www.hosting24.com/"><img src="http://analytics.hosting24.com/count.php" alt="web hosting" /></a></noscript>
<!-- End Of Code -->
upgreyt вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
pashbelyj (13.08.2009)
Старый 10.08.2009, 07:57   #3
 
Аватар для Pedro
 
Сообщений: 168
FR (активность): 2,501

Доп. информация
По умолчанию Ответ: вопрос про robots.txt

Цитата:
Сообщение от upgreyt Посмотреть сообщение
Нужно это выкинуть
<!-- www,000webhost.com Analytics Code -->
<script type="text/javascript" src="http://analytics.hosting24.com/count.php"></script>
<noscript><a href="http://www.hosting24.com/"><img src="http://analytics.hosting24.com/count.php" alt="web hosting" /></a></noscript>
<!-- End Of Code -->
Это вообще галимая !вставка! если она там будет нечего не изменит !!!


http://www.moneysyst.biz
Pedro вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
and46846234 (02.09.2009), pashbelyj (13.08.2009)
Старый 10.08.2009, 09:10   #4
 
Аватар для Интеграл
 
Сообщений: 10
FR (активность): 134

Доп. информация
По умолчанию Ответ: вопрос про robots.txt

Оффтоп:
Код:
User-agent: *
Disallow:

Sitemap: http://cgdesignstyle.ru/sitemap.xml.gz

<!-- www.000webhost.com Analytics Code -->
<script type="text/javascript" src="http://analytics.hosting24.com/count.php"></script>
<noscript><a href="http://www.hosting24.com/"><img src="http://analytics.hosting24.com/count.php" alt="web hosting" /></a></noscript>
<!-- End Of Code -->


Этот код ничего не запрещает индексировать.

Но для красоты рекомендую отредактировать сообщение.
Итоговый вариант:
Код:
User-agent: *
Disallow:
Sitemap: http://cgdesignstyle.ru/sitemap.xml.gz
Мелочь, но ПС все же приятно.


Воля - это то, что заставляет тебя ПОБЕЖДАТЬ, когда твой рассудок говорит тебе что ты повержен.
Интеграл вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 09.04.2011, 16:21   #5
 
Аватар для newinseo
 
Сообщений: 295
FR (активность): 8,496

Доп. информация
По умолчанию Re: вопрос про robots.txt

Чтобы не делать новую тему, продолжу вопрос про robots.txt тут.

Есть много страниц каталога. Если я хочу, чтобы все страницы (2-я, 3-я, и т.д.) не попали в индекс, но роботы сканировали их и индексировали товары (исходящие ссылки), то нужно использовать Noindex вместо Disallow ?

Например Noindex: /shop/page*
newinseo вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 13.04.2011, 10:53   #6
 
Аватар для bezdelnik_1
 
Сообщений: 70
FR (активность): 2,138

Доп. информация
По умолчанию Re: вопрос про robots.txt

Сегодня заметил в Мастерской Яши, что он ругается на двойное написание хоста в разных строках для разных роботов (на приложенном рисунке внизу справа).

Не знаю, плохо ли это, но на всякий случай решил сделать так:
Смысл изменений в том, что если мы хотим сделать разные указания для разных роботов, то хост, сайтмап и прочее нужно писать для всех роботов, а различия писать отдельно для каждого.

Вот такой пример:
Код:
User-agent: *
Host: yoursite.ru
Sitemap: http://yoursite.ru/sitemap.xml

User-agent: Yandex
Disallow: /images/

User-agent: Google
Disallow: /*txt/
И думаю, что:
- все роботы, заходящие на сайт, будут определять хост (в данном случае без www), а также кушать карту сайта.
- робот Яндекса при этом не будет индексировать папку рисунков по имени "images"
- робот Гугла не будет индексировать все файлы, в имени или расширении которых имеется сочетание "txt".

Как считаете?
Миниатюры
вопрос про robots.txt-dvoynoy_host.jpg  


чтобы быть слабым и добрым, нужно быть сильным и злым ©
bezdelnik_1 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 15.04.2011, 16:51   #7
 
Аватар для srade
 
Сообщений: 3
FR (активность): 0

Доп. информация
По умолчанию Re: вопрос про robots.txt

User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

А вот так норм?
srade вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 15.04.2011, 16:54   #8
 
Аватар для terranodar
 
Сообщений: 410
FR (активность): 14,157

Доп. информация
По умолчанию Re: вопрос про robots.txt

srade, Норм, если закрывает от индексации всё что нужно. Лучше проверьте через панельку Я.Вебмасте скормив ссылки, которые должны индексироваться и ссылки, которые должны блокироваться через robots.txt


Чтобы определить – писать глагол с -тся или -ться, спросите себя, на какой вопрос отвечает этот глагол – "что делать?" или "что делает?". Если в вопросе есть мягкий знак, значит он есть и в глаголе.
terranodar вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 18.04.2011, 22:46   #9
 
Аватар для vok2006
 
Сообщений: 2
FR (активность): 10

Доп. информация
По умолчанию Re: вопрос про robots.txt

Нормально или нет можно сказать, только зная что ты хочешь показать роботам, и зависит на каком движке сделан сайт.
vok2006 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 07.07.2011, 11:18   #10
 
Аватар для SergeyK
 
Сообщений: 8
FR (активность): 0

Доп. информация
По умолчанию Re: вопрос про robots.txt

Вообще-то директива пишется Host только для Яндекса, для Гугля основное имя назначается в сервисе вебмастера
SergeyK вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 07.07.2011, 11:23   #11
 
Аватар для Grush
 
Сообщений: 414
FR (активность): 6,880

Доп. информация
По умолчанию Re: вопрос про robots.txt

Цитата:
Сообщение от bezdelnik_1 Посмотреть сообщение
Смысл изменений в том, что если мы хотим сделать разные указания для разных роботов, то хост, сайтмап и прочее нужно писать для всех роботов, а различия писать отдельно для каждого.

Вот такой пример:
http://help.yandex.ru/webmaster/?id=996567#996568

Цитата:
если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются
Grush вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Umka (07.07.2011)
Старый 18.07.2011, 20:18   #12
 
Аватар для Farsound
 
Сообщений: 2
FR (активность): 0

Доп. информация
По умолчанию Re: вопрос про robots.txt

Если в робот.тхт запрещена индексация страницы, это все равно не мешает пауку копировать страницы? Так или нет?
Farsound вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 18.07.2011, 20:24   #13
 
Аватар для cthulchu
 
Сообщений: 3,670
FR (активность): 107,432

Доп. информация
По умолчанию Re: вопрос про robots.txt

де факто - нет.
де юро - да.
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 23.08.2011, 22:37   #14
 
Аватар для shumelkamysh
 
Сообщений: 23
FR (активность): 569

Доп. информация
По умолчанию Re: вопрос про robots.txt

Дабы не заводить новую тему.
У меня в роботсе написано много всего, подскажите пожалуйста, в начале особенно меня волнует, перед User-agent:, нужно оно или нет, и в целом, все остальное верно?
[html]#
# robots.txt
#
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
#
# This file will be ignored unless it is at the root of your host:
# Used: http://example.com/robots.txt
# Ignored: http://example.com/site/robots.txt
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html

User-agent: *
Crawl-delay: 10
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
# Files
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /logout/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=logout/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
[/html]
shumelkamysh вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 23.08.2011, 23:12   #15
 
Аватар для cthulchu
 
Сообщений: 3,670
FR (активность): 107,432

Доп. информация
По умолчанию Re: вопрос про robots.txt

мда...


shumelkamysh, все строки, начинающиеся с диеза являются комментариями, никак ни на что не вляющими, кроме как на размера файла.
дизаллоу всех .txt убери, а сами .txt удали.
остальное не так важно.
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
shumelkamysh (23.08.2011)
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Динамически формируемый robots.txt Масаракш Индексация сайта 0 12.10.2009 23:31
Robots.txt Anaksagor Индексация сайта 5 17.09.2009 14:17
Вопрос по robots.txt mumitroll Беседка 0 23.07.2009 15:26
Использование robots.txt specialist-seo Разработка сайтов 0 07.04.2009 15:16
Как правильно составить Robots.txt? Dino_ak47 Google 16 03.03.2009 02:51

Текущее время: 20:54. Часовой пояс GMT +3.