Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 07.08.2009, 18:23   #1
 
Аватар для Customizer
 
Сообщений: 49
FR (активность): 2,085

Доп. информация
По умолчанию Автор темы вопрос про robots.txt

простите за мой нубский вопрос, но все же.
мой robots.txt выглядит так 9я его не менял)

Код:
User-agent: *
Disallow:

Sitemap: http://cgdesignstyle.ru/sitemap.xml.gz

<!-- www.000webhost.com Analytics Code -->
<script type="text/javascript" src="http://analytics.hosting24.com/count.php"></script>
<noscript><a href="http://www.hosting24.com/"><img src="http://analytics.hosting24.com/count.php" alt="web hosting" /></a></noscript>
<!-- End Of Code -->
вроде хосьтингом создан. он ничего не закрывает у меня на сайте от индексации?
Customizer вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 09.08.2009, 23:07   #2
 
Аватар для upgreyt
 
Сообщений: 434
FR (активность): 15,257

Доп. информация
По умолчанию Ответ: вопрос про robots.txt

Нужно это выкинуть
<!-- www,000webhost.com Analytics Code -->
<script type="text/javascript" src="http://analytics.hosting24.com/count.php"></script>
<noscript><a href="http://www.hosting24.com/"><img src="http://analytics.hosting24.com/count.php" alt="web hosting" /></a></noscript>
<!-- End Of Code -->
upgreyt вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Старый 10.08.2009, 07:57   #3
 
Аватар для Pedro
 
Сообщений: 168
FR (активность): 2,501

Доп. информация
По умолчанию Ответ: вопрос про robots.txt

Цитата:
Сообщение от upgreyt Посмотреть сообщение
Нужно это выкинуть
<!-- www,000webhost.com Analytics Code -->
<script type="text/javascript" src="http://analytics.hosting24.com/count.php"></script>
<noscript><a href="http://www.hosting24.com/"><img src="http://analytics.hosting24.com/count.php" alt="web hosting" /></a></noscript>
<!-- End Of Code -->
Это вообще галимая !вставка! если она там будет нечего не изменит !!!


http://www.moneysyst.biz
Pedro вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Старый 10.08.2009, 09:10   #4
 
Аватар для Интеграл
 
Сообщений: 10
FR (активность): 134

Доп. информация
По умолчанию Ответ: вопрос про robots.txt

Оффтоп:
Код:
User-agent: *
Disallow:

Sitemap: http://cgdesignstyle.ru/sitemap.xml.gz

<!-- www.000webhost.com Analytics Code -->
<script type="text/javascript" src="http://analytics.hosting24.com/count.php"></script>
<noscript><a href="http://www.hosting24.com/"><img src="http://analytics.hosting24.com/count.php" alt="web hosting" /></a></noscript>
<!-- End Of Code -->


Этот код ничего не запрещает индексировать.

Но для красоты рекомендую отредактировать сообщение.
Итоговый вариант:
Код:
User-agent: *
Disallow:
Sitemap: http://cgdesignstyle.ru/sitemap.xml.gz
Мелочь, но ПС все же приятно.


Воля - это то, что заставляет тебя ПОБЕЖДАТЬ, когда твой рассудок говорит тебе что ты повержен.
Интеграл вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 09.04.2011, 16:21   #5
 
Аватар для newinseo
 
Сообщений: 295
FR (активность): 8,496

Доп. информация
По умолчанию Re: вопрос про robots.txt

Чтобы не делать новую тему, продолжу вопрос про robots.txt тут.

Есть много страниц каталога. Если я хочу, чтобы все страницы (2-я, 3-я, и т.д.) не попали в индекс, но роботы сканировали их и индексировали товары (исходящие ссылки), то нужно использовать Noindex вместо Disallow ?

Например Noindex: /shop/page*
newinseo вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 13.04.2011, 10:53   #6
 
Аватар для bezdelnik_1
 
Сообщений: 70
FR (активность): 2,138

Доп. информация
По умолчанию Re: вопрос про robots.txt

Сегодня заметил в Мастерской Яши, что он ругается на двойное написание хоста в разных строках для разных роботов (на приложенном рисунке внизу справа).

Не знаю, плохо ли это, но на всякий случай решил сделать так:
Смысл изменений в том, что если мы хотим сделать разные указания для разных роботов, то хост, сайтмап и прочее нужно писать для всех роботов, а различия писать отдельно для каждого.

Вот такой пример:
Код:
User-agent: *
Host: yoursite.ru
Sitemap: http://yoursite.ru/sitemap.xml

User-agent: Yandex
Disallow: /images/

User-agent: Google
Disallow: /*txt/
И думаю, что:
- все роботы, заходящие на сайт, будут определять хост (в данном случае без www), а также кушать карту сайта.
- робот Яндекса при этом не будет индексировать папку рисунков по имени "images"
- робот Гугла не будет индексировать все файлы, в имени или расширении которых имеется сочетание "txt".

Как считаете?
Миниатюры
вопрос про robots.txt-dvoynoy_host.jpg  


чтобы быть слабым и добрым, нужно быть сильным и злым ©
bezdelnik_1 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 15.04.2011, 16:51   #7
 
Аватар для srade
 
Сообщений: 3
FR (активность): 0

Доп. информация
По умолчанию Re: вопрос про robots.txt

User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

А вот так норм?
srade вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 15.04.2011, 16:54   #8
 
Аватар для terranodar
 
Сообщений: 410
FR (активность): 14,157

Доп. информация
По умолчанию Re: вопрос про robots.txt

srade, Норм, если закрывает от индексации всё что нужно. Лучше проверьте через панельку Я.Вебмасте скормив ссылки, которые должны индексироваться и ссылки, которые должны блокироваться через robots.txt


Чтобы определить – писать глагол с -тся или -ться, спросите себя, на какой вопрос отвечает этот глагол – "что делать?" или "что делает?". Если в вопросе есть мягкий знак, значит он есть и в глаголе.
terranodar вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 18.04.2011, 22:46   #9
 
Аватар для vok2006
 
Сообщений: 2
FR (активность): 10

Доп. информация
По умолчанию Re: вопрос про robots.txt

Нормально или нет можно сказать, только зная что ты хочешь показать роботам, и зависит на каком движке сделан сайт.
vok2006 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 07.07.2011, 11:18   #10
 
Аватар для SergeyK
 
Сообщений: 8
FR (активность): 0

Доп. информация
По умолчанию Re: вопрос про robots.txt

Вообще-то директива пишется Host только для Яндекса, для Гугля основное имя назначается в сервисе вебмастера
SergeyK вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 07.07.2011, 11:23   #11
 
Аватар для Grush
 
Сообщений: 414
FR (активность): 6,880

Доп. информация
По умолчанию Re: вопрос про robots.txt

Цитата:
Сообщение от bezdelnik_1 Посмотреть сообщение
Смысл изменений в том, что если мы хотим сделать разные указания для разных роботов, то хост, сайтмап и прочее нужно писать для всех роботов, а различия писать отдельно для каждого.

Вот такой пример:
http://help.yandex.ru/webmaster/?id=996567#996568

Цитата:
если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются
Grush вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Umka (07.07.2011)
Старый 18.07.2011, 20:18   #12
 
Аватар для Farsound
 
Сообщений: 2
FR (активность): 0

Доп. информация
По умолчанию Re: вопрос про robots.txt

Если в робот.тхт запрещена индексация страницы, это все равно не мешает пауку копировать страницы? Так или нет?
Farsound вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 18.07.2011, 20:24   #13
 
Аватар для cthulchu
 
Сообщений: 3,701
FR (активность): 111,736

Доп. информация
По умолчанию Re: вопрос про robots.txt

де факто - нет.
де юро - да.
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 23.08.2011, 22:37   #14
 
Аватар для shumelkamysh
 
Сообщений: 23
FR (активность): 569

Доп. информация
По умолчанию Re: вопрос про robots.txt

Дабы не заводить новую тему.
У меня в роботсе написано много всего, подскажите пожалуйста, в начале особенно меня волнует, перед User-agent:, нужно оно или нет, и в целом, все остальное верно?
[html]#
# robots.txt
#
# This file is to prevent the crawling and indexing of certain parts
# of your site by web crawlers and spiders run by sites like Yahoo!
# and Google. By telling these "robots" where not to go on your site,
# you save bandwidth and server resources.
#
# This file will be ignored unless it is at the root of your host:
# Used: http://example.com/robots.txt
# Ignored: http://example.com/site/robots.txt
#
# For more information about the robots.txt standard, see:
# http://www.robotstxt.org/wc/robots.html
#
# For syntax checking, see:
# http://www.sxw.org.uk/computing/robots/check.html

User-agent: *
Crawl-delay: 10
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
# Files
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /logout/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=logout/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
[/html]
shumelkamysh вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 23.08.2011, 23:12   #15
 
Аватар для cthulchu
 
Сообщений: 3,701
FR (активность): 111,736

Доп. информация
По умолчанию Re: вопрос про robots.txt

мда...


shumelkamysh, все строки, начинающиеся с диеза являются комментариями, никак ни на что не вляющими, кроме как на размера файла.
дизаллоу всех .txt убери, а сами .txt удали.
остальное не так важно.
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
shumelkamysh (23.08.2011)
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 1889 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Динамически формируемый robots.txt Масаракш Индексация сайта 0 12.10.2009 23:31
Robots.txt Anaksagor Индексация сайта 5 17.09.2009 14:17
Вопрос по robots.txt mumitroll Беседка 0 23.07.2009 15:26
Использование robots.txt specialist-seo Разработка сайтов 0 07.04.2009 15:16
Как правильно составить Robots.txt? Dino_ak47 Google 16 03.03.2009 02:51

Текущее время: 06:07. Часовой пояс GMT +3.