Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 04.06.2010, 08:23   #16
 
Аватар для kryon
 
Сообщений: 57
FR (активность): 2,308

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

И все же, а не проще поставить в robots ОБЩУЮ ИНСТРУКЦИЮ
User-Agent: * ?

Зачем пишут для яндекса робот файл и для гугла и для рамблера когда
User-Agent: * на сколько я знаю подходит для всех поисковиков???
kryon вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 04.06.2010, 10:29   #17
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Список поддерживаемых команд в роботс у Яндекса и Гугла разный. Подробнее поищите в справке вебмастера в Яндексе ("инструкция по работе с роботс..." или как-то так), аналогичная инструкция - есть у Гугла. Там не одно и то же.
Чтобы избежать ошибок их и разделяют.
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
kryon (04.06.2010)
Старый 04.06.2010, 11:24   #18
 
Аватар для kryon
 
Сообщений: 57
FR (активность): 2,308

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Теперь понятно. Спасибо буду рыть!
kryon вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 13.06.2010, 11:29   #19
 
Аватар для connstance
 
Сообщений: 2
FR (активность): 11

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Здравствуйте.
Подскажите пожалуйста, обязательно ли указывать поисковому роботу местоположение файла sitemap.xml, если оно к примеру расположено в корне сайте? Или хуже от лишнего указания не будет?
Заранее спасибо.
connstance вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 22.06.2010, 10:30   #20
 
Аватар для antishoker
 
Сообщений: 9
FR (активность): 0

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Если укажешь роботу на sitemap то будет на много лучше, чем если ты будешь ждать пока он сам проиндексирует, указывай обязательно!


http://img693.imageshack.us/img693/9213/bigbartigr.jpg
Я Начинающий Блогер, не ругайтесь
antishoker вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
connstance (28.06.2010)
Старый 28.06.2010, 08:20   #21
 
Аватар для connstance
 
Сообщений: 2
FR (активность): 11

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

antishoker, я понял. Действительно, я совершенно упустил из виду момент, что боты совершают индексацию не всего сразу, а делают это постепенно, и пока они доберутся до сайтмапа может пройти время. Спасибо.
connstance вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 29.06.2010, 22:16   #22
 
Аватар для odaplus
 
Сообщений: 823
FR (активность): 32,923

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Цитата:
Сообщение от IveGotSoul Посмотреть сообщение
Помогите с файликом robots.txt, правильно ли он составлен:

Код:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /pdf/
Disallow: /pechat.html
Sitemap: autogidroremont.ru/index.php?option=com_sefservicemap&task=xmlmapindex&no_html=1
Дерзайте.

Все о файле robots.txt по-русски
Файл robots.txt

Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt. Если вы – вебмастер, вы должны знать назначение и синтаксис robots.txt.
Файл robots.txt – это текстовый файл, находящийся в корневой директории сайта, в котором записываются специальные инструкции для поисковых роботов. Эти инструкции могут запрещать к индексации некоторые разделы или страницы на сайте, указывать на правильное «зеркалирование» домена, рекомендовать поисковому роботу соблюдать определенный временной интервал между скачиванием документов с сервера и т.д.
Создание robots.txt

Чтобы создать файл robotx.txt, нужен простой текстовый файл. Если вы не собираетесь создавать запреты к индексации, можно сделать пустой файл robots.txt.
Для Рунета самой часто встречающейся задачей является создание файла robots.txt для Яндекса [1], так как сейчас Яндекс – самая популярная поисковая система. Важно уметь правильно использовать директиву host [2], которую соблюдает этот поисковик.
Описание robots.txt

Чтобы правильно написать robots.txt, предлагаем вам изучить разделы этого сайта. Здесь собрана самая полезная информация о синтаксисе robots.txt, о формате robots.txt, примеры использования, а также описание основных поисковых роботов Рунета.
  • Как работать с robots.txt [3] — узнайте, что вы можете сделать, чтобы управлять роботами, которые посещают ваш веб-сайт.
  • Роботы Рунета [4] — разделы по роботам поисковых систем, популярных на просторах Рунета.
  • Частые ошибки в robots.txt [5] — список наиболее частых ошибок, допускаемых при написании файла robots.txt.
  • ЧаВо по веб-роботам [6] — часто задаваемые вопросы о роботах от пользователей, авторов и разработчиков.
  • Ссылки по теме [7] — аналог оригинального раздела “WWW Robots Related Sites”, но дополненый и расширенный, в основном по русскоязычной тематике.
О сайте

Этот сайт — некоммерческий проект. Значительная часть материалов — это переводы www.robotstxt.org [8], другая часть — оригинальные статьи. Мы не хотим ограничиваться только robots.txt, поэтому в некоторых статьях описаны альтернативные методы «ограничения» роботов.

Распечатано с сайта Robots.Txt по-русски: http://robotstxt.org.ru
Адрес страницы: http://robotstxt.org.ru
URLs in this post:
[1] robots.txt для Яндекса: http://robotstxt.org.ru/rurobots/yandex
[2] директиву host: http://robotstxt.org.ru/rurobots/yandex#host
[3] Как работать с robots.txt: http://robotstxt.org.ru/robotsexclusion
[4] Роботы Рунета: http://robotstxt.org.ru/rurobots
[5] Частые ошибки в robots.txt: http://robotstxt.org.ru/robotstxterrors
[6] ЧаВо по веб-роботам: http://robotstxt.org.ru/chavo
[7] Ссылки по теме: http://robotstxt.org.ru/links
[8] www.robotstxt.org: http://www.robotstxt.org


Вебмастер, заработай на своих сайтах
Оптимизатор, получай ссылки только с качественных ресурсов


Размещение статей на всегда, тема-строительство
odaplus вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
19-9 (30.06.2010)
Старый 20.08.2010, 19:29   #23
 
Аватар для flober
 
Сообщений: 39
FR (активность): 535

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

День добрый!
Такой вопрос по роботс:
Из вебмастера Яндекса известно что он онтрицательно относится к наличию страниц с результатами поиска, кроме того наличие таких страниц на сайте это ненужный дубль контента. Надо закрыть страницы в роботс.тхт. Я закрыл строкой disallow: /sort/, но проблема в том что у меня на сайте (доска объявлений) 12 городов и в каждом городе есть свои реультаты поиска. Строка для города выглядит так:
my site/kharkov/sort/?tag=143
my site/odessa/sort/?tag=912
и.т.д. и эти страницы индексируются. Пересмотрел кучу сайтов по синтаксису роботс, но нигде не нашел как закрывать вложенную категорию, а закрывать вручную несколько тысяч страниц просто нереально.
Кто может помочь советом?
flober вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 20.08.2010, 19:37   #24
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Может так?
Clean-param: tag /sort/

...не уверен насчет завершающего слеша, лучше в справке по роботс глянуть.
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 20.08.2010, 19:44   #25
 
Аватар для flober
 
Сообщений: 39
FR (активность): 535

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

что-то я эту строку не понял, умка можешь пояснить что она теоретически должна делать?
А справка на всех сайтах из одного источника и там только описание как закрыть папку после домена.
flober вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 20.08.2010, 20:31   #26
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Clean-param не запрещает к индексации, а отбрасывает ненужные параметры...
Все, что после ?tag - в тундру...
То есть страницы в индексе не будет и робот ее не будет обходить... Должен будет дойти до /sort/index.php (или чего там есть после sort ?) и на том угомониться...

Справка: я имел в виду инструкцию Яндекса... В ней описалово есть. Вотъ:
Скрытый (как скрывать?) текст. Только для группы: "Зарегистрированные":
Ваша группа не позволяет просмотреть скрытую информацию.
См 9. Директива Clean-param.

Пример. На одном моем сайте выглядит так:
Clean-param: view&print&layout&tmpl&option&Itemid&catid&id /index.php
- отбрасывает все печатные формы страницы, идентификаторы и пр., если они есть после index.php.
Работает уже пару лет. Яндекс не возражает. Гугл тоже...
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 20.08.2010, 20:53   #27
 
Аватар для flober
 
Сообщений: 39
FR (активность): 535

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

почитал, не совсем то что я хотел.
а если попробовать /?tag* будет ли закрывать вынеприведенную страницу и воспринимает ли гугл *
И насколько я понимаю синтаксис типа disallow: /kharkov/sort/ не сработает?
flober вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 20.08.2010, 21:41   #28
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Цитата:
Сообщение от flober Посмотреть сообщение
/?tag*
Вопрос там не нужен вроде... А звездочка по умолчанию....
disallow: /kharkov/sort/ не сработает
Цитата:
Сообщение от flober Посмотреть сообщение
и воспринимает ли гугл *
Отдельную секцию под Яндекс сделать. В ней и прописать то, где сомнения с Гуглом. А Яндекс потом проверить в http://webmaster.yandex.ru/wmconsole...robots_txt.xml
Загрузить роботс, ввести проверяемый урл (с тегом который), проверить. Если напишет "запрещен" - значит нормально. Я себе через эту форму и отлаживал, пока он ругаццо не перестал...
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
flober (21.08.2010)
Старый 21.08.2010, 11:15   #29
 
Аватар для wizardch
 
Сообщений: 42
FR (активность): 1,234

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

я составил robots.txt такого вида
Цитата:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://www.webseogold.ru/sitemap.xml

User-agent: Yandex
Crawl-delay: 5

Disallow: /tag
wizardch вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 21.08.2010, 17:26   #30
 
Аватар для flober
 
Сообщений: 39
FR (активность): 535

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

umka, спасибо за подсказку с проверкой роботс через Яндекс вебмастер!
Сегодня поэксперементировал - /?tag* не восприняло, а вот /kharkov/sort/ как ни странно сработало!
У меня 12 городов, добавить 12 строчек не сложно. Правда остается вопрос как это скушает гугл? Кстати, а у гугла нет сервиса проверки роботс.тхт?
flober вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Метки
robots.txt

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2329 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Текущее время: 10:10. Часовой пояс GMT +3.