Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 30.06.2011, 01:29   #1
 
Аватар для Smallbear
 
Сообщений: 12
FR (активность): 332

Доп. информация
По умолчанию Автор темы Вопрос про robots.txt и индексацию сайта

Помогите пожалуйста понять что к чему.
Добавил сайт в гугл а он почему-то не появляется в поиске,времени прошло не много всего пару дней по этому не сильно переживал по этому поводу. Но вот заглянул в гуглвебмастер ,чтобы добавить карту сайта и заметил,что файл robot.txt у меня на сайте имеет следущее содержание

[PHP]User-agent: *
Disallow: /[/PHP]
т.е. сайт полностью закрыт от поисковиков, но файл robots я давно уже переписал,ну а в гугле получается,что остался старый.
Сейчас я создал запрос на удаление страницы нttp:// mysite.com/robots.txt в вебмастере и жду пока эта странится удалится,правильно ли я сделал?
Что вообще правильно было бы сделать в этой ситуации?
Smallbear вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 30.06.2011, 09:13   #2
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: Вопрос про robots.txt и индексацию сайта

Цитата:
Сообщение от Smallbear Посмотреть сообщение
файл robot.txt у меня на сайте
Smallbear, все таки файл у вас называется robot.txt (что неправильно) или robots.txt ?
Если файл называется "robot.txt" - то вообще без разницы, что в нем написано.
Цитата:
Сообщение от Smallbear Посмотреть сообщение
создал запрос на удаление страницы
Зачем? Гугл его сам подгрузит при ближайшем обходе сайта. Не надо его удалять.
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 30.06.2011, 10:52   #3
 
Аватар для Smallbear
 
Сообщений: 12
FR (активность): 332

Доп. информация
По умолчанию Автор темы Re: Вопрос про robots.txt и индексацию сайта

Цитата:
Сообщение от umka from ufa Посмотреть сообщение
Smallbear, все таки файл у вас называется robot.txt (что неправильно) или robots.txt ?
Если файл называется "robot.txt" - то вообще без разницы, что в нем написано.
файл назвывается правильно,это я ошибся просто
Цитата:
Сообщение от umka from ufa Посмотреть сообщение
Зачем? Гугл его сам подгрузит при ближайшем обходе сайта. Не надо его удалять.
зачем это уже вопрос риторический, просто понял из-за чего сайта нигде нет и удалил, вопрос в том что теперь делать?Т.е. я удалил ссылку нttp:// mysite.com/robots.txt из индекса как я понял, теперь этот гугловский робот вообще сможет увидеть эту ссылку или нужно какие-то действия предпринимать?Посоветуйте пожалуйста
Smallbear вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 30.06.2011, 11:36   #4
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: Вопрос про robots.txt и индексацию сайта

Цитата:
Сообщение от Smallbear Посмотреть сообщение
зачем это уже вопрос риторический
да не, не риторический. Удаляйте - не удаляйте, но все равно, как робот зайдет - он robots.txt загрузит.
Обход сайта роботом начинается с чтения того, что в этом файле написано.
То есть ничего не нужно предпринимать - ни удалять, ни добавлять, исправили - ждите робота, он прочитает. Потом только ошибки посмотрите, если будут...
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 30.06.2011, 12:06   #5
 
Аватар для Smallbear
 
Сообщений: 12
FR (активность): 332

Доп. информация
По умолчанию Автор темы Re: Вопрос про robots.txt и индексацию сайта

Я робота конечно жду,только мне кажется,что он не прийдет
Смотрю в вебмастере такая строка

нttp:// mysite.com/robots.txt 12.06.2011 200 (Успешно) Для робота Google установлен запрет на нttp:// mysite.com/

т.е. роботс загружен еще 12 числа, после этого я уже его один раз менял,сейчас вот он имеет такое содержание:

Оффтоп:

User-agent: *
Disallow: /index.php?route=account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=

Disallow: /*?page
#Запрещаем индексировать все страницы продукции производителя, кроме первой.
#Тут две стороны медали - с одной мы избавляемся от дублей тайтлов и мета-тегов,
#а с другой теряем все страницы с товарами одной фирмы, кроме первой

Disallow: /*?manufacturer
#Запрещаем индексировать все страницы производителей, так как они уже есть у нас с сео-урл

Disallow: /*?sort
#Запрещаем индексировать все страницы с разными видами сортировок, ибо иначе у нас будет десяток дублей одной и той же страницы

Disallow: /*?order
#Запрещаем индексировать все страницы с разными видами порядка вывода, причины те же

Disallow: /*?keyword
#Запрещаем индексировать все страницы с метками

Sitemap: нttp:// mysite.com./sitemap.xml

Allow: /


Но всеравно в вебмастере ничего не меняется. Я вот думаю это наверно не нормально,что столько времени прошло и ничего не изменилось?Может куда-то можно написать спросить может сайт как-то забанили или еще что-то,не может быть такого?
Smallbear вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 30.06.2011, 12:30   #6
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: Вопрос про robots.txt и индексацию сайта

Цитата:
Сообщение от Smallbear Посмотреть сообщение
Может куда-то можно написать спросить может сайт как-то забанили
если вот такое сообщение:
Цитата:
Сообщение от Smallbear Посмотреть сообщение
Для робота Google установлен запрет
- то значит вы сами и "забанили".
- "инструменты для вебмастеров" - "Конфигурация сайта" - "Доступ для сканера" - окошко разделенное на две части. Вверху - текущий роботс. Внизу - поле для проверки. Вбиваете в него url-ы, начиная с морды, "Роботы User Agent" - первый всегда "Googlebot : сканирует страницы для веб-индекса и новостей Google", второго выбираете по своему вкусу. Жмете "проверить"

Затем сюда: http://webmaster.yandex.ru/robots.xml
- и повторяете проверку (на предмет совместимости и для уверенности).

Если "Для робота Google установлен запрет" - это вы сами ему в роботс что-то запретили лишнее.
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 30.06.2011, 13:04   #7
 
Аватар для Smallbear
 
Сообщений: 12
FR (активность): 332

Доп. информация
По умолчанию Автор темы Re: Вопрос про robots.txt и индексацию сайта

Давайте по порядку,т.к. я по-моему что-то не понимаю.

Эту строку нttp:// mysite.com/robots.txt 12.06.2011 200 (Успешно) Для робота Google установлен запрет на нttp:// mysite.com/ я как раз и взял в разделе "Доступ для сканера"
Как Вы и написали
Цитата:
Вверху - текущий роботс
т.е. тот файл роботс который загружен гуглом в последний раз (у меня этот последний раз 12 июня),вот как раз тот роботс что загружен имеет такое содержание:
[php]User-agent: *
Disallow: /[/php]

а тот что фактически сейчас находится на сайте имеет совершенно другое содержание. Исходя из этого я не пойму зачем мне вбивать какие-то урлы в то окошко что ниже , ведь измение всеравно там не остаются.И не совсе понял зачем Вы написали про яндекс,это к тому что и там нужно что-то проверить? Но мне бы хоть с гуглом справится сначала

сейчас смотрю дата загрузки роботса поменялась на 29 июня пойду проверять может что поменялось
Smallbear вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 30.06.2011, 13:20   #8
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: Вопрос про robots.txt и индексацию сайта

Цитата:
Сообщение от Smallbear Посмотреть сообщение
И не совсе понял зачем Вы написали про яндекс,это к тому что и там нужно что-то проверить?
гугл и яндекс поддерживают разные диррективы в роботс и то, что работает для одного - может не работать для другого. Пример: дирректива host, которая крайне важна для яндекса и совершенно не нужна для гугла. То есть, что для одного будет корректным файлом, для другого может оказаться несъедобным.
Цитата:
Сообщение от Smallbear Посмотреть сообщение
а тот что фактически сейчас находится на сайте имеет совершенно другое содержание
..ну тогда просто ждите.
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 30.06.2011, 22:26   #9
 
Аватар для Smallbear
 
Сообщений: 12
FR (активность): 332

Доп. информация
По умолчанию Автор темы Re: Вопрос про robots.txt и индексацию сайта

спасибо большое за помощь сейчас просто жду,надеюсь со временем проиндексируется нормальный роботс,пока остановился на таком:

Оффтоп:


User-Agent: *
Disallow: /index.php?route=account
Disallow: /index.php?route=checkout
Disallow: /index.php?route=common
Disallow: /index.php?route=product
Disallow: /index.php?route=information/information&information_id=
Disallow: /*?manufacturer
Disallow: /*?sort
Disallow: /*?order
Disallow: /*?keyword
Disallow: /admin/
Disallow: /download/
Disallow: /catalog/
Disallow: /system/


User-agent: Yandex
Disallow: /index.php?route=account
Disallow: /index.php?route=checkout
Disallow: /index.php?route=common
Disallow: /index.php?route=product
Disallow: /index.php?route=information/information&information_id=
Disallow: /*?manufacturer
Disallow: /*?sort
Disallow: /*?order
Disallow: /*?keyword
Disallow: /admin/
Disallow: /download/
Disallow: /catalog/
Disallow: /system/
Host: mysite.com

Sitemap: нttp://mysite.com/sitemap.xml

Allow: /
Smallbear вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.07.2011, 13:48   #10
 
Аватар для Smallbear
 
Сообщений: 12
FR (активность): 332

Доп. информация
По умолчанию Автор темы Re: Вопрос про robots.txt и индексацию сайта

ура гугл вроде как добавил сайт,только по-моему одну главную страницу и судя по title не ту версию страницы которая сейчас на сайте.
Т.е. видимо сайт давно проиндексировался , но в результатах только сейчас появился,такое вообще может быть?
Smallbear вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.07.2011, 19:39   #11
 
Аватар для silver1278
 
Сообщений: 40
FR (активность): 359

Доп. информация
По умолчанию Re: Вопрос про robots.txt и индексацию сайта

Цитата:
Сообщение от Smallbear Посмотреть сообщение
ура гугл вроде как добавил сайт,только по-моему одну главную страницу и судя по title не ту версию страницы которая сейчас на сайте.
Т.е. видимо сайт давно проиндексировался , но в результатах только сейчас появился,такое вообще может быть?
Может, google в скором времени проиндексирует и оставшиеся страницы, главное развивайте сайт, контент добавляйте уникальный.
silver1278 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 04.07.2011, 22:25   #12
 
Аватар для IgorZaz
 
Сообщений: 597
FR (активность): 14,158

Доп. информация
По умолчанию Re: Вопрос про robots.txt и индексацию сайта

Хм...
Сейчас инспектировал всякие мелочи и наткнулся на вот что:
User-agent: Yandex
Disallow: /links.html


Яндекс пишет что доступ разрешен.....
также /links.php , зато нормально относится к папке /links/
Это что за косяк такой у него? При такой же структуре но у гугла
User-Agent: Googlebot
Disallow: /links.html

-все нормально, запрещает....
Смотрел на серваке у Я - вроде все правильно с синтаксисом, или что-то проглядел?

P.S.
Так в общем и не понял в чем косяк( Закрыл все User-agent: * и яндекс запрет показал...


Google - для слабаков! Настоящие мужики спрашивают у ясеня!
IgorZaz вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 07.07.2011, 10:50   #13
 
Аватар для SergeyK
 
Сообщений: 8
FR (активность): 0

Доп. информация
По умолчанию Re: Вопрос про robots.txt и индексацию сайта

любой поисковик сначала забирает сайт в кеш, а во втором действии, из кеша составляет индекс для выдачи. Гугль обещает делать это не более 90 дней, но по факту делает бысрее
SergeyK вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2352 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
вопрос про robots.txt Customizer Индексация сайта 30 22.08.2013 10:13
Вопрос про host: в robots Chemodan Индексация сайта 2 07.07.2011 10:54
Вопрос про индексацию ссылок Всеволод Продвижение ссылками 5 15.06.2011 15:49
Нужно ли в robots.txt прописывать запрет к индексации папки sape? webmas Разработка сайтов 3 27.03.2011 02:33
Вопрос по robots.txt mumitroll Беседка 0 23.07.2009 15:26

Текущее время: 01:39. Часовой пояс GMT +3.