Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковые системы > Google

Важная информация
Google - Поисковая система Google. Продвижение и раскрутка, оптимизация сайта, поисковое продвижение сайтов под Гугл, PR (Page Rank).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 31.01.2014, 18:36   #1
 
Аватар для Exitoso
 
Сообщений: 45
FR (активность): 1,825

Доп. информация
По умолчанию Автор темы Гугл игнорит запрет индексации и пишет "Описание веб-страницы недоступно из-за ограничений в файле robots.txt"

Как так, в файле роботс стоит запрет на индексацию страниц сайт.ру/user/...., но гугл красавчик же, проиндексировал страницы, в поиске выдает ссылки на страницы юзеров и пишет "Описание веб-страницы недоступно из-за ограничений в файле robots.txt.", как так???
Exitoso вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 31.01.2014, 18:46   #2
 
Аватар для knockie
 
Сообщений: 984
FR (активность): 30,313

Доп. информация
По умолчанию

Цитата:
Сообщение от Exitoso Посмотреть сообщение
в файле роботс стоит запрет на индексацию страниц сайт.ру/user/....
там стоит только просьба которую гугл может учитывать, а может и нет.
knockie вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 31.01.2014, 19:05   #3
 
Аватар для Jaga
 
Сообщений: 2,479
FR (активность): 74,145

Доп. информация
По умолчанию

Exitoso, та нормально, у меня был запрет на весь сайт, но статьи были настолько хороши, что гугл не сдержался, проиндексировал. В основной индекс сразу. Чтоб мир знал.
Jaga вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 31.01.2014, 19:38   #4
 
Аватар для wads
 
Сообщений: 261
FR (активность): 6,896

Доп. информация
По умолчанию

возможно стоит "запрет" для индексации ботами яндекса, а гугл этот "запрет" проигнорировал


Хочешь поблагодарить используй кнопку спасибо
wads вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.02.2014, 01:47   #5
 
Аватар для Rotgar Sett
 
Сообщений: 639
FR (активность): 23,789

Доп. информация
По умолчанию

Гугл где-то в официальных анналах, как и яндекс, писал что роботс это только рекомендации, и если гугол посчитает страницу важной и полезной для юзверей, то она все равно будет в поиске. Так что все нормально. Если хотите чтоб страницу не видел никто юзайте .хтассес.


Принимаю заказы на продвижение. Дорого. Россия и СНГ
Rotgar Sett вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.02.2014, 12:14   #6
 
Аватар для webmas
 
Сообщений: 484
FR (активность): 16,866

Доп. информация
По умолчанию

а <meta name="robots" content="noindex, nofollow" /> не подойдёт для запрета индексации?
webmas вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 05.02.2014, 15:45   #7
 
Аватар для dink.s
 
Сообщений: 3
FR (активность): 55

Доп. информация
По умолчанию

Цитата:
Сообщение от webmas Посмотреть сообщение
а <meta name="robots" content="noindex, nofollow" /> не подойдёт для запрета индексации?
кажеться должно рабтать.
dink.s вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 05.02.2014, 15:57   #8
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию

Цитата:
Сообщение от Exitoso Посмотреть сообщение
"Описание веб-страницы недоступно из-за ограничений в файле robots.txt"
А как это было в хронологическом порядке?
Не могло ли случиться так, что сначала появилась страница (которую гугл по-шустрому проиндексировал), а уже потом появился запрет на индексацию страницы в роботс? Тогда это могло бы объяснить то, что сама страница в индексе есть, а ее описание недоступно.
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 08.02.2014, 23:33   #9
 
Аватар для Paul_Walker
 
Сообщений: 63
FR (активность): 1,418

Доп. информация
По умолчанию

В Гуглохелпе написано ясно, что закрытие страницы в роботсе не гарантирует то, что робот туда не зайдет.

Собственно, у вас же и написано в сниппете, что в файле роботс.тхт ограничение и все такое. Все правильно написано.

Если надо выбросить страницу из индекса, то надо либо указать на ней meta-тег robots, либо каноникал поставить, если это дубль страницы.

А запрет в роботсе уже сто два года примерно не дает гарантию на то, что Гугл не пойдет и не походит по закрытой странице.
Paul_Walker вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 09.02.2014, 12:14   #10
 
Аватар для alfabet
 
Сообщений: 36
FR (активность): 790

Доп. информация
По умолчанию

периодически у гугла бывают глюки с индексацией - даже по ссылке с одного сайта выдавать инфу с другого. Обычно со временем эти глюки проходят. Для страховки надо переиндексировать страницы.
alfabet вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Метки
robots.txt, гугл, индексация

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
нижнее подчеркивание в файле robots.txt prettyremage Индексация сайта 2 06.11.2013 11:22
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt AGmb Раскрутка в общих чертах 4 06.03.2013 13:46
Подскажите, как корректно запретить страницы к индексации в robots.txt AlexZandr Индексация сайта 0 11.03.2012 08:25
Нужно ли в robots.txt прописывать запрет к индексации папки sape? webmas Разработка сайтов 3 27.03.2011 02:33
Запрет индексации. Maximus Яndex 12 14.07.2009 12:35

Текущее время: 11:22. Часовой пояс GMT +3.