Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 26.03.2012, 17:29   #1
 
Аватар для AntonV
 
Сообщений: 323
FR (активность): 13,979

Доп. информация
По умолчанию Автор темы Гугл игнорирует robots.txt?

Просветите пожалуйста, сложилась такая ситуация, одна из купленых ссылок в GetGoodLinks находится на странице закрытой в robots.txt она проиндексирована Гуглом, а Яндексом нет, написал модераторам, на что они мне ответили: Для Гугла файл robots.txt не имеет значения, ссылка ведь проиндексирована. Правда ли что гугл игнорирует robots.txt?
Поскольку у меня есть подозрения что владелец сайта дожидается индексации страницы Гуглом после чего закрывает от индексации.

П.С. Правда от индексации у него закрыта не только страница где находится моя ссылка, а весь раздел где он размещает продажные ссылки.
AntonV вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 26.03.2012, 18:04   #2
 
Аватар для neveRmind
 
Сообщений: 93
FR (активность): 1,600

Доп. информация
По умолчанию

Ну собственно тут http://support.google.com/webmasters...&answer=156449 пишут что очень даже использует
neveRmind вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
AntonV (26.03.2012)
Старый 26.03.2012, 18:06   #3
 
Аватар для DeTeron
 
Сообщений: 496
FR (активность): 10,040

Доп. информация
По умолчанию

Нет, гугл не игнорирует роботс.тхт, плюс гугл очень быстро индексирует, там и дожидаться нечего.
DeTeron вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
AntonV (26.03.2012)
Старый 26.03.2012, 18:11   #4
 
Аватар для AntonV
 
Сообщений: 323
FR (активность): 13,979

Доп. информация
По умолчанию Автор темы

что мне тогда писать модераторам? ведь обидно, ссылка не дешёвая...


Написал ещё раз модераторам, послал им Вашу ссылку о правилах Гугла
AntonV вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 26.03.2012, 21:26   #5
 
Аватар для IgorZaz
 
Сообщений: 597
FR (активность): 14,158

Доп. информация
По умолчанию

Зайдите к себе в инструменты вебмастера (гугловский аккаунт). Конфигурация сайта -> Доступ для сканера, и все ... доказывать больше ничего не надо будет
Гугл активно использует роботс.
Модераторам писать... хм... ну много чего можно им написать, зависит от уровня интеллегентности или наоборот от его отсутсвия. В общем чтобы не пытались больше выносить мозг, ибо у вас уже есть жена, собака, теща (запятую заменить на тире где надо), жигули четвертой модели и ипотека.


Google - для слабаков! Настоящие мужики спрашивают у ясеня!
IgorZaz вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
AntonV (27.03.2012)
Старый 27.03.2012, 00:45   #6
 
Аватар для AntonV
 
Сообщений: 323
FR (активность): 13,979

Доп. информация
По умолчанию Автор темы

Да я знаю что Гугл robots.txt не игнорирует, думал мало ли, может что то изменилось а я не успел углядеть. Просто так врать, поражает наглость модераторов GGL.

Вот что они мне написали:
Оффтоп:
Здравствуйте.
Google не принимает во внимание robots.txt и все равно индексирует страницы, закрытые через такой файл. Подтверждением этому является то, что страница вместе с ссылкой находится как в индексе, так и в кэше.
AntonV вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 27.03.2012, 10:25   #7
 
Аватар для neveRmind
 
Сообщений: 93
FR (активность): 1,600

Доп. информация
По умолчанию

Цитата:
Сообщение от AntonV Посмотреть сообщение
Здравствуйте.
Google не принимает во внимание robots.txt и все равно индексирует страницы, закрытые через такой файл. Подтверждением этому является то, что страница вместе с ссылкой находится как в индексе, так и в кэше.
Ну я бы ответил следующим:

Ну если он все равно игнорирует, то зачем прописывать в robots.txt? Извращение какое то.
neveRmind вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 27.03.2012, 16:23   #8
 
Аватар для AntonV
 
Сообщений: 323
FR (активность): 13,979

Доп. информация
По умолчанию Автор темы

уже думал над этим, сделано по их мнению с целью что бы Гугл проиндексировал, а Яндекс нет. Я же и узнал об этом тогда когда добавлял страницу в Яндекс.
AntonV вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 27.03.2012, 21:14   #9
 
Аватар для IgorZaz
 
Сообщений: 597
FR (активность): 14,158

Доп. информация
По умолчанию

Для гугла и яндекса можно разные правила в роботсе прописать. вот и все чем можно отличить их друг от друга. Без уточнения имен пауков - правила в роботсе едины и там и сям.
Тут тема отмазки модераторов возможна такая, что если страница сразу не прописана в роботсе, а гугел ее проиндексировал, то процесс удаления как и из поиска, так и из кеша у гугла будет долгим. Тормозит он в этом плане...


Google - для слабаков! Настоящие мужики спрашивают у ясеня!
IgorZaz вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 27.03.2012, 22:14   #10
 
Аватар для F.Dexter
 
Сообщений: 54
FR (активность): 913

Доп. информация
По умолчанию

Чисто из опыта. Мы закрывали копипасту через robots.txt, так вот, у Яндекса она по запросу вида site:mysite.com не выводится, а вот у Гугла очень даже выводится. Т.е. страницы есть в индексе.

Хотя, когда однажды по ошибке закрыли папку /images/ где все элементы дизайна лежат, то на превью в гугле тоже не было картинок.

В любом случае, раз вы купили ссылку, то я думаю вправе ожидать, что она и в Яндекс попадет тоже. Так что это явно обман.
F.Dexter вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
AntonV (28.03.2012)
Старый 28.03.2012, 01:18   #11
 
Аватар для AntonV
 
Сообщений: 323
FR (активность): 13,979

Доп. информация
По умолчанию Автор темы

Ещё вчера им написал приводя все доводы, в ответ тишина... игнорят...
С таким отношением пропадает желание у них что то покупать, поскольку в любой момент может оказаться что это деньги выкинутые на ветер

Вот robots.txt этого сайта:
Скрытый (как скрывать?) текст. Только для группы: "Новичок":
Ваша группа не позволяет просмотреть скрытую информацию.


А это та самая ссылка:
Скрытый (как скрывать?) текст. Только для группы: "Почетный пользователь":
Ваша группа не позволяет просмотреть скрытую информацию.
AntonV вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2089 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
robots.txt - учимся использовать. Часто задаваемые вопросы по robots.txt Alex LM Общие вопросы 18 10.05.2016 11:09
robots.txt и гугл Sanek_Sayansk Индексация сайта 0 13.08.2011 17:14
Яндекс игнорирует мой сайт. dsparill Продвижение сайта 0 20.02.2011 17:10
нужны советы - яндекс игнорирует donneo SEO оценка сайта 2 10.02.2011 23:27
Google игнорирует сайт?? ARLIKIN Google 10 24.02.2009 20:36

Текущее время: 00:48. Часовой пояс GMT +3.