Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
выдача ТОП 9Полезны

 
Опции темы Оценить тему Опции просмотра
Старый 07.04.2012, 11:51   #1
 
Аватар для amator
 
Сообщений: 7
FR (активность): 512

Доп. информация
По умолчанию Автор темы Подскажите как скрыть sitemap.xml и robot.txt

дайте пожалуйста совет как можно закрыть для просмотра всех интернет-пользователей, кроме поисковых роботов страниц sitemap.xml и robot.txt ,например как на сайтах

w.ww.kiddi.com.ua/sitemap.xml

w.ww.malishok.com.ua/http:/sitemap.xml
w.ww.malishok.com.ua/http:/robot.txt
amator вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 07.04.2012, 12:01   #2
 
Аватар для Dharam
 
Сообщений: 180
FR (активность): 2,335

Доп. информация
По умолчанию

роботс - никак, а зачем его скрывать?
чтобы чичако кидать?


наилучшие пожелания всем,
Дхарам
Dharam вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 07.04.2012, 12:43   #3
 
Аватар для cthulchu
 
Сообщений: 3,708
FR (активность): 117,363

Доп. информация
По умолчанию

Цитата:
Сообщение от Dharam Посмотреть сообщение
роботс - никак
зачем врать? если не знаешь, предлагаю не отвечать.

amator, можно, конечно. я бы это сделал через мод рерайт, а в кондишне поставил бы проверку юзерагента. таким образом, получить контент смогут лишь те, у кого юзерагенты поисковиков. не ахти какая защита, серьзной проверки не пройдет, но для защиты от школохакеров будет полезной.
amator, Phoenix, СТЕПАН и 2 еще: сообщение полезно
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
neveRmind (15.04.2012)
Старый 15.04.2012, 20:42   #4
 
Аватар для IgorZaz
 
Сообщений: 604
FR (активность): 16,646

Доп. информация
По умолчанию

роботс скрывать не вижу никакого смысла. Но раз уж сильно хочется, то спасиб ктулху за наводку. А сайтмеп - проще некуда. Переименуй его как угодно и спрячь куда подальше, а в личных кабинетах ПС ("Вебмастер" у Яндекса и "Инструменты для веб-мастеров" у Гугла) укажи новое название и путь.


Google - для слабаков! Настоящие мужики спрашивают у ясеня!
IgorZaz вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 18.04.2012, 09:59   #5
 
Аватар для LiaKM
 
Сообщений: 13
FR (активность): 0

Доп. информация
По умолчанию

Вот уж не думала, что это необходимо, но я солидарна с IgorZaz
Если очень хочется, действительно нужно просто переименовать сайтмеп, но тогда, даже если ты укажешь новое название и путь в личных кабинетах ПС "Вебмастер" у Яндекса и "Инструменты для веб-мастеров" у Гугла, не факт, что они его тоже найдут.


Смотрим на будущее с широко открытыми образованными глазами вместе с http://www.running-projeckt.com/
LiaKM вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 21.05.2012, 10:39   #6
 
Аватар для Dharam
 
Сообщений: 180
FR (активность): 2,335

Доп. информация
По умолчанию

Если кто-нибудь сумел спрятать роботс, напишите урл, а то что-то не верится, что это можно сделать Хочу посмотреть результат.
Товарищ cthulchu, раз вы такой умный, покажите пример сайта со скрытым роботсом...


наилучшие пожелания всем,
Дхарам
Dharam вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Плохо" от:
cthulchu (21.05.2012)
Старый 21.05.2012, 11:36   #7
 
Аватар для cthulchu
 
Сообщений: 3,708
FR (активность): 117,363

Доп. информация
По умолчанию

Цитата:
Сообщение от Dharam Посмотреть сообщение
Товарищ cthulchu, раз вы такой умный, покажите пример сайта со скрытым роботсом...
за невежество был награжден. впредь запомни - никто не обязан показывать примеры, да никто и не покажет, если они запрашиваются таким тоном.

Цитата:
Сообщение от IgorZaz Посмотреть сообщение
роботс скрывать не вижу никакого смысла.
здесь изредка бывает необходимость, к примеру, когда кодеры налажали с двигом и для гостя стали доступны всякие жд-билеты (помните историю с яндексом и индексацией железнодорожных билетов и смсок?). скрыть такие билеты в роботсе можно, но тогда найдется школоло, что откроет роботс и прочтет директорию с билетами, вот и нужно теперь закрыть роботс от школоло.
Безусловно, это заплатка и лучше бы сразу закрыть доступ публичный к билетам, но раз уж налажали, то, как временное решение - пойдет.
Так же, часто школохакеры через роботс получают доступ к админке. Да и смешно это выглядит со стороны админа - прятать админку, чтобы потом запретить ее индексацию в роботсе, тем самым, раскрыв для хакеров ее местоположение.
kribs и webmas: сообщение полезно
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
AlexeyOrloff (21.05.2012), kribs (21.05.2012), lipatoff (21.05.2012), Stelz (21.05.2012)
Старый 21.05.2012, 20:20   #8
 
Аватар для seaman
 
Сообщений: 4
FR (активность): 20

Доп. информация
По умолчанию

Читал-читал и ничего не понял. Какую угрозу безопасности несет в себе robots.txt? Никакой! В крайнем случае поставьте доступ по паролю к нужному каталогу на уровне сервера. И как можно получить доступ к админке через robots.txt? Впервые о таком слышу! А найти путь к админке и без robots.txt не составляет никакого труда.
seaman вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 07.04.2013, 14:43   #9
 
Аватар для Dolce
 
Сообщений: 81
FR (активность): 2,539

Доп. информация
По умолчанию

Цитата:
Сообщение от cthulchu Посмотреть сообщение
зачем врать? если не знаешь, предлагаю не отвечать.

amator, можно, конечно. я бы это сделал через мод рерайт, а в кондишне поставил бы проверку юзерагента. таким образом, получить контент смогут лишь те, у кого юзерагенты поисковиков. не ахти какая защита, серьзной проверки не пройдет, но для защиты от школохакеров будет полезной.
Пожалуйста, опишите подробнее как это сделать
Dolce вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 08.04.2013, 11:13   #10
 
Аватар для cthulchu
 
Сообщений: 3,708
FR (активность): 117,363

Доп. информация
По умолчанию

омг, да что же это такое:
Скрытый текст (вы должны войти под своим логином или зарегистрироваться и иметь 35 сообщение(ий)):
Ваша группа не позволяет просмотреть скрытую информацию.

таким образом, самого файла robots.txt может не быть, или он может быть пустым, тогда как, если их будут запрашивать боты яши и гугла, им будет выдаваться содержимое файла erkogjwoegjowerji.ololo

если я не налажал, а то давно не кодил рерайт. надо проверять и обратить внимание на замену адреса и на отдаваемый код. адрес не должен заменяться, код ответа сервера должен быть 200.

для мозиллы есть плагин по смене юзерагента, там можно поставить себе юзерагент гуглбота и яндексбота, на обоих должно срабатывать правило.
starlayt и pragmatik: сообщение полезно
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
kribs (02.10.2013)
Старый 08.04.2013, 11:56   #11
 
Аватар для Dolce
 
Сообщений: 81
FR (активность): 2,539

Доп. информация
По умолчанию

Спасибо большое!
Dolce вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 02.10.2013, 19:12   #12
 
Аватар для pragmatik
 
Сообщений: 8
FR (активность): 138

Доп. информация
По умолчанию

Цитата:
Сообщение от cthulchu Посмотреть сообщение
таким образом, самого файла robots.txt может не быть, или он может быть пустым, тогда как, если их будут запрашивать боты яши и гугла, им будет выдаваться содержимое файла erkogjwoegjowerji.ololo
К сожалению, Яндекс при наличии редиректа говорит следующее:
Файл robots.txt не будет учтён роботом Яндекса, т.к. при запросе выполняется перенаправление.
pragmatik вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 02.10.2013, 20:29   #13
 
Аватар для Ебозаврик
 
Сообщений: 272
FR (активность): 9,486

Доп. информация
По умолчанию

Приватные форумы и сайты, они отключают роботс. Многим ПСы в интернете незачем.


Не веду никакой деятельности, контактов ICQ, Skype и т.д. не имею. С Уважением.
Ебозаврик вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 02.10.2013, 21:22   #14
 
Аватар для Danchess
 
Сообщений: 4
FR (активность): 20

Доп. информация
По умолчанию

А зачем их скрывать, если не секрет?
Danchess вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 02.10.2013, 22:55   #15
 
Аватар для starlayt
 
Сообщений: 244
FR (активность): 5,781

Доп. информация
По умолчанию

Цитата:
Сообщение от seaman Посмотреть сообщение
А найти путь к админке и без robots.txt не составляет никакого труда.
Ну и как например, брутом? N количество ошибок и твой ip летит в бан. Ну если конечно адрес не легко угадываемый.
Цитата:
Сообщение от seaman Посмотреть сообщение
И как можно получить доступ к админке через robots.txt?
Я так понимаю имеется ввиду сам адрес каталога где эта админка лежит. Он нужен для брута пароля. Прятать надо не только админку, но и страницу входа, если авторизация единая. Если не прятать то лог о бэдлогинах будет расти на глазах, это задалбывает. В роботсе обычно прописывают путь до админки чтобы запретить индексацию.
starlayt вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2457 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Зак запретить индексацию страниц календаря в robot.txt? bog35 Раскрутка в общих чертах 10 14.05.2012 09:11
Autopilot Traffic Robot 2 - поиск релевантных страниц detanatar Софт оптимизатора, SEO утилиты 0 01.04.2011 09:53
Помогите с файлом robot.txt karatistka Индексация сайта 2 27.02.2011 22:20
Как скрыть pop-under от Яндекса Pedro Яndex 13 25.05.2009 22:20
А как скрыть сообщения? marktw Беседка 16 07.02.2009 16:37

Текущее время: 00:07. Часовой пояс GMT +3.