http://naprokat78.ru/ лигр групп прокат и аренда авто.
Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
выдача ТОП 9Полезны

 
Опции темы Оценить тему Опции просмотра
Старый 07.04.2012, 11:51   #1
 
Аватар для amator
 
Сообщений: 5
FR (активность): 336

Доп. информация
По умолчанию Автор темы Подскажите как скрыть sitemap.xml и robot.txt

дайте пожалуйста совет как можно закрыть для просмотра всех интернет-пользователей, кроме поисковых роботов страниц sitemap.xml и robot.txt ,например как на сайтах

w.ww.kiddi.com.ua/sitemap.xml

w.ww.malishok.com.ua/http:/sitemap.xml
w.ww.malishok.com.ua/http:/robot.txt
amator вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 07.04.2012, 12:01   #2
 
Аватар для Dharam
 
Сообщений: 181
FR (активность): 2,335

Доп. информация
По умолчанию

роботс - никак, а зачем его скрывать?
чтобы чичако кидать?


наилучшие пожелания всем,
Дхарам
Dharam вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 07.04.2012, 12:43   #3
 
Аватар для cthulchu
 
Сообщений: 3,670
FR (активность): 107,432

Доп. информация
По умолчанию

Цитата:
Сообщение от Dharam Посмотреть сообщение
роботс - никак
зачем врать? если не знаешь, предлагаю не отвечать.

amator, можно, конечно. я бы это сделал через мод рерайт, а в кондишне поставил бы проверку юзерагента. таким образом, получить контент смогут лишь те, у кого юзерагенты поисковиков. не ахти какая защита, серьзной проверки не пройдет, но для защиты от школохакеров будет полезной.
amator, Phoenix, СТЕПАН и 2 еще: сообщение полезно
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
neveRmind (15.04.2012)
Старый 15.04.2012, 20:42   #4
 
Аватар для IgorZaz
 
Сообщений: 597
FR (активность): 14,158

Доп. информация
По умолчанию

роботс скрывать не вижу никакого смысла. Но раз уж сильно хочется, то спасиб ктулху за наводку. А сайтмеп - проще некуда. Переименуй его как угодно и спрячь куда подальше, а в личных кабинетах ПС ("Вебмастер" у Яндекса и "Инструменты для веб-мастеров" у Гугла) укажи новое название и путь.


Google - для слабаков! Настоящие мужики спрашивают у ясеня!
IgorZaz вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 18.04.2012, 09:59   #5
 
Аватар для LiaKM
 
Сообщений: 13
FR (активность): 0

Доп. информация
По умолчанию

Вот уж не думала, что это необходимо, но я солидарна с IgorZaz
Если очень хочется, действительно нужно просто переименовать сайтмеп, но тогда, даже если ты укажешь новое название и путь в личных кабинетах ПС "Вебмастер" у Яндекса и "Инструменты для веб-мастеров" у Гугла, не факт, что они его тоже найдут.


Смотрим на будущее с широко открытыми образованными глазами вместе с http://www.running-projeckt.com/
LiaKM вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 21.05.2012, 10:39   #6
 
Аватар для Dharam
 
Сообщений: 181
FR (активность): 2,335

Доп. информация
По умолчанию

Если кто-нибудь сумел спрятать роботс, напишите урл, а то что-то не верится, что это можно сделать Хочу посмотреть результат.
Товарищ cthulchu, раз вы такой умный, покажите пример сайта со скрытым роботсом...


наилучшие пожелания всем,
Дхарам
Dharam вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Плохо" от:
cthulchu (21.05.2012)
Старый 21.05.2012, 11:36   #7
 
Аватар для cthulchu
 
Сообщений: 3,670
FR (активность): 107,432

Доп. информация
По умолчанию

Цитата:
Сообщение от Dharam Посмотреть сообщение
Товарищ cthulchu, раз вы такой умный, покажите пример сайта со скрытым роботсом...
за невежество был награжден. впредь запомни - никто не обязан показывать примеры, да никто и не покажет, если они запрашиваются таким тоном.

Цитата:
Сообщение от IgorZaz Посмотреть сообщение
роботс скрывать не вижу никакого смысла.
здесь изредка бывает необходимость, к примеру, когда кодеры налажали с двигом и для гостя стали доступны всякие жд-билеты (помните историю с яндексом и индексацией железнодорожных билетов и смсок?). скрыть такие билеты в роботсе можно, но тогда найдется школоло, что откроет роботс и прочтет директорию с билетами, вот и нужно теперь закрыть роботс от школоло.
Безусловно, это заплатка и лучше бы сразу закрыть доступ публичный к билетам, но раз уж налажали, то, как временное решение - пойдет.
Так же, часто школохакеры через роботс получают доступ к админке. Да и смешно это выглядит со стороны админа - прятать админку, чтобы потом запретить ее индексацию в роботсе, тем самым, раскрыв для хакеров ее местоположение.
kribs и webmas: сообщение полезно
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
AlexeyOrloff (21.05.2012), kribs (21.05.2012), lipatoff (21.05.2012), Stelz (21.05.2012)
Старый 21.05.2012, 20:20   #8
 
Аватар для seaman
 
Сообщений: 4
FR (активность): 20

Доп. информация
По умолчанию

Читал-читал и ничего не понял. Какую угрозу безопасности несет в себе robots.txt? Никакой! В крайнем случае поставьте доступ по паролю к нужному каталогу на уровне сервера. И как можно получить доступ к админке через robots.txt? Впервые о таком слышу! А найти путь к админке и без robots.txt не составляет никакого труда.
seaman вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 07.04.2013, 14:43   #9
 
Аватар для Dolce
 
Сообщений: 70
FR (активность): 1,799

Доп. информация
По умолчанию

Цитата:
Сообщение от cthulchu Посмотреть сообщение
зачем врать? если не знаешь, предлагаю не отвечать.

amator, можно, конечно. я бы это сделал через мод рерайт, а в кондишне поставил бы проверку юзерагента. таким образом, получить контент смогут лишь те, у кого юзерагенты поисковиков. не ахти какая защита, серьзной проверки не пройдет, но для защиты от школохакеров будет полезной.
Пожалуйста, опишите подробнее как это сделать
Dolce вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 08.04.2013, 11:13   #10
 
Аватар для cthulchu
 
Сообщений: 3,670
FR (активность): 107,432

Доп. информация
По умолчанию

омг, да что же это такое:
Скрытый текст (вы должны войти под своим логином или зарегистрироваться и иметь 35 сообщение(ий)):
Ваша группа не позволяет просмотреть скрытую информацию.

таким образом, самого файла robots.txt может не быть, или он может быть пустым, тогда как, если их будут запрашивать боты яши и гугла, им будет выдаваться содержимое файла erkogjwoegjowerji.ololo

если я не налажал, а то давно не кодил рерайт. надо проверять и обратить внимание на замену адреса и на отдаваемый код. адрес не должен заменяться, код ответа сервера должен быть 200.

для мозиллы есть плагин по смене юзерагента, там можно поставить себе юзерагент гуглбота и яндексбота, на обоих должно срабатывать правило.
starlayt и pragmatik: сообщение полезно
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
kribs (02.10.2013)
Старый 08.04.2013, 11:56   #11
 
Аватар для Dolce
 
Сообщений: 70
FR (активность): 1,799

Доп. информация
По умолчанию

Спасибо большое!
Dolce вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 02.10.2013, 19:12   #12
 
Аватар для pragmatik
 
Сообщений: 8
FR (активность): 138

Доп. информация
По умолчанию

Цитата:
Сообщение от cthulchu Посмотреть сообщение
таким образом, самого файла robots.txt может не быть, или он может быть пустым, тогда как, если их будут запрашивать боты яши и гугла, им будет выдаваться содержимое файла erkogjwoegjowerji.ololo
К сожалению, Яндекс при наличии редиректа говорит следующее:
Файл robots.txt не будет учтён роботом Яндекса, т.к. при запросе выполняется перенаправление.
pragmatik вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 02.10.2013, 20:29   #13
 
Аватар для Ебозаврик
 
Сообщений: 272
FR (активность): 9,486

Доп. информация
По умолчанию

Приватные форумы и сайты, они отключают роботс. Многим ПСы в интернете незачем.


Не веду никакой деятельности, контактов ICQ, Skype и т.д. не имею. С Уважением.
Ебозаврик вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 02.10.2013, 21:22   #14
 
Аватар для Danchess
 
Сообщений: 4
FR (активность): 20

Доп. информация
По умолчанию

А зачем их скрывать, если не секрет?
Danchess вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 02.10.2013, 22:55   #15
 
Аватар для starlayt
 
Сообщений: 244
FR (активность): 5,781

Доп. информация
По умолчанию

Цитата:
Сообщение от seaman Посмотреть сообщение
А найти путь к админке и без robots.txt не составляет никакого труда.
Ну и как например, брутом? N количество ошибок и твой ip летит в бан. Ну если конечно адрес не легко угадываемый.
Цитата:
Сообщение от seaman Посмотреть сообщение
И как можно получить доступ к админке через robots.txt?
Я так понимаю имеется ввиду сам адрес каталога где эта админка лежит. Он нужен для брута пароля. Прятать надо не только админку, но и страницу входа, если авторизация единая. Если не прятать то лог о бэдлогинах будет расти на глазах, это задалбывает. В роботсе обычно прописывают путь до админки чтобы запретить индексацию.
starlayt вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Зак запретить индексацию страниц календаря в robot.txt? bog35 Раскрутка в общих чертах 10 14.05.2012 09:11
Autopilot Traffic Robot 2 - поиск релевантных страниц detanatar Софт оптимизатора, SEO утилиты 0 01.04.2011 09:53
Помогите с файлом robot.txt karatistka Индексация сайта 2 27.02.2011 22:20
Как скрыть pop-under от Яндекса Pedro Яndex 13 25.05.2009 22:20
А как скрыть сообщения? marktw Беседка 16 07.02.2009 16:37

Текущее время: 18:05. Часовой пояс GMT +3.