Вернуться   SEO форум - оптимизация и продвижение сайтов > SEO инструменты > Анализ и обзор статистики

Важная информация
Анализ и обзор статистики - Статистика продвижения сайтов, эффективности оптимизации. Интернет сервисы, анализ статистики, отслеживание переходов. Яндекс.Метрика, Google Analytics и т.д.

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 17.08.2011, 20:53   #1
 
Аватар для newevg
 
Сообщений: 173
FR (активность): 3,412

Доп. информация
По умолчанию Автор темы А если нет файла robots.txt ?

Подскажите пожалуйста если на сайте нет файла robots.txt, как то могут это использовать кто-нибудь? Или пофиг этот файл чисто для поисковиков?
newevg вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 17.08.2011, 21:00   #2
 
Аватар для vicherep
 
Сообщений: 405
FR (активность): 5,887

Доп. информация
По умолчанию Re: А если нет файла robots.txt ?

Этот файл только для посковиков, если вам не надо ставить ограничения на индексацию или некоторые мелочи для посковиков, то он в принципе не нужен. Ну а вообще это правило хорошего тона по отношению к поисковикам и к вашему проекту
vicherep вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Alex LM (18.08.2011)
Старый 17.08.2011, 22:23   #3
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: А если нет файла robots.txt ?

Цитата:
Сообщение от newevg Посмотреть сообщение
как то могут это использовать кто-нибудь?
Яндекс.... Он уже выложил ж/д билеты, личные данные и прочее разное в поиске.
Вот у них как раз роботса и не было. Яндекс - самый страшный зверь.
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Alex LM (18.08.2011)
Старый 17.08.2011, 23:16   #4
 
Аватар для ELITTRANSFER
 
Сообщений: 196
FR (активность): 4,386

Доп. информация
По умолчанию Re: А если нет файла robots.txt ?

Жили без него и дальше проживем) -шутка.
Я думаю что это не самое страшная ошибка, хотя сделать Робот не составляет особого труда.


Век живи - Век учись!)
ELITTRANSFER вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 18.08.2011, 00:59   #5
 
Аватар для cthulchu
 
Сообщений: 3,670
FR (активность): 107,432

Доп. информация
По умолчанию Re: А если нет файла robots.txt ?

предпочитаю не ложить в паблик то, что не должно там быть, типа железнодорожных билетов, смсок и прочей конфиденциальной фигни, считаю, что если пропишу в роботсе что-то типа:
дизаллоу /my_secret_pwds
то о моих секретных паролях узнают быстрее, чем если бы я этого не писал. не надо забывать, что роботс доступен для всех, не только для роботов. и хакеры, как раз, и начинают с просмотра роботсов, сайтмапин в надежде на дурака. и часто такие надежды оправдываются.. Для проформы можно делать его, дизаллоу на всякие сомнительные вещи типа /my_fotos или /icons делать, вот, к примеру, я у одного заказчика на фтп (меня наняли оптимизировать сайт и дизайн и структуру и для ПС и для людей, короче...) нашел папку, в которой размещались очень качественные доры, они не попадали в бан и очень хорошо попадали в индекс и выдачу гугла, но совсем по другой тематике (тоесть, сайт в глазах ПСа имел тематику доров, а не "человеческого" контента... прикольно, кстати). А, да, так вот я первым делом переименовал папку с дорами, чтобы внешние ссылки отвалились и прописал дизаллоу новой папки, чтобы ПСы не индексили доры (а там все доры в хтмле, так что хекеры не разгонюццо), ибо хотел показать знакомым и заказчикам. вот такая вот история. наглядно.
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Alex LM (18.08.2011), Umka (18.08.2011)
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2315 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
robots.txt - учимся использовать. Часто задаваемые вопросы по robots.txt Alex LM Общие вопросы 18 10.05.2016 11:09
как реализовать автоматическое скачивание файла Denssss Программирование 5 07.04.2011 11:12
Про robots.txt heretic Joomla 6 17.03.2011 10:40
Использование файла .htaccess specialist-seo Разработка сайтов 1 31.03.2009 10:42

Текущее время: 06:34. Часовой пояс GMT +3.