Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 12.11.2010, 19:14   #1
 
Аватар для Андрей[hotblood]
 
Сообщений: 85
FR (активность): 3,516

Доп. информация
По умолчанию Автор темы С роботс не дружу. Проверьте нормальный ли роботс?

Народ, можете посмотреть и сказать всё ли нормально в роботс
Скрытый (как скрывать?) текст. Только для группы: "Зарегистрированные":
Ваша группа не позволяет просмотреть скрытую информацию.


Спасибки!
Андрей[hotblood] вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 12.11.2010, 19:36   #2
 
Аватар для x997
 
Сообщений: 2,205
FR (активность): 70,735

Доп. информация
По умолчанию Re: С роботс не дружу)

Андрей[hotblood],ну как минимум стоит прописать директиру Host


Говорят,что я такое же быдло как и все!!! ха ... Господа хорошие,для системы ценностей большенства людей , Я ЗНАЧИТЕЛЬНО ХУЖЕ!!!
внимание! существенная часть того что я пишу, может оказаться сарказмом!
x997 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Андрей[hotblood] (14.11.2010)
Старый 12.11.2010, 20:53   #3
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: С роботс не дружу)

Цитата:
Сообщение от Андрей[hotblood] Посмотреть сообщение
Disallow: /images/
Это лучше убрать. Дайте возможность ПС индексировать картинки.

Если есть медиа файлы - уберите Disallow: /media/

Disallow: /installation/ - лишняя строка. Папка с инсталлятором джумлы (а это её роботс) сносится после установки, так что этого каталога в реальности нет.

Наоборот имеет смысл добавить:
Disallow: /webstat/ - это скорее всего на сервере будет

Если установлены дополнительные компоненты - они могут добавлять свои папки.
Например attachments и т.п.

В общем возьмите список каталогов с сервера и поглядите, что еще не надо.
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Андрей[hotblood] (14.11.2010)
Старый 12.11.2010, 21:50   #4
 
Аватар для EQUILIBRIUM
 
Сообщений: 19
FR (активность): 602

Доп. информация
По умолчанию Re: С роботс не дружу)

А нужно ли системные папки указывать в роботс.
Роботс может просмотреть любой хацкер и название папки с системными файлами уже становится известной.

Как я понимаю ПС индексируют только те папки на которые стоят ссылки. Откуда ПС знают про существование папки includes и admin? На сайте ссылок на них нету...

Поправьте если я не прав
EQUILIBRIUM вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Андрей[hotblood] (14.11.2010)
Старый 12.11.2010, 22:32   #5
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: С роботс не дружу)

Цитата:
Сообщение от EQUILIBRIUM Посмотреть сообщение
Откуда ПС знают про существование папки includes и admin? На сайте ссылок на них нету...
Откуда я знаю, что у вас джумла?
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Андрей[hotblood] (14.11.2010)
Старый 13.11.2010, 22:45   #6
 
Аватар для NitroM$I
 
Сообщений: 184
FR (активность): 4,717

Доп. информация
По умолчанию Re: С роботс не дружу)

ИМХО боты поумнели и специально не будут индексировать admin, tmp и т.д.
но в дисолоу всетаки стоит добавить.
и как скала x997 добавить хоста и все.

Вы должны понять что ничего сложного про100 указываем роботам куда лазить, а куда не стоит.
NitroM$I вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Андрей[hotblood] (14.11.2010)
Старый 17.11.2010, 16:40   #7
 
Аватар для 4elovek
 
Сообщений: 12
FR (активность): 0

Доп. информация
По умолчанию Re: С роботс не дружу)

А если robots.txt вообще убрать?
4elovek вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Плохо" от:
Umka (17.11.2010), x997 (17.11.2010)
Старый 17.11.2010, 17:18   #8
 
Аватар для x997
 
Сообщений: 2,205
FR (активность): 70,735

Доп. информация
По умолчанию Re: С роботс не дружу)

4elovek,роботс - запрещающий файл ... у него есть всего несколько указывающих инструкций ... дальше я думаю сами догадаетесь что к чему


Говорят,что я такое же быдло как и все!!! ха ... Господа хорошие,для системы ценностей большенства людей , Я ЗНАЧИТЕЛЬНО ХУЖЕ!!!
внимание! существенная часть того что я пишу, может оказаться сарказмом!
x997 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
copywriter.by (18.11.2010)
Ответ

Метки
роботс

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2582 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
слезливый роботс cthulchu Юмор 0 12.02.2013 15:09
Яндекс и роботс Megapolis Яndex 1 24.01.2013 08:52
РОБОТС для джумлы. toff Индексация сайта 2 17.02.2011 05:17
Вопрос по Роботс AntonV Индексация сайта 0 24.05.2010 02:15

Текущее время: 23:38. Часовой пояс GMT +3.