Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 21.02.2011, 00:27   #1
 
Аватар для tsa
 
Сообщений: 83
FR (активность): 5,915

Доп. информация
По умолчанию Автор темы Правильный ли robots.txt?

Правильный ли robots.txt?

Оффтоп:
User-agent: Yandex
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: http://manucoz.ru/sitemap.xml
Host: manucoz.ru

User-agent: *
Disallow: /*print
Disallow: /autobackup.php
Disallow: /user/
Disallow: /favorites/
Disallow: /index.php?do=register
Disallow: /?do=lastcomments
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Sitemap: http://manucoz.ru/sitemap.xml


ManUcoz.ru всё для ucoz и немного больше!
Хостинг onelime 1.56$ или 60руб месяц 2000 МБ
tsa вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 22.02.2011, 10:03   #2
 
Аватар для AlexeyOrloff
 
Сообщений: 1,483
FR (активность): 33,839

Доп. информация
По умолчанию Re: Правильный ли robots.txt?

зачем User-agent: Yandex и User-agent: * делать одинаковым? тогда User-agent: * достаточно
AlexeyOrloff вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 22.02.2011, 14:13   #3
 
Аватар для Artpsiholog Artal
 
Сообщений: 61
FR (активность): 1,363

Доп. информация
По умолчанию Re: Правильный ли robots.txt?

AlexeyOrloff, в своё время натыкался на рекомендации в которых указано что для яндекса User-agent нужно прописывать отдельно, потому как стандартный User-agent: * он может проигнорировать. Возможно у ТС та же история.

На деле же, если я правильно понимаю, отдельный User-agent нужен только если для разных ботов необходимо сделать разные правила. В остальных случаях достаточно обычной "звёздочки".


С уважением, Артемий, компания WebXL.
Закажи хостинг, а сумму заказа получи на счёт, в подарок!
Artpsiholog Artal вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
tsa (22.02.2011)
Старый 22.02.2011, 15:36   #4
 
Аватар для Aquwa
 
Сообщений: 31
FR (активность): 329

Доп. информация
По умолчанию Re: Правильный ли robots.txt?

tsa, директива host не будет учтена, т.к. находится после директории sitemap.
Более подробно читайте в разделе help.yandex.ru.
Aquwa вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
tsa (22.02.2011)
Старый 22.02.2011, 18:00   #5
 
Аватар для karatistka
 
Сообщений: 22
FR (активность): 396

Доп. информация
По умолчанию Re: Правильный ли robots.txt?

Help me!!!
плиз подскажите нормально ли сайт индексируется??
Disallow: /files
написано в файле robot.txt
сайт http://business-kernel.spb.ru/
Буду очень благодарна!)
karatistka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 22.02.2011, 23:37   #6
 
Аватар для tsa
 
Сообщений: 83
FR (активность): 5,915

Доп. информация
По умолчанию Автор темы Re: Правильный ли robots.txt?

Aquwa, Artpsiholog Artal, Спасибо за помощь!


ManUcoz.ru всё для ucoz и немного больше!
Хостинг onelime 1.56$ или 60руб месяц 2000 МБ
tsa вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 24.02.2011, 10:17   #7
 
Аватар для karatistka
 
Сообщений: 22
FR (активность): 396

Доп. информация
По умолчанию Re: Правильный ли robots.txt?

Люди, помогите очень надо)
karatistka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 24.02.2011, 11:03   #8
 
Аватар для AlexeyOrloff
 
Сообщений: 1,483
FR (активность): 33,839

Доп. информация
По умолчанию Re: Правильный ли robots.txt?

karatistka,что именно индексируется?)
написано, что запрещена для индексации папка files
Но сайт не очень дружит я яшей.
AlexeyOrloff вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 27.02.2011, 22:30   #9
 
Аватар для karatistka
 
Сообщений: 22
FR (активность): 396

Доп. информация
По умолчанию Re: Правильный ли robots.txt?

тут наоборот ничего не индексируется=) и я незнаю что делать... доступа к админке нет
и я незнаю какие именно страницы находяться в /files
правильно ли закрывать индексацию этих ссылок
karatistka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.02.2011, 00:33   #10
 
Аватар для Baxter
 
Сообщений: 278
FR (активность): 6,058

Доп. информация
По умолчанию Re: Правильный ли robots.txt?

Я вам все доступно с примерами попытался объяснить в Вашей теме, аналогичной этой.
Зачем же дублировать?

Можно закрыть от индексации папку files, а можно ссылки, содержащие слово "/files".
Каким боком, не имея доступа к админке можно обойти ошибку 403 и насильно высмотреть содержимое папки files вам тут вряд ли кто-то скажет!
Baxter вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.02.2011, 17:34   #11
 
Аватар для karatistka
 
Сообщений: 22
FR (активность): 396

Доп. информация
По умолчанию Re: Правильный ли robots.txt?

обычно в папках типа files , cgi-bin.... лежат определенный набор данных...
в cgi-bin скрипты например.... а что хранится в files ?
вот к чему я клоню... смысл я понимаю, что это запрет на индексацию и тд и тп...
karatistka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.02.2011, 22:30   #12
 
Аватар для Baxter
 
Сообщений: 278
FR (активность): 6,058

Доп. информация
По умолчанию Re: Правильный ли robots.txt?

В папке files хранятся файлы. То ли это файлы движка, то ли папка создана вручную вебмастером - неизвестно.
У вас самописный статический html-сайт (ну или по крайней мере хочет таким казаться). Значит папку эту ненавистную закрыл от индексации веб-мастер, который прячет там свои любимые порно-фильмы какие-то файлы от поисковика.
Baxter вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Метки
robots.txt

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2485 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Правильный перенос сайта OS_ZP_UA Раскрутка в общих чертах 7 04.04.2011 12:55
Правильный редирект для Яндекса (с сайта на narod.ru) oknovsem Яndex 3 06.08.2010 14:00
правильный подбор ключевых слов x997 Софт оптимизатора, SEO утилиты 0 01.08.2010 12:27
Правильный прогон по соц. закладкам? alfi Раскрутка в общих чертах 2 19.09.2009 13:25
Правильный копирайт r57 Раскрутка в общих чертах 7 07.09.2009 19:24

Текущее время: 19:56. Часовой пояс GMT +3.