robots.txt для DLE

@YaltaHome.com · 18.02.2011, 16:49

Ребят подскажите пожалуйста а правильно я составил этот файл?

User-agent: *
Disallow: /cgi-bin/
Disallow: /admin.php
Disallow: /index.php?do=lastcomments
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=search
Disallow: /index.php?do=pm
Disallow: /engine/
Disallow: /index.php?do=register
Disallow: /index.php?do=addnews
Disallow: /autobackup.php
Disallow: /backup/
Disallow: /user/
Disallow: /language/
Disallow: /favorites/
Disallow: /statistics.html
Disallow: /index.php?do=stats
Disallow: /index.php?subaction=newposts
Disallow: /newposts/
Disallow: /*print
Disallow: /*page/
Disallow: /templates/
Disallow: /tags/
Disallow: /glavnaya/
Disallow: /glavnaya/8-nedvizhimost-v-yalte.html
Disallow: /user/viktor/news/

Sitemap: http://xn--80aitgjv3g.xn--p1ai/sitemap.xml

Host: xn--80aitgjv3g.xn--p1ai

@Sound · 20.02.2011, 00:07

Если вы хотели закрыть эти папки от индексации, то да!

@YaltaHome.com · 20.02.2011, 03:35

В логики я в вашей и не сомневался. А вот совета спросил и все молчат. Кто какие папки закрывает?

@**lipatoff** · 20.02.2011, 09:21

Оффтоп:

@AleX · 20.02.2011, 13:03

Цитата:

Сообщение от YaltaHome.com

Кто какие папки закрывает?

Зависит от того, какой скрипт используете. К каждому нужен индивидуальный подход.
Найдено: http://datalife-engine.net/blog/hacks/36.html

@YaltaHome.com · 20.02.2011, 20:27

Цитата:

Сообщение от lipatoff

Оффтоп:

Отвечу вопросом на вопрос, а почему нет?

@karma · 20.06.2011, 15:03

Что-то очень много всего у Вас закрытого,
попробуйте такой:
User-agent: *
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*print
Disallow: */rss.xml
Disallow: /tags/
Host: сайт.ру (оснвное зеркало для сайта без "www")
Sitemap: сайт.ру/sitemap.xml

@Sasha101 · 26.07.2011, 20:06

павильно сделали... но у меня он немного по больше =)

@easyel · 24.10.2011, 20:13

Вот прочтите мои статьи "Как составить правельный robots.txt", "Ошибки, которые часто встречаються в файле robots.txt"
Ссылки:
http://guideskill.ru/36-oshibki-chas...robotstxt.html
http://guideskill.ru/35-kak-sozdat-p...lya-sayta.html

Добавлено через 1 минуту

Цитата:

Disallow: /glavnaya/
Disallow: /glavnaya/8-nedvizhimost-v-yalte.html

Disallow: /index.php?subaction=newposts[/quote]

Вы запретили индексацию главной страницы? Зачем?

@**dimka119** · 10.12.2012, 10:45

Как правильно закрыть android-igra.ru/programmy/page/15/ ?
Disallow: /page
Disallow: /page*
ну и соответственно просто /page/2 итд

И как он вообщем?

Цитата:

User-agent: *
Disallow: /tags/
Disallow: /print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /2012/
Disallow: /2013/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /engine/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /favorites/
Disallow: /admin.php?mod=main
Disallow: /addnews.html
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /engine/rss.php
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=search&mode=advanced
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Disallow: /2012/
Disallow: /page
Disallow: /page*
Disallow: /index.php?do=rules
Disallow: /main
Disallow: /{$link_regist}
Disallow: /index.php?do=search&mode=advanced
Disallow: /index.php?subaction=userinfo&user=

Host: site
Sitemap: http://site/sitemap.xml

18.02.2011, 16:49	#1
@YaltaHome.com Сообщений: 111 FR (активность): 3,339 Отзывы: Доп. информация Регистрация: 02.04.2009 Адрес: Зимбабве	robots.txt для DLE Ребят подскажите пожалуйста а правильно я составил этот файл? User-agent: * Disallow: /cgi-bin/ Disallow: /admin.php Disallow: /index.php?do=lastcomments Disallow: /index.php?do=feedback Disallow: /index.php?do=lostpassword Disallow: /index.php?do=search Disallow: /index.php?do=pm Disallow: /engine/ Disallow: /index.php?do=register Disallow: /index.php?do=addnews Disallow: /autobackup.php Disallow: /backup/ Disallow: /user/ Disallow: /language/ Disallow: /favorites/ Disallow: /statistics.html Disallow: /index.php?do=stats Disallow: /index.php?subaction=newposts Disallow: /newposts/ Disallow: /print Disallow: /page/ Disallow: /templates/ Disallow: /tags/ Disallow: /glavnaya/ Disallow: /glavnaya/8-nedvizhimost-v-yalte.html Disallow: /user/viktor/news/ Sitemap: http://xn--80aitgjv3g.xn--p1ai/sitemap.xml Host: xn--80aitgjv3g.xn--p1ai Недвижимость Ялта лучшие предложения.

20.02.2011, 00:07	#2
@Sound Сообщений: 82 FR (активность): 1,940 Отзывы: 29 Доп. информация Регистрация: 20.07.2009 Адрес: Харьков	Re: robots.txt Если вы хотели закрыть эти папки от индексации, то да!

20.02.2011, 03:35	#3
@YaltaHome.com Сообщений: 111 FR (активность): 3,339 Отзывы: Доп. информация Регистрация: 02.04.2009 Адрес: Зимбабве	Re: robots.txt В логики я в вашей и не сомневался. А вот совета спросил и все молчат. Кто какие папки закрывает? Недвижимость Ялта лучшие предложения.

20.02.2011, 09:21	#4
@lipatoff Основа форума Сообщений: 443 FR (активность): 13,401 Отзывы: 307 Доп. информация Регистрация: 31.08.2010 Специализация: Консалтинг	Re: robots.txt Оффтоп: зачем ".рф" в ялте?

20.06.2011, 15:03	#7
@karma Сообщений: 3 FR (активность): 25 Отзывы: Доп. информация Регистрация: 20.06.2011	Re: robots.txt Что-то очень много всего у Вас закрытого, попробуйте такой: User-agent: * Disallow: /engine/go.php Disallow: /user/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /subaction=userinfo Disallow: /subaction=newposts Disallow: /do=lastcomments Disallow: /do=feedback Disallow: /do=register Disallow: /do=lostpassword Disallow: /do=addnews Disallow: /do=stats Disallow: /do=pm Disallow: /print Disallow: */rss.xml Disallow: /tags/ Host: сайт.ру (оснвное зеркало для сайта без "www") Sitemap: сайт.ру/sitemap.xml

26.07.2011, 20:06	#8
@Sasha101 Сообщений: 2 FR (активность): 0 Отзывы: Доп. информация Регистрация: 20.07.2011	Re: robots.txt павильно сделали... но у меня он немного по больше =)

Сообщение форума

Отменить изменения

Опции темы
Версия для печати Отправить по электронной почте
Опции просмотра	Оценка этой теме
Линейный вид Комбинированный вид Древовидный вид	Оценка этой теме:

Похожие темы
Тема	Автор	Раздел	Ответов	Последнее сообщение
robots.txt - учимся использовать. Часто задаваемые вопросы по robots.txt	Alex LM	Общие вопросы	18	10.05.2016 11:09
вопрос про robots.txt	Customizer	Индексация сайта	30	22.08.2013 10:13
Про robots.txt	heretic	Joomla	6	17.03.2011 10:40
robots.txt или META	yuriyb	Индексация сайта	1	31.08.2010 15:53
Robots.txt	Anaksagor	Индексация сайта	5	17.09.2009 14:17