Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 23.08.2011, 23:40   #16
 
Аватар для shumelkamysh
 
Сообщений: 23
FR (активность): 569

Доп. информация
По умолчанию Re: вопрос про robots.txt

Понятно, спасибо.
Вот пока нашла еще такое решение:

[html]User-agent: *
Crawl-delay: 4
Disallow: /archive/all/2011$
Disallow: /archive/all$
Disallow: /*comment*
Disallow: /includes
Disallow: /profiles
Disallow: /modules
Disallow: /contact
Disallow: /scripts
Disallow: /themes
Disallow: /search
Disallow: /filter
Disallow: /*atom*
Disallow: /*sort*
Disallow: /*utm_*
Disallow: /misc*
Disallow: /user*
Disallow: /node$
Disallow: /*?*
Sitemap: http://www.domain.ru/sitemap.xml
Host: www.domain.ru[/html]
я че то запуталась окончательно, кажется этот вариант верный?
shumelkamysh вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 23.08.2011, 23:59   #17
 
Аватар для cthulchu
 
Сообщений: 3,670
FR (активность): 107,432

Доп. информация
По умолчанию Re: вопрос про robots.txt

две последние строки удали.
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
shumelkamysh (24.08.2011)
Старый 24.08.2011, 13:11   #18
 
Аватар для ldvewka
 
Сообщений: 1
FR (активность): 5

Доп. информация
По умолчанию Re: вопрос про robots.txt

Подскажите с чего начать составление файла robots.txt для системы Битрикс? Так как сам я не программист и битрикс продвигаю впервые, то даже не знаю как к нему подойти.
У интернет-магазина который я продвигаю очень много чистых дублей и страниц, дублирующие большую часть контента. как понять структуру сайта и составить правильный роботс??
Вот пример который я нашел. Как его подбить на мой сайт или для битрикса это стандартный роботс?

User-agent: *
Disallow: /bitrix/
Disallow: /search/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /*/search/
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*print_course=Y
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /index.php$
Disallow: /*SECTION_ID=*
Disallow: /*bxajaxid=*
Disallow: /*PAGEN*
Host:
Sitemap:
ldvewka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 26.08.2011, 14:11   #19
 
Аватар для shumelkamysh
 
Сообщений: 23
FR (активность): 569

Доп. информация
По умолчанию Re: вопрос про robots.txt

Доброго времени, подскажите пожалуйста чайнику. В роботс написано [html]Disallow: /node$[/html]
знак s что означает? У меня яндекс кроме главной страницы ничего не видит, а в друпал мне настроили так, что все адреса идут через нод: ....ste.ru/node/47
это связано как-то или нет?
shumelkamysh вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 26.08.2011, 15:49   #20
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: вопрос про robots.txt

Цитата:
Сообщение от shumelkamysh Посмотреть сообщение
знак s что означает?
http://help.yandex.ru/webmaster/?id=996567#996572
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
shumelkamysh (26.08.2011)
Старый 31.08.2011, 05:08   #21
 
Аватар для deedjey
 
Сообщений: 2
FR (активность): 0

Доп. информация
По умолчанию Re: вопрос про robots.txt

Здравствуйте, а для сайта на Joomla что надо закрывать?
deedjey вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 31.08.2011, 09:35   #22
 
Аватар для AlexeyOrloff
 
Сообщений: 1,483
FR (активность): 33,839

Доп. информация
По умолчанию Re: вопрос про robots.txt

Закрывать то, что не должно индексироваться на твоём сайте (это уж самому решать), а так в свободном доступе куча готовых robots и для джумлы есть
AlexeyOrloff вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 04.02.2012, 03:19   #23
 
Аватар для Stelz
 
Сообщений: 449
FR (активность): 12,571

Доп. информация
По умолчанию

Оффтоп:
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /mp3/
Sitemap: http://musicbomba.ru/sitemap.xml


User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /mp3/
Host: www.musicbomba.ru


создал для вордпресс думаю все правильно закрил.
Яшка принял,а гугл не принимает говорит карта сайта заблокирована файлом robots.txt


Stelz вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 07.02.2012, 10:59   #24
 
Аватар для gidroballon
 
Сообщений: 605
FR (активность): 21,095

Доп. информация
По умолчанию

Помогите, пожалуйста, и мне с robots.txt
В настоящее время он имеет такой вот вид:
Оффтоп:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*rurl=*
Allow: /sitemap.xml
Allow: /wp-content/uploads/

Sitemap: http://bali-baget.ru/sitemap.xml


Хотел узнать: правильно ли он составлен? Фразы типа "закрой всё, что считаешь нужным закрыть" мне не помогают ибо я не знаю что нужно а что не нужно прятать от поисковиков. И если я сделаю robots.txt вида:
Оффтоп:
User-agent: *
Disallow:

Sitemap: http://bali-baget.ru/sitemap.xml

будет ли критичным открыть ПС полностью всё?

Ну и был бы признателен, если кто-нибудь помог составить корректный роботс мне


Bali Baguette: Эксклюзивно. Качественно. Доступно.
gidroballon вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 08.02.2012, 02:30   #25
 
Аватар для fobos234
 
Сообщений: 12
FR (активность): 0

Доп. информация
По умолчанию

Зачем закрывать картинки? По них трафик нормальный идет, разве что личные. Хост действительно только Яшке нужен, закрывать нужно админку, ну еще комменты, если не хотите ссылки индексировать, а вообще на эту тему инфы полно.
fobos234 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 16.02.2012, 22:01   #26
 
Аватар для Dharam
 
Сообщений: 181
FR (активность): 2,335

Доп. информация
По умолчанию

Цитата:
Сообщение от Customizer Посмотреть сообщение
простите за мой нубский вопрос, но все же.
мой robots.txt выглядит так 9я его не менял)

Код:
User-agent: *
Disallow:

Sitemap: http://cgdesignstyle.ru/sitemap.xml.gz

<!-- www.000webhost.com Analytics Code -->
<script type="text/javascript" src="http://analytics.hosting24.com/count.php"></script>
<noscript><a href="http://www.hosting24.com/"><img src="http://analytics.hosting24.com/count.php" alt="web hosting" /></a></noscript>
<!-- End Of Code -->
вроде хосьтингом создан. он ничего не закрывает у меня на сайте от индексации?
Это просто счётчик для статистики. IMHO
Если выкинуть, то через панель админа на сайте хостера статистику не увидите

Добавлено через 3 минуты
robots для вордпресса можно написать так:
User-agent: IRLbot
Crawl-delay: 3600

User-agent: *
Disallow: /next/

# har har
User-agent: *
Disallow: /activate/

User-agent: *
Disallow: /wp-login.php

User-agent: *
Disallow: /wp-admin/

User-agent: *
Disallow: /signup/

User-agent: *
Disallow: /related-tags.php

# MT refugees
User-agent: *
Disallow: /cgi-bin/

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
если есть карта сайта, то добавить:
Sitemap: http://имядомена/sitemap.xml


наилучшие пожелания всем,
Дхарам
Dharam вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 20.08.2013, 21:35   #27
 
Аватар для Кеша
 
Сообщений: 7
FR (активность): 0

Доп. информация
По умолчанию

Добрый вечер,

Проверил свой robots.txt в яндексе. И вот, что он мне выдал:

строка 15-30
User-agent: Yandex
Disallow: /cgi-bin
...
Sitemap: http://axe-pyrus.ru/sitemap.xml

Подскажите, что это может означать?
Заранее благодарен.
Кеша вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 20.08.2013, 21:40   #28
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию

Цитата:
Сообщение от Кеша Посмотреть сообщение
Подскажите, что это может означать?
Что нормально всё.
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 21.08.2013, 16:49   #29
 
Аватар для Кеша
 
Сообщений: 7
FR (активность): 0

Доп. информация
По умолчанию

Спасибо, Umka!)))
Кеша вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 21.08.2013, 19:35   #30
 
Аватар для emppire
 
Сообщений: 36
FR (активность): 411

Доп. информация
По умолчанию

Каких только ухищьрений нет... Даже в роботе свою ссыль продвигают.
emppire вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Динамически формируемый robots.txt Масаракш Индексация сайта 0 12.10.2009 23:31
Robots.txt Anaksagor Индексация сайта 5 17.09.2009 14:17
Вопрос по robots.txt mumitroll Беседка 0 23.07.2009 15:26
Использование robots.txt specialist-seo Разработка сайтов 0 07.04.2009 15:16
Как правильно составить Robots.txt? Dino_ak47 Google 16 03.03.2009 02:51

Текущее время: 15:56. Часовой пояс GMT +3.