Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 23.08.2011, 23:40   #16
 
Аватар для shumelkamysh
 
Сообщений: 23
FR (активность): 569

Доп. информация
По умолчанию Re: вопрос про robots.txt

Понятно, спасибо.
Вот пока нашла еще такое решение:

[html]User-agent: *
Crawl-delay: 4
Disallow: /archive/all/2011$
Disallow: /archive/all$
Disallow: /*comment*
Disallow: /includes
Disallow: /profiles
Disallow: /modules
Disallow: /contact
Disallow: /scripts
Disallow: /themes
Disallow: /search
Disallow: /filter
Disallow: /*atom*
Disallow: /*sort*
Disallow: /*utm_*
Disallow: /misc*
Disallow: /user*
Disallow: /node$
Disallow: /*?*
Sitemap: http://www.domain.ru/sitemap.xml
Host: www.domain.ru[/html]
я че то запуталась окончательно, кажется этот вариант верный?
shumelkamysh вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 23.08.2011, 23:59   #17
 
Аватар для cthulchu
 
Сообщений: 3,700
FR (активность): 111,330

Доп. информация
По умолчанию Re: вопрос про robots.txt

две последние строки удали.
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
shumelkamysh (24.08.2011)
Старый 24.08.2011, 13:11   #18
 
Аватар для ldvewka
 
Сообщений: 1
FR (активность): 5

Доп. информация
По умолчанию Re: вопрос про robots.txt

Подскажите с чего начать составление файла robots.txt для системы Битрикс? Так как сам я не программист и битрикс продвигаю впервые, то даже не знаю как к нему подойти.
У интернет-магазина который я продвигаю очень много чистых дублей и страниц, дублирующие большую часть контента. как понять структуру сайта и составить правильный роботс??
Вот пример который я нашел. Как его подбить на мой сайт или для битрикса это стандартный роботс?

User-agent: *
Disallow: /bitrix/
Disallow: /search/
Disallow: /auth/
Disallow: /auth.php
Disallow: /personal/
Disallow: /*/search/
Disallow: /*PAGE_NAME=search
Disallow: /*PAGE_NAME=user_post
Disallow: /*PAGE_NAME=detail_slide_show
Disallow: /*/slide_show/
Disallow: /*/gallery/*order=*
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*register=yes
Disallow: /*forgot_password=yes
Disallow: /*change_password=yes
Disallow: /*login=yes
Disallow: /*logout=yes
Disallow: /*auth=yes
Disallow: /*action=ADD_TO_COMPARE_LIST
Disallow: /*action=DELETE_FROM_COMPARE_LIST
Disallow: /*action=ADD2BASKET
Disallow: /*action=BUY
Disallow: /*print_course=Y
Disallow: /*bitrix_*=
Disallow: /*backurl=*
Disallow: /*BACKURL=*
Disallow: /*back_url=*
Disallow: /*BACK_URL=*
Disallow: /*back_url_admin=*
Disallow: /index.php$
Disallow: /*SECTION_ID=*
Disallow: /*bxajaxid=*
Disallow: /*PAGEN*
Host:
Sitemap:
ldvewka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 26.08.2011, 14:11   #19
 
Аватар для shumelkamysh
 
Сообщений: 23
FR (активность): 569

Доп. информация
По умолчанию Re: вопрос про robots.txt

Доброго времени, подскажите пожалуйста чайнику. В роботс написано [html]Disallow: /node$[/html]
знак s что означает? У меня яндекс кроме главной страницы ничего не видит, а в друпал мне настроили так, что все адреса идут через нод: ....ste.ru/node/47
это связано как-то или нет?
shumelkamysh вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 26.08.2011, 15:49   #20
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: вопрос про robots.txt

Цитата:
Сообщение от shumelkamysh Посмотреть сообщение
знак s что означает?
http://help.yandex.ru/webmaster/?id=996567#996572
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
shumelkamysh (26.08.2011)
Старый 31.08.2011, 05:08   #21
 
Аватар для deedjey
 
Сообщений: 2
FR (активность): 0

Доп. информация
По умолчанию Re: вопрос про robots.txt

Здравствуйте, а для сайта на Joomla что надо закрывать?
deedjey вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 31.08.2011, 09:35   #22
 
Аватар для AlexeyOrloff
 
Сообщений: 1,483
FR (активность): 34,669

Доп. информация
По умолчанию Re: вопрос про robots.txt

Закрывать то, что не должно индексироваться на твоём сайте (это уж самому решать), а так в свободном доступе куча готовых robots и для джумлы есть
AlexeyOrloff вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 04.02.2012, 03:19   #23
 
Аватар для Stelz
 
Сообщений: 452
FR (активность): 13,470

Доп. информация
По умолчанию

Оффтоп:
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /mp3/
Sitemap: http://musicbomba.ru/sitemap.xml


User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /tag/
Disallow: /page/
Disallow: /trackback/
Disallow: /feed/
Disallow: /comments/
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Disallow: /mp3/
Host: www.musicbomba.ru


создал для вордпресс думаю все правильно закрил.
Яшка принял,а гугл не принимает говорит карта сайта заблокирована файлом robots.txt


Stelz вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 07.02.2012, 10:59   #24
 
Аватар для gidroballon
 
Сообщений: 605
FR (активность): 21,095

Доп. информация
По умолчанию

Помогите, пожалуйста, и мне с robots.txt
В настоящее время он имеет такой вот вид:
Оффтоп:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*rurl=*
Allow: /sitemap.xml
Allow: /wp-content/uploads/

Sitemap: http://bali-baget.ru/sitemap.xml


Хотел узнать: правильно ли он составлен? Фразы типа "закрой всё, что считаешь нужным закрыть" мне не помогают ибо я не знаю что нужно а что не нужно прятать от поисковиков. И если я сделаю robots.txt вида:
Оффтоп:
User-agent: *
Disallow:

Sitemap: http://bali-baget.ru/sitemap.xml

будет ли критичным открыть ПС полностью всё?

Ну и был бы признателен, если кто-нибудь помог составить корректный роботс мне


Bali Baguette: Эксклюзивно. Качественно. Доступно.
gidroballon вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 08.02.2012, 02:30   #25
 
Аватар для fobos234
 
Сообщений: 12
FR (активность): 0

Доп. информация
По умолчанию

Зачем закрывать картинки? По них трафик нормальный идет, разве что личные. Хост действительно только Яшке нужен, закрывать нужно админку, ну еще комменты, если не хотите ссылки индексировать, а вообще на эту тему инфы полно.
fobos234 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 16.02.2012, 22:01   #26
 
Аватар для Dharam
 
Сообщений: 181
FR (активность): 2,335

Доп. информация
По умолчанию

Цитата:
Сообщение от Customizer Посмотреть сообщение
простите за мой нубский вопрос, но все же.
мой robots.txt выглядит так 9я его не менял)

Код:
User-agent: *
Disallow:

Sitemap: http://cgdesignstyle.ru/sitemap.xml.gz

<!-- www.000webhost.com Analytics Code -->
<script type="text/javascript" src="http://analytics.hosting24.com/count.php"></script>
<noscript><a href="http://www.hosting24.com/"><img src="http://analytics.hosting24.com/count.php" alt="web hosting" /></a></noscript>
<!-- End Of Code -->
вроде хосьтингом создан. он ничего не закрывает у меня на сайте от индексации?
Это просто счётчик для статистики. IMHO
Если выкинуть, то через панель админа на сайте хостера статистику не увидите

Добавлено через 3 минуты
robots для вордпресса можно написать так:
User-agent: IRLbot
Crawl-delay: 3600

User-agent: *
Disallow: /next/

# har har
User-agent: *
Disallow: /activate/

User-agent: *
Disallow: /wp-login.php

User-agent: *
Disallow: /wp-admin/

User-agent: *
Disallow: /signup/

User-agent: *
Disallow: /related-tags.php

# MT refugees
User-agent: *
Disallow: /cgi-bin/

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
если есть карта сайта, то добавить:
Sitemap: http://имядомена/sitemap.xml


наилучшие пожелания всем,
Дхарам
Dharam вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 20.08.2013, 21:35   #27
 
Аватар для Кеша
 
Сообщений: 7
FR (активность): 0

Доп. информация
По умолчанию

Добрый вечер,

Проверил свой robots.txt в яндексе. И вот, что он мне выдал:

строка 15-30
User-agent: Yandex
Disallow: /cgi-bin
...
Sitemap: http://axe-pyrus.ru/sitemap.xml

Подскажите, что это может означать?
Заранее благодарен.
Кеша вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 20.08.2013, 21:40   #28
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию

Цитата:
Сообщение от Кеша Посмотреть сообщение
Подскажите, что это может означать?
Что нормально всё.
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 21.08.2013, 16:49   #29
 
Аватар для Кеша
 
Сообщений: 7
FR (активность): 0

Доп. информация
По умолчанию

Спасибо, Umka!)))
Кеша вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 21.08.2013, 19:35   #30
 
Аватар для emppire
 
Сообщений: 36
FR (активность): 411

Доп. информация
По умолчанию

Каких только ухищьрений нет... Даже в роботе свою ссыль продвигают.
emppire вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 1885 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Динамически формируемый robots.txt Масаракш Индексация сайта 0 12.10.2009 23:31
Robots.txt Anaksagor Индексация сайта 5 17.09.2009 14:17
Вопрос по robots.txt mumitroll Беседка 0 23.07.2009 15:26
Использование robots.txt specialist-seo Разработка сайтов 0 07.04.2009 15:16
Как правильно составить Robots.txt? Dino_ak47 Google 16 03.03.2009 02:51

Текущее время: 18:27. Часовой пояс GMT +3.