Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 29.03.2010, 23:45   #1
 
Аватар для IveGotSoul
 
Сообщений: 246
FR (активность): 5,439

Доп. информация
По умолчанию Автор темы Нужна помощь с файлом Robots.txt

Помогите с файликом robots.txt, правильно ли он составлен:

Код:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /pdf/
Disallow: /pechat.html
Sitemap: autogidroremont.ru/index.php?option=com_sefservicemap&task=xmlmapindex&no_html=1
IveGotSoul вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 30.03.2010, 13:59   #2
 
Аватар для 19-9
 
Сообщений: 754
FR (активность): 20,238

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Хост ещё можно прописать.
19-9 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 30.03.2010, 18:05   #3
 
Аватар для IveGotSoul
 
Сообщений: 246
FR (активность): 5,439

Доп. информация
По умолчанию Автор темы Re: Нужна помощь с файлом Robots.txt

Host: сайт.ru

??

или как?
IveGotSoul вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 30.03.2010, 18:55   #4
 
Аватар для 19-9
 
Сообщений: 754
FR (активность): 20,238

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Host: сайт.ru
Host: www.сайт.ru
Именно так, сайт с www и без - на ваш вкус.
19-9 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 30.03.2010, 19:39   #5
 
Аватар для IveGotSoul
 
Сообщений: 246
FR (активность): 5,439

Доп. информация
По умолчанию Автор темы Re: Нужна помощь с файлом Robots.txt

Спасибо, за помощь.
IveGotSoul вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 19.04.2010, 10:53   #6
 
Аватар для sam-pro
 
Сообщений: 1
FR (активность): 5

Доп. информация
Радость Re: Нужна помощь с файлом Robots.txt

Ребята всем привет) я тут новенький, и вот мой первый вопрос, буду признателен за помощь - правильный ли у меня Robots.txt? так как мой сайт почему то плохо индексируется, всего 4 страницы прошел из них 2 в поиске, я думаю что то именно с Robots.txt, вот собственно и он:
Оффтоп:
User-agent: *
Crawl-delay: 10
Disallow: /*print
Disallow: /user/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /backup/
Disallow: /uploads/
Disallow: /upgrade/
Disallow: /language/
Disallow: /favorites/
Disallow: /templates/
Disallow: /admin.php
Disallow: /statistics.html
Disallow: /autobackup.php
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=addnews
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts
Sitemap: мой сайт/sitemap.xml
User-agent: Yandex
Crawl-delay: 10
Disallow: /*print
Disallow: /user/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /backup/
Disallow: /uploads/
Disallow: /upgrade/
Disallow: /language/
Disallow: /favorites/
Disallow: /templates/
Disallow: /admin.php
Disallow: /statistics.html
Disallow: /autobackup.php
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=addnews
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=lastcomments
Disallow: /index.php?subaction=newposts
Sitemap: мой сайт/sitemap.xml
Host: мой сайт.ру


Хочу заметить что сайт на движке Ворд Пресс, может это имеет значение...
sam-pro вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 19.04.2010, 13:25   #7
 
Аватар для 19-9
 
Сообщений: 754
FR (активность): 20,238

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Если
Цитата:
User-agent: *
, то нет смысла писать отдельно для яндекса.
19-9 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 22.04.2010, 12:09   #8
 
Аватар для SeoIgor
 
Сообщений: 69
FR (активность): 656

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Цитата:
Сообщение от sam-pro Посмотреть сообщение
Crawl-delay: 10
- убрать, если плохо индексируется.
Убрать весь раздел для Яндекса, оставив от него только строчку Host: мой сайт.ру
SeoIgor вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.04.2010, 17:52   #9
 
Аватар для Yujin11
 
Сообщений: 4
FR (активность): 22

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Помогите пожалуйста разобраться с файлом Robots.txt. Даже не знаю что и как там прописывать. Или хотя бы подскажите где можно найти на него всю инфу. Зарание спасибо.
Yujin11 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.04.2010, 18:15   #10
 
Аватар для x997
 
Сообщений: 2,205
FR (активность): 70,735

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Robots.txt. Даже не знаю что и как там прописывать.-— Яндекс: нашлась 61-тыс. страниц


Говорят,что я такое же быдло как и все!!! ха ... Господа хорошие,для системы ценностей большенства людей , Я ЗНАЧИТЕЛЬНО ХУЖЕ!!!
внимание! существенная часть того что я пишу, может оказаться сарказмом!
x997 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 28.04.2010, 19:58   #11
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Цитата:
Сообщение от sam-pro Посмотреть сообщение
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=addnews
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=lastcomments
Дюже длинная конструкция. Можно написать примерно так:
Clean-param: do stats&search&register&feedback&addnews&lostpasswor d&lastcomments /index.php

то есть не исключать страницы, а отбрасывать их параметры, сводя все такие страницы к одной (в данном случае к index.php)... Вообще очень полезная команда (Clean-param) при использовании динамических адресов...
Синтаксис:
Clean-param: p0[&p1&p2&..&pn] [path]
p0 - параметр (в вашем случае do)
[&p1&p2&..&pn] - отбрасываемый параметр
[path]- страница, к которой приведут все адреса

Оффтоп:
По поводу множества одинаковых параметров и вопросов Оптимизации. Знаю, одного чувака, которого не приняли на работу в некую контору из-за того, что в процессе собеседования, его пригласили попить чай и попросили порезать колбасу. Ну хренли: порезал, начал очищать от кожуры... Тут-то ему и сказали: "Вы нам не подходите!" Тот им: "Как?! С ЧЕГО???" Объяснили: настоящий индеец-оптимизатор сначала очищает всю палку колбасы, а потом режет - ибо так меньше трудозатрат и более оптимизированно. Чистить же каждый ломтик: геморно и нифига не комильфо...
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 03.06.2010, 22:40   #12
 
Аватар для kryon
 
Сообщений: 57
FR (активность): 2,308

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Мне кажется, что тут не все можно указывать! Ведь robots.txt может стать координатором на каталоги, о которых лучше не знать посторонним глазам!

Вещь, безусловно, необходимая НО, действует иногда как подсказка где и что у вас лежит?!

Добавлено через 3 минуты
Цитата:
Сообщение от IveGotSoul Посмотреть сообщение
Помогите с файликом robots.txt, правильно ли он составлен:

Код:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /pdf/
Disallow: /pechat.html
Sitemap: autogidroremont.ru/index.php?option=com_sefservicemap&task=xmlmapindex&no_html=1
kryon вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 03.06.2010, 23:08   #13
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Цитата:
Сообщение от kryon Посмотреть сообщение
Мне кажется, что тут не все можно указывать!
Это стандартный роботс от Джумлы.
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 04.06.2010, 06:58   #14
 
Аватар для kryon
 
Сообщений: 57
FR (активность): 2,308

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Меня интересует вот что:

Зачем использовать это?

Robots.txt
User-Agent: Yandex
Disallow: /user
Disallow: /cart
Disallow: /search
Disallow: /query
Disallow: /subscribe
Disallow: /img/
Host: www.mysite.ru
Sitemap: http://www.mysite.ru/sitemap.xml

User-Agent: *
Disallow: /user
Disallow: /cart
Disallow: /search
Disallow: /query
Disallow: /subscribe
Disallow: /img/
Sitemap: http://www.mysite.ru/sitemap.xml

Когда можно использовать просто

User-Agent: *
kryon вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 04.06.2010, 07:05   #15
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: Нужна помощь с файлом Robots.txt

Цитата:
Сообщение от kryon Посмотреть сообщение
Зачем использовать это?
В Вашем примере ради строчки: "Host: www.mysite.ru".
То есть чтобы не скармливать ее другим ПС.
А "для чего" это уже другой вопрос...
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Метки
robots.txt

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2329 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Текущее время: 18:51. Часовой пояс GMT +3.