Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 09.12.2011, 20:09   #1
 
Аватар для Chemodan
 
Сообщений: 54
FR (активность): 2,669

Доп. информация
По умолчанию Автор темы Вопрос по robots.txt

Люди добрые подскажите, пожалуйста:
если в robots.txt поставить Disallow: /index.php?do=*
то оно будет закрывать от индексации все страницы с index.php?do= ??
тоесть не нужно перечислять все страницы, типа:
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=register и т.д.
а? а? а?
Chemodan вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 09.12.2011, 20:53   #2
 
Аватар для spy
 
Сообщений: 79
FR (активность): 1,815

Доп. информация
По умолчанию

Цитата:
Сообщение от Chemodan Посмотреть сообщение
то оно будет закрывать от индексации все страницы с index.php?do= ??
да


Разработка и раскрутка сайтов в компании Silentcode
spy вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 10.12.2011, 08:11   #3
 
Аватар для mark3000
 
Сообщений: 308
FR (активность): 7,298

Доп. информация
По умолчанию

Попробуйте проверить "анализатором robots" от яндекса. Что бы не гадать, а знать наверняка.


LINKOSCOP 4.2 не упустите важные моменты внутренней перелинковки.
mark3000 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 10.12.2011, 16:30   #4
 
Аватар для Chemodan
 
Сообщений: 54
FR (активность): 2,669

Доп. информация
По умолчанию Автор темы

а вообще, посмотрите на этот robots, не видите в нем ничего подозрительного?)
например для чего нужен первый user-agent, а потом еще и User-agent: Yandex,
и еще почему в первом * хост не нужно прописывать? и sitemap 2 раза прописан,
например анализатор мне показал:

Цитата:
Используемые секции:
строка
19-19 Sitemap: http://nokiatouch.ru/sitemap.xml

21-40 User-agent: Yandex
Disallow: /*print
...
Sitemap: http://nokiatouch.ru/sitemap.xml
Вот собственно мой robots

Цитата:
User-agent: *
Disallow: /*print
Disallow: /*userinfo
Disallow: /2011/
Disallow: /index.php?subaction=userinfo
Disallow: /autobackup.php
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /?do=*
Disallow: /statistics.html
Disallow: /index.php?do=*
Disallow: /rules.html
Sitemap: http://сайт.ru/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /*userinfo
Disallow: /2011/
Disallow: /index.php?subaction=userinfo
Disallow: /autobackup.php
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /backup/
Disallow: /engine/
Disallow: /user/
Disallow: /favorites/
Disallow: /?do=*
Disallow: /statistics.html
Disallow: /index.php?do=*
Disallow: /rules.html
Host: сайт.ru
Sitemap: http://сайт.ru/sitemap.xml
Chemodan вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.01.2012, 17:12   #5
 
Аватар для Privet
 
Сообщений: 145
FR (активность): 1,823

Доп. информация
По умолчанию

На всякий случай уточню

Disallow: /misc

Закроет также и

сайт.ru/misc.php?ccbloc=96
сайт.ru/misc.php?ccbloc=73
сайт.ру/misc.php?showrules

?

Ибо вчера прописал, сегодня зашел в гугл и ужаснулся, весь чат проиндексировал, который я сделал доступным для гостей.
Privet вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.01.2012, 17:32   #6
 
Аватар для Jaga
 
Сообщений: 2,479
FR (активность): 74,145

Доп. информация
По умолчанию

Цитата:
Сообщение от Privet Посмотреть сообщение
Disallow: /misc

Закроет также и

сайт.ru/misc.php?ccbloc=96
сайт.ru/misc.php?ccbloc=73
сайт.ру/misc.php?showrules
По ходу нет.
Надо вот так если не ошибаюсь:
Disallow: /misc.php*
Пусть меня поправят, самому интересно.


Кто в Яндекс продвигал, тот в цирке не смеется. народная мудрость

Со временем найдутся все
Jaga вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.01.2012, 18:08   #7
 
Аватар для Privet
 
Сообщений: 145
FR (активность): 1,823

Доп. информация
По умолчанию

Во всяком случае справка яндекса утверждает что эта звездочка есть в конце каждой строчки по дефолту
Privet вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.01.2012, 18:54   #8
 
Аватар для cthulchu
 
Сообщений: 3,670
FR (активность): 107,432

Доп. информация
По умолчанию

Цитата:
Сообщение от Privet Посмотреть сообщение
Во всяком случае справка яндекса утверждает что эта звездочка есть в конце каждой строчки по дефолту
да, это логично абсолютно.
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Jaga (01.01.2012), Privet (01.01.2012)
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2173 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
robots.txt - учимся использовать. Часто задаваемые вопросы по robots.txt Alex LM Общие вопросы 18 10.05.2016 11:09
вопрос про robots.txt Customizer Индексация сайта 30 22.08.2013 10:13
Вопрос про host: в robots Chemodan Индексация сайта 2 07.07.2011 10:54
Вопрос про robots.txt и индексацию сайта Smallbear Индексация сайта 12 07.07.2011 10:50
Вопрос по robots.txt mumitroll Беседка 0 23.07.2009 15:26

Текущее время: 18:02. Часовой пояс GMT +3.