Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 16.03.2012, 13:34   #1
 
Аватар для Alexx66
 
Сообщений: 2
FR (активность): 51

Доп. информация
По умолчанию Автор темы Robots.txt дубликаты страниц

В файле Robots.txt прописан запрет на индексацию всего.
Google все равно индексирует. Страниц в два раза больше чем должно быть.
Посоветуйте какие меры принять.
Вот такие страницы в индексе не нужны.
.../component/search/?searchword=html...newest...
.../component/rafcloud/119/photoshop.html?ordering...
.../component/content/article/1.html
...html?start=3
...html?start=1
Такой Robots.txt
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /*?*
Disallow: /component/search/
Disallow: /component/rafcloud/
Disallow: /component/content/
Alexx66 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 16.03.2012, 13:36   #2
 
Аватар для cthulchu
 
Сообщений: 3,670
FR (активность): 107,432

Доп. информация
По умолчанию

Цитата:
Сообщение от Alexx66 Посмотреть сообщение
Посоветуйте какие меры принять.
убрать дубли страниц, или сделать с них 301.
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 16.03.2012, 15:43   #3
 
Аватар для specialist-seo
 
Сообщений: 2,199
FR (активность): 49,104

Доп. информация
По умолчанию

Alexx66,robots.txt составлен не правильно
html?start=3

директива

Disallow: /*?*

разрешает эту страницу к индексации, нет запрета

Disallow: *? - вот это запрещает. Правда и все остальные с ? тоже

Тоже и с остальными страницами, составляйте правильно
Alexx66: сообщение полезно
specialist-seo вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 16.03.2012, 16:50   #4
 
Аватар для Alexx66
 
Сообщений: 2
FR (активность): 51

Доп. информация
По умолчанию Автор темы

Я и пытаюсь убрать дубликаты страниц. Можно и вручную (всего около 200), но как?
Везде отправляют к файлу robots.txt. Уже напихал туда все что знал.
Может надо какое-то время для робота.
Alexx66 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2100 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
robots.txt - учимся использовать. Часто задаваемые вопросы по robots.txt Alex LM Общие вопросы 18 10.05.2016 11:09
robots.txt для DLE YaltaHome.com DLE 9 10.12.2012 10:45
Как яндекс ищет дубликаты картинок specialist-seo Яndex 6 12.08.2011 13:41
Редирект, дубликаты контента brainraider Индексация сайта 2 20.12.2010 09:37
Robots.txt Anaksagor Индексация сайта 5 17.09.2009 14:17

Текущее время: 11:11. Часовой пояс GMT +3.