Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 21.01.2011, 00:28   #1
 
Аватар для mapkpehtoh
 
Сообщений: 3
FR (активность): 94

Доп. информация
По умолчанию Автор темы Форум запрещен для индексации

Господа, подскажите

Есть форум вида

http://иксиксикс.ru/forum/

Т.е он как бы привинчен к блогу

Проблема в том, что его страницы запрещены к индексации. В свое время занимался роботсточкатхт и запрещал там индексацию страниц в соответствии с рекомендациями интернета.

Собстна он выглядит след образом:

User-agent: *
Disallow: /xmlrpc.php
Disallow: /tag
Disallow: /category/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Disallow: /2010/*
Disallow: /2011/*
Host: www.иксиксикс.ru

Вопрос: какую строку из перечисленных убрать, чтобы форум начал индексироваться. Конечно, если дело вообще в роботстхт....
mapkpehtoh вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 21.01.2011, 10:05   #2
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: Форум запрещен для индексации

Патентованная проверялка роботс от Яндекса:
http://webmaster.yandex.ru/robots.xml

По сабжу - запрет индексации форума выглядел бы так: Disallow: /forum/ (звездочка на конце необязательна), но в таком виде директивы нет. Значит или страницы форума попадают под /*?* или/и /2010/*, либо дело не в роботс вообще.
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 21.01.2011, 11:15   #3
 
Аватар для mapkpehtoh
 
Сообщений: 3
FR (активность): 94

Доп. информация
По умолчанию Автор темы Re: Форум запрещен для индексации

Про инструменты вебмастера я в курсе, там и нобнаружил запрет индексации форума.

Странность в том, что сегодня вместо сообщения о запрете к индексации при проверке например такого урла: http://иксиксикс.ru/forum/viewforum.php?f=19 появляется: "Сайт является зеркалом www.иксиксикс.ru, проверить www.иксиксикс.ru"

Каким образом форум мог стать зеркалом... и не будет ли такого, что они склеятся и основным станет http://иксиксикс.ru/forum/ ?
mapkpehtoh вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 21.01.2011, 16:28   #4
 
Аватар для Byblik
 
Сообщений: 449
FR (активность): 8,658

Доп. информация
По умолчанию Re: Форум запрещен для индексации

Цитата:
Сообщение от mapkpehtoh Посмотреть сообщение
http://иксиксикс.ru/forum/viewforum.php?f=19 появляется: "Сайт является зеркалом www.иксиксикс.ru, проверить www.иксиксикс.ru"
Цитата:
Сообщение от mapkpehtoh Посмотреть сообщение
User-agent: *
...
...
Host: www.иксиксикс.ru
Цитата:
Сообщение от mapkpehtoh Посмотреть сообщение
Каким образом форум мог стать зеркалом... и не будет ли такого, что они склеятся и основным станет http://иксиксикс.ru/forum/ ?
Тут отдельный каталог форума не причем. В robots.txt главным зеркалом прописан www.иксиксикс.ru, Яндекс и сделал его главным.

То есть, если проверять http://иксиксикс.ru/forum/viewforum.php?f=19 и http://иксиксикс.ru ответ будет одинаков.
Byblik вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 21.01.2011, 19:03   #5
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: Форум запрещен для индексации

Цитата:
Сообщение от mapkpehtoh Посмотреть сообщение
при проверке например такого урла: http://иксиксикс.ru/forum/viewforum.php?f=19
Цитата:
Сообщение от mapkpehtoh Посмотреть сообщение
Disallow: /*?*
Disallow: /*?
Ну вроде как два последних дизаллоу должны как раз запрещать адреса вида viewforum.php?f=19 ...не?
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2518 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Купил домен, а он запрещен к индексации. Alekksall Домены 9 21.08.2012 10:42
Ссылки для быстрой индексации Турист Продажа ссылок 37 08.04.2012 21:28
3 месяца без индексации romul Индексация сайта 2 14.06.2010 19:50
Форум закрыли от индексации svetik84 Индексация сайта 6 28.02.2010 19:22
Запрет индексации. Maximus Яndex 12 14.07.2009 12:35

Текущее время: 02:48. Часовой пояс GMT +3.