Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 07.07.2011, 07:23   #1
 
Аватар для seo-newbie
 
Сообщений: 47
FR (активность): 747

Доп. информация
По умолчанию Автор темы Индексация статей по разным адресам

Пожалуйста помогите разобраться в такой ситуации.

На сайте был создан каталог со статьями, допустим http://www.site.ru/articles. Сами статьи размещаются в БД и просматриваются пользователями по адресам http://www.site.ru/articles/article1.html.

По недосмотру программиста статьи также оказались доступны и по другой директирии, допустим по адресам http://www.site.ru/production/article1.html. И там также повторно проиндексировались Яндексом. При этом ссылок на эти статьи из директории http://www.site.ru/production/ по сайту не устанавливалось.

Вопрос, если ссылок ведущих на статьи из ../production/.. не было, то как они смогли так проиндексироваться?
seo-newbie вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 07.07.2011, 10:55   #2
 
Аватар для cthulchu
 
Сообщений: 3,670
FR (активность): 107,432

Доп. информация
По умолчанию Re: Индексация статей по разным адресам

проверь sitemap.xml.
На самом деле, я уверен, что программист воспользовался rewrite'ом, так что то, что кажется путем, по факту, является гет-переменными, которые поисковики всегда как-то особенно видят. Суть не в этом, это очень просто правится через robots.txt, если нету желания лезть в логику кода.
зы
ну и очень просто проверить, есть ли ссылки. нужно сдампить фтп, выполнить поиск по сожержимому, после чего сдампить БД в sql-файл, открыть его (я открываю с помощью notepad++ или akelpad) и выполнить поиск. Ищем мы ссылку. Ссылка может быть не монолитной, а преобразованной, так что я бы еще искал в коде "production", а потом, найдя, как называется переменная, в которую пишется "production", нашел бы конкатенацию, что формирует ссылку... и к чему это я написал..
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
seo-newbie (11.07.2011), Umka (07.07.2011)
Старый 08.07.2011, 08:09   #3
 
Аватар для seo-newbie
 
Сообщений: 47
FR (активность): 747

Доп. информация
По умолчанию Автор темы Re: Индексация статей по разным адресам

Благодарю! Поищем ссылки по дампам, авось и найдутся!

А вот на счет robots.txt подскажите пожалуйста? Хотя код исправили, все-равно интересно как можно иначе сделать))
Дело в том, что директорию /production/ закрывать от индексации нельзя.. Так как же запретить индексировать статьи из /articles/ в других директориях?
seo-newbie вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 08.07.2011, 08:34   #4
 
Аватар для AlexeyOrloff
 
Сообщений: 1,483
FR (активность): 33,834

Доп. информация
По умолчанию Re: Индексация статей по разным адресам

Цитата:
Сообщение от seo-newbie Посмотреть сообщение
А вот на счет robots.txt подскажите пожалуйста?
или весь раздел или каждую ссылку, можно ссылки по маске, если они будут отличаться от других в разделе
AlexeyOrloff вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 11.07.2011, 07:47   #5
 
Аватар для seo-newbie
 
Сообщений: 47
FR (активность): 747

Доп. информация
По умолчанию Автор темы Re: Индексация статей по разным адресам

Цитата:
Сообщение от AlexeyOrloff Посмотреть сообщение
или весь раздел или каждую ссылку, можно ссылки по маске, если они будут отличаться от других в разделе
К сожалению весь раздел нельзя, т.к. там есть статьи, которые должны индексироваться.
Каждую ссылку тоже не подойдет, т.к. статей много и они постоянно добавляются.
По маске также не выйдет, т.к. нет отличий от нужных к индексации статей.

Вообще все названия статей хранятся в БД, как думаете, можно ли здесь каким-либо образом попробовать динамическое формирование файла robots.txt? Если у кого-нибудь есть опыт, то подскажите, пожалуйста?
seo-newbie вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2350 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Не коммерческий обмен ссылками по разным тематикам Game-spb Ссылки 3 21.09.2010 10:20
Однолинковый обмен по разным тематикам! Welcome. Game-spb Ссылки 1 09.08.2010 17:53
Тест базы каталогов статей: Бесплатный прогон по каталогам статей noFx Прогон по каталогам и т д 2 06.10.2009 18:41
Куплю внутренние контекстные ссылки и статьи по разным тематикам nomer1 Покупка ссылок 6 13.05.2009 22:50
Размещение в 160 каталогах статей. Очень дешево! Индексация в Яндексе гарантированна! ursuv Продажа статей 12 14.08.2008 16:33

Текущее время: 11:09. Часовой пояс GMT +3.