Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 07.05.2015, 01:49   #1
 
Аватар для jazbass
 
Сообщений: 526
FR (активность): 17,427

Доп. информация
По умолчанию Автор темы Гипотеза на голом эмпиризме: ПС перестали индексировать дубли

Всем бобра и наше вам с кисточкой!

Предыстория
Уже пол года как собирался сделать на одном из своих сайтов 404-ую страницу. Давеча, набравшись антиленина (лекарство против лени), решил все-таки потратить пятнадцать минут жизни на осуществление задуманного.

Все чин по чину, нарисовал красивую страничку, назвал ее error404, написал файлик error.php (сайт на Joomla). Одна беда, забыл прописать ЧПУ для странички в самой CMS. Т.е. открыться правильно она априори не могла.

Невероятный глюк
Коль скоро я про свою забывчивость ясен-красен в тот момент тоже забыл, то без всякой задней мысли, решил проверить, как 404-ая будет фантастически смотреться на сайте, коий является большим предметом собственной гордости.

Захожу на сайт и ввожу после первого слэша единичку.
Код:
Вот так:
www.mysite.ru/1
Точно зная, что такой страницы не существует.

К моему удивлению, вместо ожидаемой 404-ой, выводится первый по дате материал основной категории, но в усеченном виде, без заголовка и сопутствующих модулей.

"Э-э-э" - многозначительно сказал себе я и сделал следующий смелый шаг.
Код:
Вот так:
www.mysite.ru/2
Результат повторился. С той лишь разницей, что был выведен второй по дате материал той же категории.

Ваш покорный слуга поборол забывчивость и прописал ЧПУ для 404-ой страницы и продолжая экспериментировать с несуществующими URL'ами зафиксировал следующие наблюдения:
  • Если URL начинается с буквы (любой), то CMS возвращает код 404 и открывает свеженарисованную 404-ую страницу
  • Если URL начинается с цифры, то CMS открывает один из материалов основной категории

Мало того, URL, который начинается с цифры, может иметь буквенное продолжение (mysite.ru/1qwerty) и все одно, открывается страница материала с кодом 200.

Ужасающий вывод
Т.е. до того как я обнаружил эту особенность, на сайте существовало бесконечное количество дублей страниц!

Однако, топик не об этом
Описывать собственную криворукость можно бесконечно долго. Когда любишь - не считаешь. Но внимание читателя я осмелился привлечь в надежде на коллективный брэйнсторм.

Несмотря на выявленный критичный глюк и, де-факто, миллионские миллиарды дублей, в индексе и Яндекса и Google дублей не было.

В Я.ВМ только нужные страницы с правильными URL'ами, в Supplemental Index Гугла только 1% технических страниц, которые забыли поставить в Disallow по недоразумению.

Внимание вопрос!
Означает ли данная ситуация, что ПС перестали индексировать дубли страниц (хотя и не перестали их видеть и пессимизировать за это сайты)?

Апд (спустя полторы минуты) = З.Ы. Разумеется, я схватился за голову от увиденного, поставил сторонний SEF-компонент и победил болезнь. Да так победил, что мне начало казаться, может никакой болезни и не было?! Однако, нет. У меня есть аналогичный (запасной) сайт, где все симптомы сохранены: бесчисленное количество дублей и правильные страницы в индексе. Готов показать уважаемым и почетным сео-комрадам.
jazbass вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Alex LM (18.05.2015)
Старый 07.05.2015, 02:46   #2
 
Аватар для Rotgar Sett
 
Сообщений: 639
FR (активность): 23,789

Доп. информация
По умолчанию

@jazbass, не означает.
У меня один из новых клиентов пришел сайт с 200 000 проиндексированных страниц, хотя реально на сайте всего порядка 100 страниц, а все остальные 199 900 это дубли и они все были в индексе.


Принимаю заказы на продвижение. Дорого. Россия и СНГ
Rotgar Sett вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Alex LM (18.05.2015), jazbass (07.05.2015)
Старый 07.05.2015, 02:48   #3
 
Аватар для jazbass
 
Сообщений: 526
FR (активность): 17,427

Доп. информация
По умолчанию Автор темы

@Rotgar Sett, как в таком случае можно объяснить описанный сюрр?
jazbass вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 07.05.2015, 02:48   #4
 
Аватар для Rotgar Sett
 
Сообщений: 639
FR (активность): 23,789

Доп. информация
По умолчанию

@jazbass, в твоем случае они не были проиндексированными потому что на них никто не заходил и урлов на них нигде не было, т.е. ПС о них просто не знали.


Принимаю заказы на продвижение. Дорого. Россия и СНГ
Rotgar Sett вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Alex LM (18.05.2015)
Старый 07.05.2015, 02:50   #5
 
Аватар для jazbass
 
Сообщений: 526
FR (активность): 17,427

Доп. информация
По умолчанию Автор темы

@Rotgar Sett, я правильно понимаю, что в приведенном выше примере с клиентом, на его 199К страниц заходили?
jazbass вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 07.05.2015, 02:51   #6
 
Аватар для Rotgar Sett
 
Сообщений: 639
FR (активность): 23,789

Доп. информация
По умолчанию

@jazbass, CMS генерировала внутренние урлы из футера на эти страницы.


Принимаю заказы на продвижение. Дорого. Россия и СНГ
Rotgar Sett вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Alex LM (18.05.2015), jazbass (07.05.2015)
Старый 07.05.2015, 02:57   #7
 
Аватар для cthulchu
 
Сообщений: 3,670
FR (активность): 107,432

Доп. информация
По умолчанию

Цитата:
Сообщение от jazbass Посмотреть сообщение
Мало того, URL, который начинается с цифры, может иметь буквенное продолжение (mysite.ru/1qwerty) и все одно, открывается страница материала с кодом 200.
это так интеллектуально пхп преобразовывает стринги в числа. Если переменная стрингового типа, но с ней себя ведут, как с числом. то пхп, если стринг начинается с цифры, возьмет все первые циферки до первой буквы и будет их использовать. Если стринг начинается с буквы, то пхп будет юзать ноль. Для этого есть проверка is_numeric, или is_int, если хочется точности.

А что это за цмс такая? или плагин какой? забавно получилось


Цитата:
Сообщение от jazbass Посмотреть сообщение
Т.е. до того как я обнаружил эту особенность, на сайте существовало бесконечное количество дублей страниц!
ну типа того. на самом деле, я и на кафехе могу найти бесконечное количество дублей. Это можно сделать практически на любом сайте из-за специфики того, как пхп-кодеры бездумно обрабатывают посты и геты. Но это нормально. Потому, что никто об этом не знает хыхы


Цитата:
Сообщение от jazbass Посмотреть сообщение
@Rotgar Sett, как в таком случае можно объяснить описанный сюрр?
Ротгар правильно написал. Тот факт, что в индексе "правильные" страницы обьясняется тем, что у поисковой системы нету возможности найти неправильные страницы. на них нету ссылок, вот и все. Забавно как народ иногда допускает немножко волшебства. Нет, волшебством поисковики не владеют, следовательно, увидеть недостижимые части сайта не могут. Урлы поисковики не перебирают наугад, им и так есть чем заняться.

Да даже если и были бы где-то ссылки на эти страницы, веса бы этими ссылками передавалось слишком мало, чтобы ранжировать их на равне с нормальными.
jazbass: сообщение полезно
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Alex LM (18.05.2015), jazbass (07.05.2015)
Старый 07.05.2015, 03:00   #8
 
Аватар для jazbass
 
Сообщений: 526
FR (активность): 17,427

Доп. информация
По умолчанию Автор темы

Цитата:
Сообщение от cthulchu Посмотреть сообщение
А что это за цмс такая? или плагин какой? забавно получилось
Моя любимая (но не единственная) Joomla.
jazbass вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 07.05.2015, 03:06   #9
 
Аватар для jazbass
 
Сообщений: 526
FR (активность): 17,427

Доп. информация
По умолчанию Автор темы

@cthulchu, @Rotgar Sett, я правильно понимаю, что если дублей нет в индексе (хотя по факту они есть), то и пессимизации ПС опасаться не стоит?
jazbass вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 07.05.2015, 03:19   #10
 
Аватар для cthulchu
 
Сообщений: 3,670
FR (активность): 107,432

Доп. информация
По умолчанию

Цитата:
Сообщение от jazbass Посмотреть сообщение
я правильно понимаю, что если дублей нет в индексе (хотя по факту они есть), то и пессимизации ПС опасаться не стоит?
если ты уверен, что у тебя нету множественных двусмысленных ссылок на один и тот же контент по разным адресам И если ты не в высококонкурентной теметике, то не стоит, конечно, опасаться.
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Alex LM (18.05.2015), jazbass (07.05.2015), Rotgar Sett (07.05.2015)
Ответ

Метки
joomla, индексация дублей

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
[ Вопрос ] На главной перестали отображаться футер и сайтбары hightstreams WordPress 0 23.11.2014 10:29
Перестали отображаться теги на сайте, WordPress hightstreams WordPress 1 12.10.2014 18:47
[ Вопрос ] Перестали отображаться картинки на WP после смены хостинга hightstreams WordPress 5 02.07.2014 19:00
На двух сайтах перестали показыватся название новостей в админке dimka119 DLE 0 23.09.2013 11:53
Синонимичность ключевиков и релевантность страниц. Наблюдения и гипотеза jazbass Продвижение сайта 5 09.04.2013 01:28

Текущее время: 09:30. Часовой пояс GMT +3.