Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковые системы > Google

Важная информация
Google - Поисковая система Google. Продвижение и раскрутка, оптимизация сайта, поисковое продвижение сайтов под Гугл, PR (Page Rank).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 01.04.2011, 13:31   #1
 
Аватар для Jokeron
 
Сообщений: 95
FR (активность): 8,255

Доп. информация
По умолчанию Автор темы Индексация ссылок с JavaScript в Google. Эксперименты.

Индексация ссылок с JavaScript в Google. Эксперименты.

Наконец-то готовы результаты эксперимента с индексацией javascript-текста в Google и работы ссылок, спрятанных через яваскрипт. Ниже приведены подробности этого исследования.

Гипотеза

Судя по проведенным ранее экспериментам, результаты которых актуальны и поныне, JavaScript из всех поисковиков читает лишь Google. Поэтому, в данном исследовании затрагивается лишь эта поисковая система. Многие знают, что от Google контент спрятать сложно, но интересно было все же разобраться, парсит ли Google JavaScript любой сложности или только простые выражения?

Гипотеза состояла в том, что поисковая ситема Google распознает лишь простые варианты скриптов и контент можно спрятать, усложнив скрипт.

Цель эксперимента

Целью данного исследования является подтвердить или опровергнуть гипотезу, а также в случае опровержения определить, какие все же скрипты Google не распознает.

Проведение эксперимента

Для проведения эксперимента 20 февраля 2011 г. была создана отдельная страница, на которой расположен контент с ссылками с помощью JavaScript в разных вариантах: с помощью обычного document.write, кусочного, вызова функции, подключения внешних файлов, в том числе обфускейченных (запутанных), а также с помощью работы с DOM документа.

Ссылка на экспериментальную страницу была добавлена в Твиттере с просьбой заретвитить (спасибо всем за помощь, в сумме было 27 ретвитов). Другими словами, тви-друзья помогли сделать страницу популярной для Google, чтобы ускорить индексацию и быстрее узнать результаты. Через несколько минут страница уже была в индексе, но ссылки пока не работали. На данный момент основной робот Google проиндексировал весь необходимый контент, и можно проверять результаты.

Результаты эксперимента

Рассмотрим полученные результаты по каждому из видов используемого javascript-подхода.

1. Безатрибутная ссылка

Этот приём использует ссылку без атрибута href и для роботов такой тег не является ссылкой. На экспериментальной странице с помощью DOM был добавлен атрибут href:

[PHP]<a name="a" id="a">безатрибутный индекс</a>. <script type="text/javascript">document.getElementById("a").setAttrib ute("href","http://seodic.ru/terms/%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81");</script>[/PHP]Результаты в данном случае показали, что такая ссылка не работает для Google, то есть, вес не передаёт. По уникальному анкору “безатрибутный индекс” страница-акцептор не находится.

2. Кусочный document.write

Здесь использовалось небольшое усложнение, когда строка была разбита на несколько строк с их конкатенацией:

[PHP]document.write("Немного контента с уникальной фразой devjslink и обещанной ссылкой " + "<" + "a h" + "ref" + "=\"h" + "tt" + "p:" + "//" + "seodic" + "." + "ru" + "/terms/" + "%D0%B6%D0%B8%D1%80%D0%BD%D0%B0%D1%8F-%D1%81%D1%81%D1%8B%D0%BB%D0%BA%D0%B0" + "\"" + ">" + "кусочная js ссылка" + "<" + "/" + "a" +">" + ".");[/PHP]Такая конструкция не помогла, Google проиндексировал контент, как видит это пользователь. По уникальному тексту devjslink можно найти экспериментальную страницу, а по уникальному тексту анкора кусочная js ссылка находится акцептор (страница, куда ведет ссылка). То есть, в этом случае вес по ссылке передался, она была учтена.

3. Вызов внутренней функции и document.write

Внутри документа была описана функция, содержащая document.write с выводом определенного текста и ссылки. В нужном месте документа была вызвана эта функция.

Результаты показывают, что в этом случае яваскрипт-контент индексируется, и ссылка находится. Такая ссылка тоже передает вес.

4. Вызов функции из внешнего файла и document.write

Эта часть похожа на предыдущую. Только функция была определена во внешнем доступном файле file2.js, подключенном в документе.

Результаты показали, что вызов функции из внешнего файла также обрабатывается Google, и результаты аналогичные предыдущим – контент индексируется, ссылка работает.

Интересно было посмотреть серверные логи, когда именно поисковый робот заходил за дополнительными .js файлами. Анализ логов показал, что Google читает внешние файлы не сразу, а через какой-то промежуток времени (около недели) и приходит с тем же юзер-агентом “Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”. Также интересно, что внешние файлы для страниц запрашиваются, практически, одновременно (в отличие от html-страниц сайта) с частотой около 2 раз в месяц.

5. Внешний скрипт и document.write

Во внешнем скрипте (file1.js) сразу был описан document.write без дополнительных функций. По текущим результатам, контент проиндексирован, так как экспериментальная страница находится по уникальному тексту из скрипта devjsrelink. Однако, ссылка не работает (проверка). Очень странное явление, так как подобная конструкция оказалась не самой сложной, и Google её распарсил (распознал), но ссылке вес не передал. Полагаю, что это временно, и после следующей переиндексации ссылка сработает.

6. Обфускейченный внешний скрипт с document.write

В этой части эксперимента было создано два обфускейченных файла: file3.js, file4.js. Различаются они лишь методом обфускации.

Результаты показали, что и в первом, и во втором случае ссылка работает, и акцептор находится. Другими словами, обфускация не помогает для скрытия алгоритма, Google видит контент так же, как и пользователь.

7. Запрет индексации внешнего скрипта в robots.txt

В этой части был создан файл file5.js, содержащийся, в отличие от других, в папке /robots/, которая закрыта от индексации с помощью корневого файла robots.txt.

Результаты показывают, что контент из этого файла так и не проиндексировался (проверочная ссылка). Анализ серверных логов показал, что в папку /robots/ Google не заходил, а соответственно, file5.js не индексировал.

8. Работа с DOM документа

Следующий текст с ссылкой были созданы с помощью работы с DOM документа.

[PHP]var a = document.createElement("A");
a.setAttribute("href", "http://seodic.ru/terms/%D1%80%D0%B5%D0%BB%D0%B5%D0%B2%D0%B0%D0%BD%D1%82%D 0%BD%D0%BE%D1%81%D1%82%D1%8C");
a.innerHTML = "экспериментальная dom ссылка";
var s = document.createElement("SPAN");
s.innerHTML = "Этот текст и ссылка добавлены с помощью работы объектной модели DOM… ";
s.appendChild(a);
var span = document.getElementById("b");
span.appendChild(s);[/PHP]Проверочная ссылка показывает, что ссылка в данном случае не сработала (вес не передала), но контент все же попал в индекс (страница находится по уникальной фразе, присутствовавшей в скрипте).

9. Комплексный вариант скрипта

И последний случай – комплексный вариант, в котором задействованы все предыдущие модели: обфускейченный внешний файл размещаем в папку, закрытую от индексации в robots.txt, при этом в файле используем функцию, работающую с DOM. В нужном месте вызываем функцию, печатающую контент с ссылкой.

Результаты такого варианта прогнозируемы, контент не индексируется, ссылка соответственно.

Выводы

Как видно из результатов эксперимента, от робота Google не так просто что-то скрыть. Все варианты ссылок работают, за исключением тех, что размещены во внешних файлах, закрытых от индексации. Также в ряде случаев при работе с объектной моделью документа, поисковый парсер не всегда распознает ссылки, но посмотрим, что будет в будущем. Наша гипотеза не подтвердилась.

Если у вас есть какие-то комментарии – делитесь!

Сергей Кокшаров, блог Devaka.ru
Jokeron вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
19-9 (01.04.2011), Alex LM (01.04.2011)
Старый 01.04.2011, 13:53   #2
 
Аватар для detanatar
 
Сообщений: 746
FR (активность): 45,897

Доп. информация
По умолчанию Re: Индексация ссылок с JavaScript в Google. Эксперименты.

За чем же весь блог переписывать?

Ссылки Ajax прекрасно индексируются яндекс.
У меня несколько сайтов со скриптовой навигацией FullAjax на различных хостингах (и на народе) все быстро попали в индекс.
detanatar вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.04.2011, 13:59   #3
 
Аватар для Jokeron
 
Сообщений: 95
FR (активность): 8,255

Доп. информация
По умолчанию Автор темы Re: Индексация ссылок с JavaScript в Google. Эксперименты.

Оффтоп:
Цитата:
Сообщение от detanatar Посмотреть сообщение
За чем же весь блог переписывать?
Почему весь блог? Выложена только одна статья... Как по мне, так удубней читать на форуме чем переходить на другой сайт
Jokeron вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Alex LM (01.04.2011)
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2451 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
JavaScript ссылки теперь сканируются Google и передают PageRank и Anchor Black-Cat Google 2 13.08.2011 16:39
Индексация ссылок с Твиттера terranodar Индексация сайта 3 09.03.2011 10:09
Индексация Google deftones2 Google 6 06.04.2010 10:24
Google индексация akoff Google 19 08.02.2010 17:18
Google, AdSense и JavaScript komyak Раскрутка в общих чертах 0 08.03.2009 14:20

Текущее время: 04:47. Часовой пояс GMT +3.