Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 17.02.2010, 20:49   #1
 
Аватар для Byblik
 
Сообщений: 449
FR (активность): 8,658

Доп. информация
По умолчанию Автор темы Индексация ПС

Добавил свой сайт к индексации Яндексу, Gуглу и т.п.
Ждду жду... спрашиваю у гугла, мол почему не индексируеться сайт(вообще). Он мне говорит: посмотри логи на сервере, приходит ли туда поисковик.

Что я и сделал.
ПОисковик приходит, и не один, но сайт в индекс не попадает.
Код:
/index.php?id=8&page=1
	Http Code: 200	Date: Feb 16 14:44:46	Http Version: HTTP/1.0	Size in Bytes: 7632
	Referer: -
	Agent: Yandex/1.01.001 (compatible; Win16; I)

/index.php?id=9
	Http Code: 200	Date: Feb 16 18:25:50	Http Version: HTTP/1.0	Size in Bytes: 8490
	Referer: -
	Agent: Yandex/1.01.001 (compatible; Win16; I)


/robots.txt
	Http Code: 404	Date: Feb 17 17:44:09	Http Version: HTTP/1.0	Size in Bytes: -
	Referer: -
	Agent: Yandex/1.01.001 (compatible; Win16; I)

/
	Http Code: 200	Date: Feb 17 17:44:12	Http Version: HTTP/1.0	Size in Bytes: 5617
	Referer: -
	Agent: Yandex/1.01.001 (compatible; Win16; I)
Что же значит буква I в конце строк (Yandex/1.01.001 (compatible; Win16; I))??
Byblik вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 17.02.2010, 23:25   #2
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: Индексация ПС

А когда именно вы добавили сайт? Сколь дней прошло?

Вот, например, последний из своих сайтов, я добавил 7-го...

Первым из роботов (11-го числа) притопал яндексовский мальстрем (maelstrom.yandex.ru): убедился, что сайт работает - ушел сразу.
Сразу за ним - animate.yandex.ru (картинки с голыми тётками небось искал?)
За ним их же bless.yandex.ru - он собстно, тоже ничего почти и не делал: скачал карту и угомонился.
Через четыре дня пришкондыбал spider73.yandex.ru (87.250.252.242) - этот загрузил морду и всё. Потом тоже ушел.
Сейчас трудиццо smf-00.yandex.ru - вот он индексит чо-то...

Ну и где-то 10-го - гугл (загрузил карту сайта), за ним - китайская Байда (ну, блин и название у их поисковика) и crawl.yahoo.net... Тоже - только карту брали.
12-го - Гугл загрузил морду.. Вот счас (18-го) тоже потихоньку начал внутренние страницы перелопачивать...

Вобщем для ответа на вопрос "почему не индексит", надо знать когда добавили...

З.Ы. ...может как-то оффтописто: но вот не понимаю я, чего все так переживают, когда же робот доберется до индексации сайта... Ну днем раньше или неделей позже, какая разница? Если робот приходил - значит рано или поздно сайт в индексе появится.... По мне так раньше, чем через месяц и переживать не стОит...
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Byblik (18.02.2010)
Старый 18.02.2010, 00:04   #3
 
Аватар для Byblik
 
Сообщений: 449
FR (активность): 8,658

Доп. информация
По умолчанию Автор темы Re: Индексация ПС

Понятно, спасбо.
Вот еще вопрос: обязательно ли должен быть файл robots.txt

Добавлено через 26 минут
Еще раз напишу проблему.
Вобщем на хостинге расположено 3 сайта. site1, site2, site3.
В CPanel есть функция "Последние посетители сайта".
Так вот, в ней можно посмотреть когда приходил робот и что делал. Внимательно посмотрел, выяснил следующее.
Статистика с site2.ru:
Цитата:
...
/?p=82
Http Code: 200 Date: Feb 16 23:10:34 Http Version: HTTP/1.0
Referer: -
Agent: Yandex/1.01.001 (compatible; Win16; I)

/?feed=rss2&tag=%d1%84%d0%be%d1%82%d0%be
Http Code: 200 Date: Feb 17 00:03:27 Http Version: HTTP/1.0
Referer: -
Agent: Yandex/1.01.001 (compatible; Win16; I)

/?feed=rss2&cat=1
Http Code: 200 Date: Feb 17 00:36:33 Http Version: HTTP/1.0
Referer: -
Agent: Yandex/1.01.001 (compatible; Win16; I)
...
И вот в чем особенность: Если перейти по ссылке /?p=82, то попадаешь на site2.site1.ru/?p=82 (site1.ru щсновной, ну то есть был зареган хостинг для него, а остальные добавлялись потом). Но проблема не в этом, львиная доля страниц сайта site2.ru проиндексирована поисковиками.

Проблема с site3.ru
Вот статистика для site3.ru
Цитата:
...
/index.php?id=4
Http Code: 200 Date: Feb 16 00:15:38 Http Version: HTTP/1.0
Referer: -
Agent: Yandex/1.01.001 (compatible; Win16; I)

/index.php?id=3
Http Code: 200 Date: Feb 16 03:43:48 Http Version: HTTP/1.0
Referer: -
Agent: Yandex/1.01.001 (compatible; Win16; I)

/index.php?id=7
Http Code: 200 Date: Feb 16 07:23:28 Http Version: HTTP/1.0
Referer: -
Agent: Yandex/1.01.001 (compatible; Win16; I)
...
Особенность, если перейти по ссылке /index.php?id=4, то попадешь на site1.ru/index.php?id=4, почему то на главную страницу site1.ru, хотя должен попасть на site3.ru/index.php?id=4.
Вот почему так происходит, в логе видно что робот приходил несколько раз, но сайта в индексе нет.
P.S. прогонял по основным каталогам, соц закладкам.
Помогите плз.
Byblik вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 18.02.2010, 11:06   #4
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: Индексация ПС

Цитата:
Сообщение от Byblik Посмотреть сообщение
обязательно ли должен быть файл robots.txt
крайне желательно
Цитата:
Сообщение от Byblik Посмотреть сообщение
Если перейти по ссылке /?p=82, то попадаешь на site2.site1.ru/?p=82
Вот именно так: site2.site1. ? Ну тогда у вас один сайт на поддомене другого вообще-то..
DNS проверьте на всякий случай - нигде там не ошиблись?
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Byblik (18.02.2010)
Старый 18.02.2010, 11:26   #5
 
Аватар для Пахарь
 
Сообщений: 312
FR (активность): 3,607

Доп. информация
По умолчанию Re: Индексация ПС

Сколько бы робот Яндекса у тебя на сайте ни топтался - в индекс гугла это попасть ну никак не поможет.
Пахарь вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 18.02.2010, 14:18   #6
 
Аватар для Byblik
 
Сообщений: 449
FR (активность): 8,658

Доп. информация
По умолчанию Автор темы Re: Индексация ПС

umka from ufa, site3.ru не на движке, а сомаписный. В ссылках меню писал ...<a href="index.php?id=3">,Bla bla</a>
Низнаю почему у меня ет вызволо подозрение, но переправил на
Цитата:
<a href="ХТТП://site3.ru/index.php?id=3">,Bla bla</a>
Это сделал сегодня ночью, и, О Боги!, щас проверил, 4 страницы в индексе у яндекса, 7 у Yahoo(Яхо проиндексировал то, что в rel="nofollow" и <noindex>, надо создать robots.txt)
Byblik вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 02.06.2010, 10:14   #7
 
Аватар для ZOL.A
 
Сообщений: 54
FR (активность): 683

Доп. информация
По умолчанию Re: Индексация ПС

скажите, пожалуйса, как вообще происходит индексация Яндекса? недавно проверил сайт, проиндексировано около 90 страниц, окуда их столько взялось? Блин, я лох в СЕО)))
ZOL.A вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 02.06.2010, 11:15   #8
 
Аватар для Byblik
 
Сообщений: 449
FR (активность): 8,658

Доп. информация
По умолчанию Автор темы Re: Индексация ПС

Цитата:
проиндексировано около 90 страниц, окуда их столько взялось?
Теги к статьям, страницы без контента (обратная связь, статистика, пользователи и т.д.)
Byblik вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 02.06.2010, 11:29   #9
 
Аватар для ZOL.A
 
Сообщений: 54
FR (активность): 683

Доп. информация
По умолчанию Re: Индексация ПС

Цитата:
Сообщение от Byblik Посмотреть сообщение
страницы без контента
так вроде все страницы с контентом, с уникальным)
а вообще 90 страниц это мало?
ZOL.A вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 02.06.2010, 12:21   #10
 
Аватар для Byblik
 
Сообщений: 449
FR (активность): 8,658

Доп. информация
По умолчанию Автор темы Re: Индексация ПС

Цитата:
так вроде все страницы с контентом, с уникальным)
Если сайт стоит на CMS, то в индекс могут попасть не только страницы со статьями.
Цитата:
а вообще 90 страниц это мало?
Смотря для чего.
Byblik вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
ZOL.A (02.06.2010)
Старый 02.06.2010, 13:28   #11
 
Аватар для ZOL.A
 
Сообщений: 54
FR (активность): 683

Доп. информация
По умолчанию Re: Индексация ПС

90 страниц для попадания в топ 10
Цитата:
Сообщение от Byblik Посмотреть сообщение
Если сайт стоит на CMS
дэ вроде не стоит на CMS
ZOL.A вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2756 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Текущее время: 04:25. Часовой пояс GMT +3.