Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 27.04.2012, 23:51   #1
 
Аватар для Jeniko
 
Сообщений: 2
FR (активность): 41

Доп. информация
По умолчанию Автор темы Гугл индексирует что попало. Помогите пожалуйста

Всем доброй ночи!
Вот проверяю сайт через программу site-auditor.
Показывает что в гугл проиндексировал в 4 раза больше страниц чем яндекс, но присмотревшись- увидел много не нужных страниц которые уже запрещены в robot.txt:
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: */trackback
Disallow: */feed):

Люди добрые, подскажите пожалуйста как это убрать? Ведь это не полезно для сайта.. Я уже и вручную из гугл вебмастера удалял трекбеки. Но они снова появлялись.
Jeniko вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.05.2012, 21:03   #2
 
Аватар для logansys
 
Сообщений: 1
FR (активность): 5

Доп. информация
По умолчанию

подскажите, правильный ли у меня робот?

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*rurl=*
Host: мой сайт.com

User-agent: googlebot
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /readme.html
Disallow: /license.txt
Disallow: /search/
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.gz$
Disallow: /*.wmv$
Disallow: /*.cgi$
Disallow: /*.xhtml$
Disallow: /*rurl=*
Host: мой сайт.com

Sitemap: h ttp://мой сайт.com/sitemap.xml
Sitemap: h ttp://мой сайт.com/sitemap.xml.gz

Добавлено через 8 минут
а вот робот с сайта на дле

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: w ww. мой сайт. com

User-agent: googlebot
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: w ww. мой сайт . com

Sitemap: h ttp:// w ww. мой сайт. com/ sitemap .xml

хотя основное зеркало как открывается сайт без w ww. Я в роботе последнем убрал w ww в адресах, я правильно сделал? Спасибо тем кто подскажет!
logansys вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2058 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Гугл не индексирует часть сайта lanchotto Индексация сайта 7 12.08.2011 14:11
А что, Гугл и смайлики индексирует? San9 Google 3 05.08.2011 13:15
Индекс. Гугл не индексирует сайт. Samuel Индексация сайта 4 09.06.2011 02:15
Яндекс индексирует, гугл - нет hate_beat Индексация сайта 4 23.12.2010 11:20
ГУГЛ не индексирует сайты barakuda Индексация сайта 6 15.06.2010 14:45

Текущее время: 01:31. Часовой пояс GMT +3.