Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 25.12.2010, 16:57   #1
 
Аватар для wnt
 
Сообщений: 62
FR (активность): 1,298

Доп. информация
По умолчанию Автор темы google и robots.txt

Вот мой роботс.тхт

User-agent: *
Disallow: /? ---- запрет от индексации страниц с результатами поиска
Disallow: /wp ----- запрет индексации каталогов ВордПресс
Disallow: /tag/ - запрет индексации тегов
Disallow: /category/ --- запрет на индексации постов по категориям
Disallow: /page/ --- запрет на индексацию страниц по навигации

Суть - как уже писал, у меня фотоблог, страницы все одинаковые.
Вот , закрыл от индекса все, что мне кажется будет похоже на дубли.

Но, гугл продолжает индексировать. Буквально вчера проиндексировал новые страницы из категорий - которые по идее не должен трогать, по правилам robots.txt.

Где искать проблему ?
wnt вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 17.01.2011, 11:12   #2
 
Аватар для Festeval
 
Сообщений: 47
FR (активность): 794

Доп. информация
По умолчанию Re: google и robots.txt

Твой сайт хоть индексирует, а я индексации уже 3 недели жду
Festeval вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 22.01.2011, 00:34   #3
 
Аватар для upgreyt
 
Сообщений: 434
FR (активность): 14,103

Доп. информация
По умолчанию Re: google и robots.txt

Для Гугла файл robots.txt - рекомендация, а для Яндекса - аксиома. Проверенно.
upgreyt вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 24.01.2011, 11:39   #4
 
Аватар для Simao
 
Сообщений: 99
FR (активность): 2,115

Доп. информация
По умолчанию Re: google и robots.txt

Цитата:
Сообщение от upgreyt Посмотреть сообщение
Для Гугла файл robots.txt - рекомендация, а для Яндекса - аксиома. Проверенно.
Полностью согласен
Simao вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2520 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
robots.txt или META yuriyb Индексация сайта 1 31.08.2010 15:53
Анализ robots.txt Надежда Индексация сайта 3 09.02.2010 14:43
Robots.txt Anaksagor Индексация сайта 5 17.09.2009 14:17
Вопрос по robots.txt mumitroll Беседка 0 23.07.2009 15:26
Использование robots.txt specialist-seo Разработка сайтов 0 07.04.2009 15:16

Текущее время: 00:28. Часовой пояс GMT +3.