Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 31.10.2011, 13:05   #1
 
Аватар для garik77
 
Сообщений: 53
FR (активность): 2,937

Доп. информация
По умолчанию Автор темы Как запретить индексацию с помощью .htaccess?

Подскажите плз, у кого есть опыт запрета индексации отдельных страниц сайта с помощью .htaccess ... Встречающиеся в тырнете варианты видимо содержат ошибки в коде и не работают.
ЗЫ: Про способ запрета индексации в robots.txt я знаю
garik77 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 31.10.2011, 13:23   #2
 
Аватар для terranodar
 
Сообщений: 410
FR (активность): 14,157

Доп. информация
По умолчанию

Если речь идёт об отдельных страницах, то лучше пользоваться мета-тэгом
<meta name="robots" content="noindex">


Через .htaccess скорее удобно прятать что-то приватное, сложенное (зачем-то) на сервере, причём не только от поисковиков.

Если же всё-таки нужно использовать .htaccess, то можно взять что-то вроде такого (пишу по памяти)
Код:
RewriteCond %{REQUEST_URI} <регулярное выражение для пути к файлу-странице>
RewriteCond %{HTTP_USER_AGENT} Yandex [NC, OR]
...
RewriteCond %{HTTP_USER_AGENT} БОТ [NC, OR]
RewriteCond %{HTTP_USER_AGENT} Google [NC]
RewriteRule ^(.*)$ [F]
но закрывать страницы таким образом крайне нежелательно
Alex LM: сообщение полезно
terranodar вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Alex LM (31.10.2011), garik77 (31.10.2011)
Старый 31.10.2011, 13:36   #3
 
Аватар для garik77
 
Сообщений: 53
FR (активность): 2,937

Доп. информация
По умолчанию Автор темы

Спасибо за ответ, а почему не желательно?
garik77 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 31.10.2011, 14:03   #4
 
Аватар для terranodar
 
Сообщений: 410
FR (активность): 14,157

Доп. информация
По умолчанию

А зачем если есть рекомендуемый способ (через meta)?

Незачем боту лишний раз показывать, что его куда-то не пускают в столь жёсткой форме а то как обидится.
terranodar вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 31.10.2011, 14:13   #5
 
Аватар для cthulchu
 
Сообщений: 3,670
FR (активность): 107,432

Доп. информация
По умолчанию

как обидится и никогда не проиндексирует чужие смски.
конечно, если бот не должен чего-то видеть, нужно ему не оставить физической возможности видеть, а не попросить не индексировать. вы же закрываете дверь своей квартиры/дома, а не вешаете там табличку: "мне не хотелось бы, чтобы вы сюда входили, пока эта табличка здесь висит." Если на гугла с его лояльностью и европейской вежливостью это пройдет, то яшка не стесняется украсть у кого-то смски, расписания билетов и что-то там еще, разжечь скандал и бесплатно пропиариться через массмедиа.
К примеру, давать поисковикам физический доступ к ченджлогу или файлу лицензии своего движка - это фатально, ибо таким образом, вбив цитату из ченджлога в яшку, злоумышленник может собрать целую чертову тонну сайтов, которых обьединяет одна версия движка, а значит, на которых допущена одна и та же уязвимость, а значит. злоумышленник одним сплойтом получит не один шелл, а сотню... потом продаст эти шеллы, я куплю пару десятков из них, что мне по тематике партнерки подходит и размещу на вашем сайте дор, который поднимет траф на мою партнерку и повесит кучу фильтров на ваш сайт.
доступно написал?
Alex LM: сообщение полезно
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Alex LM (31.10.2011), terranodar (31.10.2011)
Старый 31.10.2011, 14:16   #6
 
Аватар для garik77
 
Сообщений: 53
FR (активность): 2,937

Доп. информация
По умолчанию Автор темы

Хм, тогда немного усложню вопрос - если надо запретить индексацию только для определенных роботов. Чтобы не ходить вокруг да около, объясню для чего это надо.
Существуют каталоги, которые позиционируют себя якобы как "белые", но на самом деле требуют обратку. Так вот цель сделать страничку для обратных ссылок для таких "белых каталогов", но запретить её индексировать двум основным ботам, гугловскому и яндексовскому.
garik77 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 31.10.2011, 14:20   #7
 
Аватар для vicherep
 
Сообщений: 405
FR (активность): 5,887

Доп. информация
По умолчанию

Так а какой способ лучше тегом meta или в файле robots?
Просто я закрываю в robots всегда, может зря!


Продвигай свой сайт и зарабатывай на нЁм Софт для раскрутке Вконтакте
vicherep вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 31.10.2011, 14:23   #8
 
Аватар для cthulchu
 
Сообщений: 3,670
FR (активность): 107,432

Доп. информация
По умолчанию

Цитата:
Сообщение от garik77 Посмотреть сообщение
Существуют каталоги, которые позиционируют себя якобы как "белые", но на самом деле требуют обратку. Так вот цель сделать страничку для обратных ссылок для таких "белых каталогов", но запретить её индексировать двум основным ботам, гугловскому и яндексовскому.
Цитата:
Сообщение от vicherep Посмотреть сообщение
Просто я закрываю в robots всегда, может зря!
роботс определенно лучше меты, но надежнее, конечно, будет спрятать ссылку на страницу от роботов, чтобы они ее найти не могли. убрать ее с сайтмапа. повесить на ней код отслеживания юзерагентов посетителей, чтобы палить ботов.
ссылку лучше всего прятать в js/флеш, используя конкотенацию и, если есть возможность, перекодировать символы.
очень хорошо будет эхать страничку с помощью пхп-скриптов, но перед этим, ловить юзерагент и, в случае, если юзерагент поисковика, выдавать ему 404, а если юзерагент пользователя, давать ему страницу... небольшой клоакинг, но штрафа вы за такую мелочь не получите.
все эти методы вместе дадут, на вскидку, 95%й результат.
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
garik77 (31.10.2011), vicherep (31.10.2011)
Старый 31.10.2011, 14:28   #9
 
Аватар для vicherep
 
Сообщений: 405
FR (активность): 5,887

Доп. информация
По умолчанию

Цитата:
Сообщение от cthulchu Посмотреть сообщение
роботс определенно лучше меты, но надежнее, конечно, будет спрятать ссылку на страницу от роботов, чтобы они ее найти не могли. убрать ее с сайтмапа. повесить на ней код отслеживания юзерагентов посетителей, чтобы палить ботов.
ссылку лучше всего прятать в js/флеш, используя конкотенацию и, если есть возможность, перекодировать символы.
Все я понял смысл, точнее для чего применять можно! Просто об этом некогда раньше не думал, а сообщения про что это от (для каталогов) еще не было!


Продвигай свой сайт и зарабатывай на нЁм Софт для раскрутке Вконтакте
vicherep вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 04.11.2011, 17:31   #10
 
Аватар для garik77
 
Сообщений: 53
FR (активность): 2,937

Доп. информация
По умолчанию Автор темы

Цитата:
Сообщение от cthulchu Посмотреть сообщение
очень хорошо будет эхать страничку с помощью пхп-скриптов,
С этим все понятно, я так делал.
Цитата:
но перед этим, ловить юзерагент и, в случае, если юзерагент поисковика, выдавать ему 404, а если юзерагент пользователя, давать ему страницу
А как это сделать практически?
garik77 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 04.11.2011, 18:33   #11
 
Аватар для cthulchu
 
Сообщений: 3,670
FR (активность): 107,432

Доп. информация
По умолчанию

[php]<?php
echo $_SERVER['HTTP_USER_AGENT'];
?> [/php]
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 26.11.2011, 09:18   #12
 
Аватар для trolldemiurg
 
Сообщений: 91
FR (активность): 1,694

Доп. информация
По умолчанию

Оффтоп:
Цитата:
Сообщение от cthulchu Посмотреть сообщение
как обидится и никогда не проиндексирует чужие смски.
конечно, если бот не должен чего-то видеть, нужно ему не оставить физической возможности видеть, а не попросить не индексировать. вы же закрываете дверь своей квартиры/дома, а не вешаете там табличку: "мне не хотелось бы, чтобы вы сюда входили, пока эта табличка здесь висит." Если на гугла с его лояльностью и европейской вежливостью это пройдет, то яшка не стесняется украсть у кого-то смски, расписания билетов и что-то там еще, разжечь скандал и бесплатно пропиариться через массмедиа.
К примеру, давать поисковикам физический доступ к ченджлогу или файлу лицензии своего движка - это фатально, ибо таким образом, вбив цитату из ченджлога в яшку, злоумышленник может собрать целую чертову тонну сайтов, которых обьединяет одна версия движка, а значит, на которых допущена одна и та же уязвимость, а значит. злоумышленник одним сплойтом получит не один шелл, а сотню... потом продаст эти шеллы, я куплю пару десятков из них, что мне по тематике партнерки подходит и размещу на вашем сайте дор, который поднимет траф на мою партнерку и повесит кучу фильтров на ваш сайт.
доступно написал?
Ссори за оффтоп но не удержался. Спасибо маэстро! и браво!
trolldemiurg вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2215 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Dle - как запретить к индексации строку? San9 DLE 1 19.07.2011 13:53
Как запретить индексацию поддомена sandazh Индексация сайта 12 31.03.2011 11:15
Запретить индексацию названия ссылок, но разрешить переход по ссылкам chuga Индексация сайта 13 14.02.2011 16:25
Запретить IE выделять текст ligne_pure Программирование 8 15.10.2010 22:46
Как запретить индексацию блока текста для google? koreash Google 4 17.04.2009 20:15

Текущее время: 15:56. Часовой пояс GMT +3.