Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 21.12.2011, 13:14   #1
 
Аватар для mr.f
 
Сообщений: 5
FR (активность): 118

Доп. информация
По умолчанию Автор темы robots.txt закрыть все кроме...

Написал вот такой роботс

Код:
User-agent: *
Disallow: /
Allow: /index.php
Allow: /articles.php
Allow: /buy.php
Яндекс пишет "Сайт не был проиндексирован из-за запрета в robots.txt"

В общем-то понятно почему. Робот видит запрещающую строку Disallow: / и дальше уже ничего не отрабатывает.

Ок, с учетом этого сделал ват так:

Код:
User-agent: *
Disallow: /js/
Disallow: /inc/
Disallow: /img/
Disallow: /errors/
Disallow: /css/
Disallow: /content/
Disallow: /searchresults.php
Disallow: /post.php
Disallow: /header.php
Disallow: /gallery.php
Disallow: /footer.php
Disallow: /flights.php
Disallow: /error.php
Вопрос: а правильно ли я сделал? Закрыл нафиг все директории, потому что так или иначе все их содержимое инклудится в разрешенных файлах index.php, buy.php и articles.php. Заретил в том числе и хедер и футер. Ведь они инклудятся на разрешенных страницах...
mr.f вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 21.12.2011, 13:27   #2
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию

Цитата:
Сообщение от mr.f Посмотреть сообщение
Вопрос: а правильно ли я сделал?
http://webmaster.yandex.ru/robots.xml - Яндекс.Вебмастер Анализ robots.txt
- вставляете туда свой роботс, добавляете, например, главную в список для проверки - смотрите.
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 21.12.2011, 13:34   #3
 
Аватар для AlexeyOrloff
 
Сообщений: 1,483
FR (активность): 33,834

Доп. информация
По умолчанию

mr.f,а в чём именно вопрос то? дайте конкретные примеры
AlexeyOrloff вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 21.12.2011, 14:38   #4
 
Аватар для mr.f
 
Сообщений: 5
FR (активность): 118

Доп. информация
По умолчанию Автор темы

Конкретный пример:

Вот файл index.php
Код:
<?php
include('header.php');

echo'Контент';

include('footer.php');
?>
index.php - разрешен
header.php и footer.php - запрещены

Впорос в том, как эта схема скажется на качестве индексации? Или лучше хедер и футер тоже разрешить?

Просто я запретил индексацию ВСЕГО подключаемого контента. И скрипты js и CSS и даже статичные страницы с контентом (они инклудятся в index.php).
mr.f вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 21.12.2011, 15:44   #5
 
Аватар для AlexeyOrloff
 
Сообщений: 1,483
FR (активность): 33,834

Доп. информация
По умолчанию

Цитата:
Сообщение от mr.f Посмотреть сообщение
они инклудятся в index.php
так запретите только index.php
AlexeyOrloff вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 21.12.2011, 15:47   #6
 
Аватар для mr.f
 
Сообщений: 5
FR (активность): 118

Доп. информация
По умолчанию Автор темы

Мне наоборот нужно чтобы index.php был доступен, так как в него выводится весь контент. Вопрос лишь в том, не страшно ли, что я тот самый контент, который выводится в index.php, запрещаю.
mr.f вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 21.12.2011, 16:24   #7
 
Аватар для AlexeyOrloff
 
Сообщений: 1,483
FR (активность): 33,834

Доп. информация
По умолчанию

Цитата:
Сообщение от mr.f Посмотреть сообщение
Вопрос лишь в том, не страшно ли, что я тот самый контент, который выводится в index.php, запрещаю.
нет страшно, то что считаешь нужным, то и закрывай. Вот если контент уникальны, то это может быть только плюсом сайту и, возможно, источником доп трафика
AlexeyOrloff вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 21.12.2011, 19:56   #8
 
Аватар для GingerNZ
 
Сообщений: 12
FR (активность): 107

Доп. информация
По умолчанию

поставь allow выше чем disalow.
GingerNZ вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
cthulchu (21.12.2011)
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2185 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
robots.txt - учимся использовать. Часто задаваемые вопросы по robots.txt Alex LM Общие вопросы 18 10.05.2016 11:09
Скидки на домены во всех зоных, кроме .ru и .рф Gogdler Купоны, скидки 3 31.12.2011 16:04
Как в джумле закрыть страницу? Андрей[hotblood] Индексация сайта 12 02.02.2011 17:08
Кроме AdSense есть еще что то забугром? kuguk Контекстная реклама 7 14.07.2010 07:13
Оцените сайт, кроме того полезный для SEOшников :) neopixel Оценка сайтов 4 25.03.2010 08:49

Текущее время: 03:38. Часовой пояс GMT +3.