Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 15.09.2009, 18:09   #1
 
Аватар для Anaksagor
 
Сообщений: 14
FR (активность): 936

Доп. информация
По умолчанию Автор темы Robots.txt

задача - закрыть от индексации один раздел на сайте, страницы на нем не хранятся в отдельной папке, то есть url выглядит примерно так: mysite.com/page1.html mysite.com/page2.html и так далее
страницы из других разделов в таком же формате

вопрос:
будет ли корректным следующий файл robots.txt
User-agent: *
Disallow: /page1.html
Disallow: /page2.html
Disallow: /page3.html
Disallow: /page4.html
Disallow: /page5.html

спасибо
Anaksagor вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 15.09.2009, 18:37   #2
 
Аватар для 19-9
 
Сообщений: 754
FR (активность): 20,238

Доп. информация
По умолчанию Ответ: Robots.txt

Вроде так, но только эти файлы у вас не лежат в 1-й папке судя по записи, а если лежат, то можно так:
User-agent: *
Disallow: название папки с файлами (где лежат page1.html, page2.html....)
19-9 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Anaksagor (15.09.2009)
Старый 16.09.2009, 10:35   #3
 
Аватар для Anaksagor
 
Сообщений: 14
FR (активность): 936

Доп. информация
По умолчанию Автор темы Ответ: Robots.txt

еще вопрос, если на сайте есть папка data, a в ней еще папки, то как мне закрыть от индексации эти вложенные папки

Disallow: /data/upload/pictures

так будет правильно?
Anaksagor вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 16.09.2009, 11:48   #4
 
Аватар для 19-9
 
Сообщений: 754
FR (активность): 20,238

Доп. информация
По умолчанию Ответ: Robots.txt

Если закрыть все вложенные папки, то правильно, при этом не будет индексироваться всё начиная с папки data и далее по вложенным. Если нужно закрывать поотдельности - прописывайте пути к каждой папке.
19-9 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 17.09.2009, 10:23   #5
 
Аватар для Anaksagor
 
Сообщений: 14
FR (активность): 936

Доп. информация
По умолчанию Автор темы Ответ: Robots.txt

Цитата:
Сообщение от 19-9 Посмотреть сообщение
Если закрыть все вложенные папки, то правильно, при этом не будет индексироваться всё начиная с папки data и далее по вложенным. Если нужно закрывать поотдельности - прописывайте пути к каждой папке.
А как закрыть от индексации только папку pictures?
Anaksagor вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 17.09.2009, 14:17   #6
 
Аватар для 19-9
 
Сообщений: 754
FR (активность): 20,238

Доп. информация
По умолчанию Ответ: Robots.txt

Цитата:
А как закрыть от индексации только папку pictures?
User-agent: *
Disallow: /pictures
19-9 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 3008 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
вопрос про robots.txt Customizer Индексация сайта 30 22.08.2013 10:13
Динамически формируемый robots.txt Масаракш Индексация сайта 0 12.10.2009 23:31
Вопрос по robots.txt mumitroll Беседка 0 23.07.2009 15:26
Использование robots.txt specialist-seo Разработка сайтов 0 07.04.2009 15:16
Как правильно составить Robots.txt? Dino_ak47 Google 16 03.03.2009 02:51

Текущее время: 11:31. Часовой пояс GMT +3.