Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 10.10.2010, 11:47   #1
 
Аватар для vadisimus
 
Сообщений: 13
FR (активность): 303

Доп. информация
По умолчанию Автор темы robots.txt страница обзора ведущая на статьи

Здравствуйте.
У меня одна из страниц сайта сделана в виде блога, на которой размещены обзоры статей(их начало) с ссылкой на саму статью.
Можно ли запретить индексацию этой страницы не запрещая вложенные страницы?
пример: страница обзора статей - www.chous.co.il/index.php/stories
сами статьи имеют такой адрес - www.chous.co.il/index.php/stories/44-grapefruit
www.chous.co.il/index.php/stories/43-cellulite

можно ли запретить индексацию корневой папки и разрешить для вложенных страниц?
спасибо.


????? ???? ???? | ????? ?? ????
vadisimus вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 10.10.2010, 13:14   #2
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: robots.txt страница обзора ведущая на статьи

Disallow: www.chous.co.il/index.php/stories

В смысле прямо указать страницу. Вроде так будет достаточно (потом можно через анализ robots.tx в панели вебмастера проверить).
Тока это неправильно.
В том смысле, что незачем запрещать индексацию страницы с анонсами статей.
Во-первых эти анонсы можно сделать покороче (в одно предложение) и сделать уникальными (не повторяющимися на странице с самой статьей)
Во-вторых средствами самой джумлы можно просто вообще избавится от этой страницы: зачем вам шаблон блога категории, если он все равно не будет индексироваться? Уберите его, назначьте на соответствующий пункт меню материал или просто заглушку. Нет шаблона блога - нет проблем.

З.Ы. О чем сайт не понял (наверное про здоровый образ жизни?), но в любом случае от index.php/stories в адресе лучше избавиться. SEF настройте.
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 10.10.2010, 22:21   #3
 
Аватар для vadisimus
 
Сообщений: 13
FR (активность): 303

Доп. информация
По умолчанию Автор темы Re: robots.txt страница обзора ведущая на статьи

сайт об альтернативной медицине и физкультуре
Что такое SEF?
Шаблон блога категории использую из-за удобства размещения статей.
Страницу с анонсами статей хочу убрать из индекса, так как иногда, по некоторым запросам в поисковике показывается эта страница, а не сама статья. Что не есть хорошо.
Возможно мой вопрос будет глупый. Если я уберу шаблон блога категории, то где, или как будут размещаться статьи?


????? ???? ???? | ????? ?? ????
vadisimus вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 10.10.2010, 23:03   #4
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: robots.txt страница обзора ведущая на статьи

Цитата:
Сообщение от vadisimus Посмотреть сообщение
Что такое SEF?
http://ru.wikipedia.org/wiki/ЧПУ_(Интернет)
Friendly URL, оно же ЧПУ... В джумле есть родное, встроенное, но при небольших сайтах лучше компоненты типа 404SEF...

Вот насчет статей.... Тут два варианта: либо у вас постоянно пополняемый блог (материалы добавляются часто, материалы с определенной давностью отправляются в архив, интересно только новое, старое не актуально) и тогда использование шаблона блога все таки полезно; либо основной материал более "статичен" и тогда можно и без блога обойтись...

Цитата:
Сообщение от vadisimus Посмотреть сообщение
Страницу с анонсами статей хочу убрать из индекса, так как иногда, по некоторым запросам в поисковике показывается эта страница, а не сама статья.
Ага, я догадался... Именно из-за этого обычно и хотят убрать...
Цитата:
Сообщение от vadisimus Посмотреть сообщение
Если я уберу шаблон блога категории, то где, или как будут размещаться статьи?
Вот я его вообще не использую. Из меню - ссылки сразу на статью. Меню типа "accordion menu"; вместо шаблона блога - просто разворачивается его содержимое. Примерно, как Other Menu (см справа) на этом шаблоне: http://www.yootheme.com/demo/jan10/ (шаб наугад взял, на многих такое)....

Иначе (если закрывать от индексации) как-то странно выходит: вроде и есть шаблон блога, а вроде его и нет... По мне так - если материалов в пределах нескольких сотен, то через иерархическое меню (3-уровня вложенности) удобнее будет (хотя это только мое личное мнение и не более).... Но в любом случае не индексируемый шаблон блога категории... Это... Это... Ээээ... Некошерно, вотъ!
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 10.10.2010, 23:45   #5
 
Аватар для vadisimus
 
Сообщений: 13
FR (активность): 303

Доп. информация
По умолчанию Автор темы Re: robots.txt страница обзора ведущая на статьи

Еще два вопроса. Если закрывать от индексации шаблон блога, это не повлияет на выдачу статей в поисковике? Ведь они относятся к меню шаблона блога.
От вложенного меню отказался, так как хотел чтобы было предисловие с фотографией, может сможешь подсказать что-либо подобное?


????? ???? ???? | ????? ?? ????
vadisimus вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 11.10.2010, 05:50   #6
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: robots.txt страница обзора ведущая на статьи

Цитата:
Сообщение от vadisimus Посмотреть сообщение
Если закрывать от индексации шаблон блога, это не повлияет на выдачу статей в поисковике? Ведь они относятся к меню шаблона блога.
Нет не повлияет. "Разделы", "Категории", "Статьи" - это скорее к структуре MySQL относится. При использовании компонент типа "К2" или "Alpha Content" вообще никаких категорий нет (своя структура) и ничего страшного не происходит...
Цитата:
Сообщение от vadisimus Посмотреть сообщение
предисловие с фотографией
А вот это? Frontpage SlideShow...
Или слишком монструозно?
Скрытый (как скрывать?) текст. Только для группы: "Зарегистрированные":
Ваша группа не позволяет просмотреть скрытую информацию.
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 11.10.2010, 08:37   #7
 
Аватар для vadisimus
 
Сообщений: 13
FR (активность): 303

Доп. информация
По умолчанию Автор темы Re: robots.txt страница обзора ведущая на статьи

Цитата:
А вот это? Frontpage SlideShow...
Или слишком монструозно?
Возможно я старомодный, меня отпугивают такие вещи своей сложностью(не в плане установки)

Цитата:
Сообщение от umka from ufa Посмотреть сообщение
Disallow: www.chous.co.il/index.php/stories
этого будет достаточно чтобы заблокировать корневую папку?
vadisimus вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 11.10.2010, 10:56   #8
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: robots.txt страница обзора ведущая на статьи

Цитата:
Сообщение от vadisimus Посмотреть сообщение
этого будет достаточно чтобы заблокировать корневую папку?
Думаю да, но лучше проверить..

Метода проверки robots.txt

Через google
В панели "инструменты для веб местеров" - "Конфигурация сайта" - "Доступ для сканера" вносите исправления в верхней половине окна, затем в нижней части "URL-адреса Укажите URL-адреса и роботов User Agent для проверки" вставляете проверяемый адрес и жмете "проверить"

В Яндексе:
http://webmaster.yandex.ru/robots.xml
Вводите имя сайта - загружаете - вносите изменения - нажимаете "Список URL - добавить" - добавляете проверяемый адрес - "проверить"....
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 11.10.2010, 17:10   #9
 
Аватар для specialist-seo
 
Сообщений: 2,199
FR (активность): 49,104

Доп. информация
По умолчанию Re: robots.txt страница обзора ведущая на статьи

Оффтоп:
Вариант для извращенцев, запретить все и в ручную разрешать нужные страницы.
Только если запрет идет выше разрешения = запрет, так как у запрещающего правила будет преимущество, учитывайте этот факт
specialist-seo вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 11.10.2010, 19:59   #10
 
Аватар для vadisimus
 
Сообщений: 13
FR (активность): 303

Доп. информация
По умолчанию Автор темы Re: robots.txt страница обзора ведущая на статьи

Спасибо тебе за помощь. На всякий случай уточню что бы ничего не запортачить.

Цитата:
Через google
В панели "инструменты для веб местеров" - "Конфигурация сайта" - "Доступ для сканера" вносите исправления в верхней половине окна
я сделал правильно?
Оффтоп:

Если я правильно понял - это была только проверка и теперь я должен создать robots.txt и разместить на сайте?


????? ???? ???? | ????? ?? ????
vadisimus вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 11.10.2010, 22:26   #11
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: robots.txt страница обзора ведущая на статьи

Да всё так... Еще можно на всякий случай через Яндекс проверить (для подстраховки)...
В роботс по сути надо только последнюю строку и добавить. Кстати - проверьте еще без www.
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 12.10.2010, 01:25   #12
 
Аватар для vadisimus
 
Сообщений: 13
FR (активность): 303

Доп. информация
По умолчанию Автор темы Re: robots.txt страница обзора ведущая на статьи

По сути, у меня получается robots.txt с двумя строчками внутри:
User-agent: *
Disallow: http://www.chous.co.il/index.php/stories

Все верно?


????? ???? ???? | ????? ?? ????
vadisimus вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 12.10.2010, 07:28   #13
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: robots.txt страница обзора ведущая на статьи

Цитата:
Сообщение от vadisimus Посмотреть сообщение
robots.txt с двумя строчками внутри
Не-не! То, что на картинке было.. Плюс эта строка... То есть примерно так:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: http://www.chous.co.il/index.php/stories


...к существующему роботс надо строку добавить
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
vadisimus (12.10.2010)
Старый 14.10.2010, 15:41   #14
 
Аватар для mikom
 
Сообщений: 20
FR (активность): 363

Доп. информация
По умолчанию Re: robots.txt страница обзора ведущая на статьи

Подскажите кто знает, как бороться с кривыми ссылками, т.е когда одна страница уже проиндексированна, по необходимости меняется тайтл и что делать со страницей старой, как ее вытащить из индекса гугла..
2. Как правильно настроит robots.txt и стоит ли через него уберать такие страницы?
вот мой сайт, я совсем запутался....помогите www.sclass.od.ua
mikom вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 29.11.2010, 18:59   #15
 
Аватар для vadisimus
 
Сообщений: 13
FR (активность): 303

Доп. информация
По умолчанию Автор темы Re: robots.txt страница обзора ведущая на статьи

После добавления
Disallow: http://www.chous.co.il/index.php/stories
Гугл перестал индексировать все статьи находящиеся в этой папкечто вы можете посоветовать в данном случае?
Можно как-нибудь сделать чтобы гугл индексировал статьи без корневой папки?


????? ???? ???? | ????? ?? ????
vadisimus вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2577 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Страница с www и без. joker777_87 Раскрутка в общих чертах 1 21.10.2010 17:51
robots.txt обзор и полная страница yuriyb Индексация сайта 1 31.08.2010 15:59
Отдельная страница по НЧ и СЧ NitroM$I Продвижение сайта 4 05.03.2010 17:49
Robots.txt Anaksagor Индексация сайта 5 17.09.2009 14:17
Вопрос по robots.txt mumitroll Беседка 0 23.07.2009 15:26

Текущее время: 21:20. Часовой пояс GMT +3.