Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковые системы > Яndex

Важная информация
Яndex - Поисковая система Yandex. Раскрутка, оптимизация, продвижение сайтов под Яндекс. Фильтры, алгоритмы, апдейты...

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 01.08.2011, 14:42   #1
 
Аватар для newevg
 
Сообщений: 173
FR (активность): 3,412

Доп. информация
По умолчанию Автор темы Яндекс индексируют запрещенную в Robots.txt директорию.

Яндекс индексируют запрещенную в Robots.txt директорию /components/, отсюда у меня несколько главных страниц и еще не нужные страницы появляются в поиске. Что можно сделать ?
newevg вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.08.2011, 14:56   #2
 
Аватар для cthulchu
 
Сообщений: 3,668
FR (активность): 107,379

Доп. информация
По умолчанию Re: Яндекс индексируют запрещенную в Robots.txt директорию.

можно показать содержимое твоего robots.txt и сделать скриншот того, как этот файл выглядит на фтп. с датами последнего изменения, создания и местом расположения.
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.08.2011, 15:45   #3
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: Яндекс индексируют запрещенную в Robots.txt директорию.

Цитата:
Сообщение от newevg Посмотреть сообщение
запрещенную в Robots.txt директорию /components/
Не Джумла случайно?
И ссылки не такие ли вот: /index.php?option=com_**** ?
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.08.2011, 20:09   #4
 
Аватар для newevg
 
Сообщений: 173
FR (активность): 3,412

Доп. информация
По умолчанию Автор темы Re: Яндекс индексируют запрещенную в Robots.txt директорию.

Да joomla а ссылки вот такие

Оффтоп:

medsestranadom.ru/component/djcatalog2/items/5-tonometry.html?,
medsestranadom.ru/index/37-glavniy/1-glavnaya.html,
medsestranadom.ru/component/content/frontpage.html, .medsestranadom.ru/component/djcatalog2/items/4-termometr.html, medsestranadom.ru/index.php?option=com_djcatalog2&view=items&cid=5:t onometry


Почему он берет страницы из component?

Robots.txt
Оффтоп:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Sitemap: http://www.medsestranadom.ru/sitemap.xml
Миниатюры
Яндекс индексируют запрещенную в Robots.txt директорию.-scren.jpg  
newevg вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.08.2011, 20:50   #5
 
Аватар для cthulchu
 
Сообщений: 3,668
FR (активность): 107,379

Доп. информация
По умолчанию Re: Яндекс индексируют запрещенную в Robots.txt директорию.

хорошо. теперь покажи хтаксес (.htaccess), чтобы проверить рерайты. думаю, Умка прав тольо рерайтами маскируются переменные под директории.

.
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.08.2011, 21:10   #6
 
Аватар для newevg
 
Сообщений: 173
FR (активность): 3,412

Доп. информация
По умолчанию Автор темы Re: Яндекс индексируют запрещенную в Robots.txt директорию.

Вот содержимое
Оффтоп:
##
# @version $Id: htaccess.txt 14401 2010-01-26 14:10:00Z louis $
# @package Joomla
# @copyright Copyright (C) 2005 - 2010 Open Source Matters. All rights reserved.
# @license http://www.gnu.org/copyleft/gpl.html GNU/GPL
# Joomla! is Free Software
##


################################################## ###
# READ THIS COMPLETELY IF YOU CHOOSE TO USE THIS FILE
#
# The line just below this section: 'Options +FollowSymLinks' may cause problems
# with some server configurations. It is required for use of mod_rewrite, but may already
# be set by your server administrator in a way that dissallows changing it in
# your .htaccess file. If using it causes your server to error out, comment it out (add # to
# beginning of line), reload your site in your browser and test your sef url's. If they work,
# it has been set by your server administrator and you do not need it set here.
#
################################################## ###

## Can be commented out if causes errors, see notes above.
Options +FollowSymLinks

#
# mod_rewrite in use

RewriteEngine On

########## Begin - Rewrite rules to block out some common exploits
## If you experience problems on your site block out the operations listed below
## This attempts to block the most common type of exploit `attempts` to Joomla!
#
## Deny access to extension xml files (uncomment out to activate)
#<Files ~ "\.xml$">
#Order allow,deny
#Deny from all
#Satisfy all
#</Files>
## End of deny access to extension xml files
RewriteCond %{QUERY_STRING} mosConfig_[a-zA-Z_]{1,21}(=|\%3D) [OR]
# Block out any script trying to base64_encode crap to send via URL
RewriteCond %{QUERY_STRING} base64_encode.*\(.*\) [OR]
# Block out any script that includes a <script> tag in URL
RewriteCond %{QUERY_STRING} (\<|%3C).*script.*(\>|%3E) [NC,OR]
# Block out any script trying to set a PHP GLOBALS variable via URL
RewriteCond %{QUERY_STRING} GLOBALS(=|\[|\%[0-9A-Z]{0,2}) [OR]
# Block out any script trying to modify a _REQUEST variable via URL
RewriteCond %{QUERY_STRING} _REQUEST(=|\[|\%[0-9A-Z]{0,2})
# Send all blocked request to homepage with 403 Forbidden error!
RewriteRule ^(.*)$ index.php [F,L]
#
########## End - Rewrite rules to block out some common exploits

# Uncomment following line if your webserver's URL
# is not directly related to physical file paths.
# Update Your Joomla! Directory (just / for root)

# RewriteBase /


########## Begin - Joomla! core SEF Section
#
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !^/index.php
RewriteCond %{REQUEST_URI} (/|\.php|\.html|\.htm|\.feed|\.pdf|\.raw|/[^.]*)$ [NC]
RewriteRule (.*) index.php
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization},L]
#
########## End - Joomla! core SEF Section
newevg вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.08.2011, 21:24   #7
 
Аватар для cthulchu
 
Сообщений: 3,668
FR (активность): 107,379

Доп. информация
По умолчанию Re: Яндекс индексируют запрещенную в Robots.txt директорию.

ссылку на выдачу яндекса запрещенного к индексированию контента. я с яшей не очень, здесь не вижу:
http://yandex.ua/yandsearch?p=1&text...&lr=143&tld=ua
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.08.2011, 21:30   #8
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: Яндекс индексируют запрещенную в Robots.txt директорию.

Цитата:
Сообщение от cthulchu Посмотреть сообщение
теперь покажи хтаксес
стандартный... он под джумлой у всех одинаковый... Всем его переписывать лень..

newevg, это настройка ЧПУ.
Вот такие страницы: medsestranadom.ru/index.html - (дубль главной) тоже быть не должны.

Это встроенное ЧПУ ? Во всяком случае похоже на родное.
Ставьте лучше 404SEF, не отключая встроенное. Потом дубли в настройках SEF грохнете.
На локале только лучше пробовать сначала, ессно.

Находит Яндекс эти страницы по внутренним ссылкам.
Яндекс, сцуко, когда не надо, так умный, аж жуть...
См.:
Код:
<p>В разделе <a href="/component/content/49.html" title="Медсестра на дом вопрос - ответ.">Вопрос-Ответ</a> Вы всегда
Сторонние ЧПУ (тот же 404) в этих случаях делают внутреннее перенаправление, встроенный - не умеет.
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.08.2011, 21:34   #9
 
Аватар для newevg
 
Сообщений: 173
FR (активность): 3,412

Доп. информация
По умолчанию Автор темы Re: Яндекс индексируют запрещенную в Robots.txt директорию.

Цитата:
Сообщение от cthulchu Посмотреть сообщение
ссылку на выдачу яндекса запрещенного к индексированию контента. я с яшей не очень, здесь не вижу:
http://yandex.ua/yandsearch?p=1&text...&lr=143&tld=ua
В вашем результате 24 26 27 28 ссылка

А у меня страницы с топа не по вылетают ? Может забить легче тогда ? он же переименует страницы вроде
newevg вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.08.2011, 22:27   #10
 
Аватар для Umka
 
Сообщений: 4,143
FR (активность): 80,659

Доп. информация
По умолчанию Re: Яндекс индексируют запрещенную в Robots.txt директорию.

Цитата:
Сообщение от newevg Посмотреть сообщение
он же переименует страницы вроде
ошибку он будет выдавать.
ЧПУ формирует ссылки вида:
[html]В разделе <a href="/component/content/49.html" title="Медсестра[/html]Вы эти ссылки запретите. Будет увеличение количества ошибок, что тоже плохо. Тогда надо все внутренние ссылки проставлять вручную.
Эту ссылку я взял со страницы medsestranadom.ru/component/content/frontpage.html
Внизу там. Где "В разделе Вопрос-Ответ Вы всегда"... Пока там есть эта ссылка - яндекс будет находить страницу. Вы можете запретить ее к индексации, но лучше поставить правильную ссылку.
Umka вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 2325 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
robots.txt - учимся использовать. Часто задаваемые вопросы по robots.txt Alex LM Общие вопросы 18 10.05.2016 11:09
Про robots.txt heretic Joomla 6 17.03.2011 10:40
Поисковики редко индексируют NeXTs Индексация сайта 4 03.09.2010 13:19
Вопросы насчет яндекс картинки и robots.txt alexrussia Индексация сайта 1 23.03.2010 21:30
Robots.txt Anaksagor Индексация сайта 5 17.09.2009 14:17

Текущее время: 01:51. Часовой пояс GMT +3.