SEO форум - оптимизация и продвижение сайтов

Регистрация
Навигация
SEO оптимизация Продвижение Поисковики SEO инструменты Монетизация Другое
Общие вопросы по СЕО Продвижение статьями Яндекс Анализ и статистика Контекстная реклама SMM, социальные сети
Индексация сайта Продвижение ссылками Google СЕО сервисы Партнерские программы Копирайтинг
Оптимизация страниц Продвижение за рубежом Mail.ru, Bing и другие СЕО софт Как заработать? Электронные деньги
Рынок SEO услуг Купи - продай Freelance Хостинг Домены Юзабилити
Создание сайтов Разработка сайтов Создание форумов Сайты другого типа Программирование Дизайн
Анализ сайта Словарь Лучшие темы Наши услуги Скрытый раздел FAQ - вопросы
SEO форум вебмастеров




Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 02.06.2016, 23:00   #1
 
Аватар для Denmark2016
 
Сообщений: 27
FR (активность): 726

Доп. информация
По умолчанию Автор темы Вопрос по файлу robots.txt

Подскажите, при таком описании в robots.txt, вприницпе разрешена индексация главной страницы сайта?

Код:
User-agent: *
Allow: /wp-content/uploads
Allow: /wp-includes/*.js
Allow: /wp-includes/*.css
Allow: /wp-content/*.js
Allow: /wp-content/*.css
Disallow: /coupon-categories/*
Disallow: /wp-admin/*
Disallow: /coupons/*
Disallow: /coupon-tags/*
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /author/
Disallow: /wp-content/
Disallow: /page/
Disallow: /tag/
Denmark2016 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 02.06.2016, 23:22   #2
 
Аватар для cthulchu
 
Сообщений: 3,524
FR (активность): 101,233

Доп. информация
По умолчанию

вы можете сформулировать причину, по которой вы запрещаете индексацию wp-login и wp-admin?
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 09.07.2016, 20:52   #3
 
Аватар для lkolian
 
Сообщений: 15
FR (активность): 238

Доп. информация
По умолчанию

Цитата:
Сообщение от Denmark2016 Посмотреть сообщение
Подскажите, при таком описании в robots.txt, вприницпе разрешена индексация главной страницы сайта?

Код:
User-agent: *
Allow: /wp-content/uploads
Allow: /wp-includes/*.js
Allow: /wp-includes/*.css
Allow: /wp-content/*.js
Allow: /wp-content/*.css
Disallow: /coupon-categories/*
Disallow: /wp-admin/*
Disallow: /coupons/*
Disallow: /coupon-tags/*
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /wp-includes/
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /author/
Disallow: /wp-content/
Disallow: /page/
Disallow: /tag/
разрешена
lkolian вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 30.07.2016, 05:51   #4
 
Аватар для frozengrob
 
Сообщений: 2
FR (активность): 10

Доп. информация
По умолчанию Ocstore правильный робот?

Подскажите пожалуйста
frozengrob вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.08.2016, 17:35   #5
 
Аватар для cthulchu
 
Сообщений: 3,524
FR (активность): 101,233

Доп. информация
По умолчанию

Цитата:
Сообщение от Stella1 Посмотреть сообщение
А зачем их индексировать?
Это не ваше дело. Не вы же индексируете. Вам принципиально, чтобы админка была в дизаллоу? Нет? Ну тогда следуйте принципу Бритвы Оккама. Да? Ну тогда черканите причинку.
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 11.08.2016, 17:42   #6
 
Аватар для vip1232
 
Сообщений: 1
FR (активность): 66

Доп. информация
По умолчанию

Цитата:
Сообщение от cthulchu Посмотреть сообщение
Это не ваше дело. Не вы же индексируете. Вам принципиально, чтобы админка была в дизаллоу? Нет? Ну тогда следуйте принципу Бритвы Оккама. Да? Ну тогда черканите причинку.
А для чего иметь админку в выдаче.

По теме роботс верный.
vip1232 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Плохо" от:
R.Romanov (11.08.2016)
Старый 11.08.2016, 19:29   #7
 
Аватар для R.Romanov
 
Сообщений: 79
FR (активность): 977

Доп. информация
По умолчанию

Цитата:
Сообщение от vip1232 Посмотреть сообщение
А для чего иметь админку в выдаче.
А для чего её не иметь? Наличие админки в выдаче как-то повлияет на отношение поисковиков к сайту? Или у Вас админка открытая вообще и достаточно просто узнать урл и можно чудеса творить?

Закрывать что-то от индексации нужно если:
  1. Страницы содержат персональную информацию пользователей или другие штуки, которые нельзя давать в паблик.
  2. Страницы дублируют контент основных страниц сайта.
  3. На страницах можно генерировать контент (страницы поиска там например)

Технические страницы закрываются от индексации только тогда, когда их обход роботом вызывает значительную нагрузку на сервер.

Цитата:
Сообщение от vip1232 Посмотреть сообщение
По теме роботс верный.
По теме вопрос был не в этом.


Оказываю любые SEO услуги по здравым ценам.
Крауд-маркетинговые кампании: от 2$ за ссылку.
R.Romanov вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 11.08.2016, 20:28   #8
 
Аватар для cthulchu
 
Сообщений: 3,524
FR (активность): 101,233

Доп. информация
По умолчанию

Цитата:
Сообщение от vip1232 Посмотреть сообщение
А для чего иметь админку в выдаче.
Выдача не ваша, это уже бритва гугла, так что расслабьтесь.

Цитата:
Сообщение от R.Romanov Посмотреть сообщение
Закрывать что-то от индексации нужно если:
Страницы содержат персональную информацию пользователей или другие штуки, которые нельзя давать в паблик.
Страницы дублируют контент основных страниц сайта.
На страницах можно генерировать контент (страницы поиска там например)
И все эти случаи сильно устарели. Ну, по крайней мере для гугла.

В первом и втором случае использование роботса - расписка в некомпетентности сеошника.

В первом правильно было бы не давать эти страницы к просмотру гостям (коим гугл и является). А если юзер разрешил, тогда пусть показывается и индексируется.

Во втором ошибка очевидно в том, что дубликатов контента быть не должно, а если он есть, то гораздо более элегантным решением было бы прописывать каноникалы, что заодно автоматически фиксит целый скоп неприятных сео-уязвимостей.

По поводу же третьего, имхо совет о запрете индекса результатов поиска уже сильно устарел. Я бы сейчас советовал не запрещать индексировать что-либо вообще, кроме очень специфических ситуаций, которые бывают один раз на тысячу сайтов.
R.Romanov: сообщение полезно
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
R.Romanov (11.08.2016)
Старый 25.09.2016, 00:25   #9
 
Аватар для oldvagrant
 
Сообщений: 15
FR (активность): 155

Доп. информация
По умолчанию

В моей структуре сайта, информация только в записях. на страницах нет ничего. Одна главная с выводом анонсов записей (стандартная тема вп, сам не прописывал ничего). Вторая страница это список категорий сделанный вручную добавлением строк-модулей на страницу. Остальное это записи. Где собственно и содержится вся инфа.
Правильный ли я роботс составил исходя из этого? Основная задача была избежать дублей.
Код:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /tag
Disallow: /page/
Disallow: */attachment/ 
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /tag
Disallow: /page/
Disallow: */attachment/ 
Host: www.infoint.ru
Sitemap: http://www.infoint.ru/sitemap.xml.gz
Sitemap: http://www.infoint.ru/sitemap.xml
oldvagrant вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 09.10.2016, 14:34   #10
 
Аватар для Perchin
 
Сообщений: 7
FR (активность): 0

Доп. информация
По умолчанию

У меня тоже вопрос по robots.txt Но я "чайник", хочу вписать директиву Host Но папку в файловом менеджере (укоз) не обнаружил. Где её искать? Пожалуйста поподробней, я только учусь, правда в таком возрасте уже не учатся.
Perchin вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 09.10.2016, 19:44   #11
 
Аватар для cthulchu
 
Сообщений: 3,524
FR (активность): 101,233

Доп. информация
По умолчанию

Вы спросите где-то на форуме укоза. У нас им никто не пользуется.
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 10.10.2016, 21:08   #12
 
Аватар для webmas
 
Сообщений: 480
FR (активность): 15,750

Доп. информация
По умолчанию

@Perchin, цитата с форума укоза:
Цитата:
системный файл robots.txt не показывается в файловом менеджере. в файловом менеджере файл появится только после того как вы зальете свой вариант файла и он заместит системный
Perchin: сообщение полезно
webmas вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 17.10.2016, 06:56   #13
 
Аватар для Perchin
 
Сообщений: 7
FR (активность): 0

Доп. информация
По умолчанию

Спасибо! Директиву Host всё же вписал.
Perchin вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Метки
robots.txt

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
[ Вопрос ] Вопрос по robots.txt для ИМ на WP K_Marx Оптимизация страниц сайта 3 03.02.2016 16:09
вопрос про robots.txt Customizer Индексация сайта 30 22.08.2013 10:13
[ Вопрос ] Вопрос по robots.txt Valorous Индексация сайта 13 13.05.2013 22:39
Вопрос по robots.txt Chemodan Индексация сайта 7 01.01.2012 18:54
Вопрос по robots.txt mumitroll Беседка 0 23.07.2009 15:26

Текущее время: 03:26. Часовой пояс GMT +3.