Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 05.05.2016, 21:13   #1
 
Аватар для IrinaPl
 
Сообщений: 30
FR (активность): 654

Доп. информация
По умолчанию Автор темы Как определить, что запрещать к индексации в robots.txt

Приветствую!
Как определить, что запрещать к индексации в robots.txt, если сайт не мой? Есть какой-то стандартный набор директорий или есть способы узнать, что именно для этого сайта нужно запретить?
P.S. интернет-магазин, тестовое задание.
IrinaPl вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 05.05.2016, 21:16   #2
 
Аватар для cthulchu
 
Сообщений: 3,668
FR (активность): 107,379

Доп. информация
По умолчанию

Ну вы его провалили даже если мы вам правильно здесь посоветуем.

Вообще, процесс такой, что вы должны проанализировать сайт, понаходить дупликацию контента, вывести закономерности, написать под каждую закономерность правило и добавить его в роботс.

Но если вы этого не видите, то выполнить задание хоть приблизительно корректно вы не сможете. Зачем вы вообще сео занимаетесь, если у вас такие вопросы возникают?

С другой стороны, почему ичары не видят, что кандидат негодный? Там и резюме такое должно быть. Слабое. Бездельники. Я в таких случаях пишу тому, кто этих ичаров нанимает и обьясняю ему на пальцах, почему их стоит уволить и больше не вестись.
cthulchu на форуме  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Alex LM (17.06.2016)
Старый 05.05.2016, 21:29   #3
 
Аватар для IrinaPl
 
Сообщений: 30
FR (активность): 654

Доп. информация
По умолчанию Автор темы

@cthulchu, Странный вопрос))) Вы родились со знанием таких вещей?)))
Я только начинаю изучение SEO, тестовое задание нашла в свободном доступе и не найдя никакой конкретной информации по этой теме (кроме "закрыть админку" и пр. общие фразы) я и решила уточнить здесь. Правда я не совсем поняла как сделать то, что вы описали. Может поделитесь источником, где об этом можно почитать поподробнее?
IrinaPl вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 05.05.2016, 21:48   #4
 
Аватар для cthulchu
 
Сообщений: 3,668
FR (активность): 107,379

Доп. информация
По умолчанию

@IrinaPl, а, извиняюсь. Я думал, что тестовое вам ичары прислали.

Начните с прочтения мануалов по роботсу, его назначению и синтаксису. Читайте на сайтах тех поисковиков, под которые хотите двигать.

После этого, ознакомьтесь с панелями вебмастеров поисковиков, под которые хотите продвигать. Точнее - с ошибками, которые они там показывают.

Дальше найдите решение этих проблем через роботс. После того, как вы правильно это сделаете, вы можете считать себя джуниором в этой сфере SEO. В сфере роботса

Чтобы больше узнать, вам нужен опыт работы с сайтами. С опытом дойдете до миддла. А чтобы дальше двигаться, нужен опыт разработки сайтов.

ЗЫ

"прятание" админки в роботс - это, наверное, самая распространенная глупость, которую люди друг другу советуют. Следовательно, еще один совет: меньше доверяйте бложекам и блогерам. Больше доверяйте форумам.

Для гугла идеальный роботс по умолчанию, при прочих равных, - это отсутствие роботса как такового.
BVD: сообщение полезно
cthulchu на форуме  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Alex LM (17.06.2016),  Hodge (05.05.2016)
Старый 05.05.2016, 22:02   #5
 
Аватар для IrinaPl
 
Сообщений: 30
FR (активность): 654

Доп. информация
По умолчанию Автор темы

@cthulchu, спасибо большое за такой развернутый ответ Оказывается о роботс я слышала только "верхушку") Что ж, учиться никогда не поздно! Пойду читать)
IrinaPl вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 23.05.2016, 12:56   #6
 
Аватар для Ntplanet
 
Сообщений: 3
FR (активность): 15

Доп. информация
По умолчанию

Сайт самопис или CMS?
Зайдите на хостинг и посмотрите какие какие папки установлены.
А так же если у вас какая-то конкретная CMS то для них по умолчанию уже
есть "роботс.текс" или всегда готовые можно найти на сайтах через поиск.
Главное не закрыть папку которая содержит контент а так же картинки
(если они нужны для индекса), остальные все можно закрыть, это будет лучше для робота.


Работа не волк.
Ntplanet вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 13.06.2016, 07:38   #7
 
Аватар для IrinaPl
 
Сообщений: 30
FR (активность): 654

Доп. информация
По умолчанию Автор темы

@Ntplanet, спасибо большое) стало еще яснее)))
IrinaPl вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Метки
robots.txt

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Гугл игнорит запрет индексации и пишет "Описание веб-страницы недоступно из-за ограничений в файле robots.txt" Exitoso Google 9 09.02.2014 12:14
Нужно ли запрещать к индексации в robot.txt страницу анонсов новостей. jazbass Индексация сайта 6 08.03.2013 19:17
Подскажите, как корректно запретить страницы к индексации в robots.txt AlexZandr Индексация сайта 0 11.03.2012 08:25
Нужно ли в robots.txt прописывать запрет к индексации папки sape? webmas Разработка сайтов 3 27.03.2011 02:33
Снятие запрета индексации сайта robots.txt rj10x Индексация сайта 4 05.02.2011 16:38

Текущее время: 07:32. Часовой пояс GMT +3.