Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 23.03.2015, 10:16   #1
 
Аватар для ProdamText
 
Сообщений: 27
FR (активность): 580

Доп. информация
По умолчанию Автор темы Помогите с Robots.txt и sitemap.xml (Два сайта на одном хостинге)

Доброго времени суток.
Подскажите пожалуйста ответ на такие вопросы:
Есть два сайта на одном хостинге.

Оффтоп:
http://prodamtext.com/ и http://stroycomplex.com.ua/


С первым, который как бы главный был - я разобрался. Залил робот тхт, сгенерировал сайт мап, обновил через гугл инструменты для мастеров. Жду результатов индексации.

По второму - возник вопрос - захожу на ФТП и вижу кучу папок, сайт мап хмл в корне лежит вроде та, которая к главному сайту. Попробовал подключить через инструменты разработчика от фанаря, загрузилась какая то не очень крутая но все же сайт мап. (актуальная для второго сайта). Но.. Что делать с роботом? Куда его ложить? Более того, необходимо же прописать в нем сайт мап?....

Не сочтите за труд ответить если знаете, сэкономит мне массу времени.
ЗЫ. в поиске по форуму не нашел.
ЗЫЫ. в поиске по гуглу вразумительного тоже ничего нету.
ЗЫЫЫ. Да, только начинаю сам ковырять основы.

Спасибо

Сообщение добавлено 23.03.2015 в 11:21

Сделал через гугл инстурменты

Получилось так:
Оффтоп:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: prodamtext.com
Sitemap: http://prodamtext.com/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/


Похоже на правильное?


Работаем качественно, быстро и в срок, даже лучше чем МакДональдс. Лепим тексты как вкусные пирожки.
ProdamText вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 23.03.2015, 10:47   #2
 
Аватар для sky-fi
 
Сообщений: 53
FR (активность): 624

Доп. информация
По умолчанию

И сайтмап, и роботс, размещаются исключительно в корневом каталоге сайта.
На обоих сайтах размещено правильно (только на первом сайтмап создан при помощи плагина,а на втором, похоже, что вручную сгенерирован)

Теперь по поводу правильности. На обоих сайтах роботс настроен не совсем правильно.
Вот так лучше будет:
Оффтоп:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback

User-agent: Yandex
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: */trackback
Host: stroycomplex.com.ua

User-agent: Googlebot
Allow: *.js$
Allow: *.css$
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/
Disallow: */trackback

Sitemap: http://stroycomplex.com.ua/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/
sky-fi вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 23.03.2015, 10:54   #3
 
Аватар для Аскольд
 
Сообщений: 558
FR (активность): 15,069

Доп. информация
По умолчанию

Предохраняйтесь! http://help.yandex.ru/webmaster/cont...robots-txt.xml

Для wp есть куча примеров роботсов.
Аскольд вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 23.03.2015, 19:52   #4
 
Аватар для ProdamText
 
Сообщений: 27
FR (активность): 580

Доп. информация
По умолчанию Автор темы

Спасибо всем кто откликнулся, но как залить робот имея два сайта? или он один для всех?


Работаем качественно, быстро и в срок, даже лучше чем МакДональдс. Лепим тексты как вкусные пирожки.
ProdamText вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 23.03.2015, 19:56   #5
 
Аватар для Аскольд
 
Сообщений: 558
FR (активность): 15,069

Доп. информация
По умолчанию

Цитата:
Сообщение от ProdamText Посмотреть сообщение
или он один для всех?
Нет, он все за одного!
Вы ролик яндекса по моей ссылке просмотрели?
Аскольд вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 29.03.2015, 19:32   #6
 
Аватар для perinot
 
Сообщений: 37
FR (активность): 274

Доп. информация
По умолчанию

Цитата:
Сообщение от ProdamText Посмотреть сообщение
или он один для всех?
Для каждого сайта свой роботс надо, в нём ведь указываются такие вещи, как главное зеркало (host) и тому подобные индивидуальные вещи.

perinot вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 29.03.2015, 20:58   #7
 
Аватар для Alex Grey
 
Сообщений: 43
FR (активность): 368

Доп. информация
По умолчанию

Цитата:
Сообщение от perinot Посмотреть сообщение
Для каждого сайта свой роботс надо
Если сайты склеины, то не надо ведь каждому свой
Alex Grey вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 29.03.2015, 23:19   #8
 
Аватар для Аскольд
 
Сообщений: 558
FR (активность): 15,069

Доп. информация
По умолчанию

Цитата:
Сообщение от perinot Посмотреть сообщение
.., в нём ведь указываются такие вещи, как главное зеркало (host)
а host в роботсе указывает на главное зеркало?
Аскольд вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 30.03.2015, 16:30   #9
 
Аватар для Jey-7
 
Сообщений: 32
FR (активность): 416

Доп. информация
По умолчанию

а какой плагин посоветуете для создания Карты сайта для WP? чтобы всё правильно для Яндекса было
Jey-7 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 30.03.2015, 19:51   #10
 
Аватар для perinot
 
Сообщений: 37
FR (активность): 274

Доп. информация
По умолчанию

@Jey-7, "google sitemap xml" Мне нравится этот плагин
perinot вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Метки
роботс.тхт

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Стоит ли держать mfa на одном хостинге с сдл? Георгич Создание MFA 25 02.04.2014 10:51
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt AGmb Раскрутка в общих чертах 4 06.03.2013 13:46
Помогите из robots.txt в ДЛЕ 9.2 bog35 DLE 2 06.03.2012 00:05
Помогите с доменом второго уровня для сайта на бесплатном хостинге harold Домены 4 15.07.2011 12:03
Помогите с robots.txt на Вордпрессе Stels88 WordPress 3 03.03.2011 20:29

Текущее время: 06:28. Часовой пояс GMT +3.