Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковая оптимизация > Индексация сайта

Важная информация
Индексация сайта - Robots.txt, sitemap (карта сайта), редирект, .htaccess, и т.д. Бан, поисковые фильтры, ранжирование (позиции).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 23.01.2015, 15:38   #1
 
Аватар для ronni717
 
Сообщений: 3
FR (активность): 0

Доп. информация
По умолчанию Автор темы Индексируются не те страницы

Добрый день, всем!

Ситуация следующая, поисковики индексируют непонятные для меня полунерабочие страницы сайта c товарами
Страницы товара располагаются по другим адресам,
которые и должны собственно индексироваться.
в чем может быть причина?
Спасибо
Индексируются не те страницы-1-2-.jpg

Индексируются не те страницы-2.jpg

Индексируются не те страницы-snimok-ekrana-2015-01-23-v-15.32.47.jpg

Индексируются не те страницы-snimok-ekrana-2015-01-23-v-15.34.24.jpg
ronni717 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 23.01.2015, 21:23   #2
 
Аватар для boris_b
 
Сообщений: 244
FR (активность): 6,316

Доп. информация
По умолчанию

У вас индексируются дубли. Пропишите правильный robots.txt именно для яндекса (то есть User-agent: Yandex).


Делаю качественные экспресс-аудиты сайтов
boris_b вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 25.01.2015, 12:13   #3
 
Аватар для ronni717
 
Сообщений: 3
FR (активность): 0

Доп. информация
По умолчанию Автор темы

спасибо, гугл также индексирует эти мусорные url

Сообщение добавлено 25.01.2015 в 12:15

спасибо,
гугл также индексирует данные мусорные страницы. Сделал запись в robots.txt следующего вида

User-agent: *
Disallow: /ajaxcart
Верно?

Сообщение добавлено 25.01.2015 в 12:18

Весь файл роботс таков:

## robots.txt for Magento Community and Enterprise

## GENERAL SETTINGS

## Enable robots.txt rules for all crawlers
User-agent: *

## Crawl-delay parameter: number of seconds to wait between successive requests to the same server.
## Set a custom crawl rate if you're experiencing traffic problems with your server.
# Crawl-delay: 30

## Magento sitemap: uncomment and replace the URL to your Magento sitemap file
# Sitemap:

## DEVELOPMENT RELATED SETTINGS

## Do not crawl development files and folders: CVS, svn directories and dump files
Disallow: /CVS
Disallow: /*.svn$
Disallow: /*.idea$
Disallow: /*.sql$
Disallow: /*.tgz$

## GENERAL MAGENTO SETTINGS

## Do not crawl Magento admin page
Disallow: /admin/

## Do not crawl common Magento technical folders
Disallow: /app/
Disallow: /downloader/
Disallow: /errors/
Disallow: /includes/
Disallow: /lib/
Disallow: /pkginfo/
Disallow: /shell/
Disallow: /var/

## Do not crawl common Magento files
Disallow: /api.php
Disallow: /cron.php
Disallow: /cron.sh
Disallow: /error_log
Disallow: /get.php
Disallow: /install.php
Disallow: /LICENSE.html
Disallow: /LICENSE.txt
Disallow: /LICENSE_AFL.txt
Disallow: /README.txt
Disallow: /RELEASE_NOTES.txt

## MAGENTO SEO IMPROVEMENTS

## Do not crawl sub category pages that are sorted or filtered.
Disallow: /*?dir*
Disallow: /*?dir=desc
Disallow: /*?dir=asc
Disallow: /*?limit=all
Disallow: /*?mode*

## Do not crawl 2-nd home page copy (example.com/index.php/). Uncomment it only if you activated Magento SEO URLs.
## Disallow: /index.php/

## Do not crawl links with session IDs
Disallow: /*?SID=

## Do not crawl checkout and user account pages
Disallow: /checkout/
Disallow: /onestepcheckout/
Disallow: /customer/
Disallow: /customer/account/
Disallow: /customer/account/login/

## Do not crawl seach pages and not-SEO optimized catalog links
Disallow: /catalogsearch/
Disallow: /catalog/product_compare/
Disallow: /catalog/category/view/
Disallow: /catalog/product/view/

## SERVER SETTINGS

## Do not crawl common server technical folders and files
Disallow: /cgi-bin/
Disallow: /cleanup.php
Disallow: /apc.php
Disallow: /memcache.php
Disallow: /phpinfo.php

User-agent: *
Disallow: /ajaxcart

## IMAGE CRAWLERS SETTINGS

## Extra: Uncomment if you do not wish Google and Bing to index your images
# User-agent: Googlebot-Image
# Disallow: /
# User-agent: msnbot-media
# Disallow: /
ronni717 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 25.01.2015, 19:28   #4
 
Аватар для ronni717
 
Сообщений: 3
FR (активность): 0

Доп. информация
По умолчанию Автор темы

Обнаружил, что все нужные к индексации страницы с ошибками как и у гугла так и у яндекса.
Внутренняя ошибка сервера 500
Как можно попытаться решить проблему?
Индексируются не те страницы-snimok-ekrana-2015-01-25-v-19.18.47.jpg
ronni717 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 25.01.2015, 20:28   #5
 
Аватар для cthulchu
 
Сообщений: 3,668
FR (активность): 107,379

Доп. информация
По умолчанию

нанять человека, который умеет работать с маджентой. это достаточно особенный движок и таких людей на просторах рунета достаточно мало, чтобы они помогали новичкам на форумах.

Или учите веб-дев и решайте проблему самостоятельно, что тоже отличный вариант. в любом случае, мадженто подразумевает, что у вас в штате есть девелоперы и администраторы. а то, что школьник нашел нуленую версию мадженты да и, думает, зафигачу интернет-могозюн, это не айс. И ошибок дефолтных с точки зрения сео в дефолтной мадженте ГОРАЗДО больше, чем вы нашли у себя. Я, просто, занимаюсь оптимизацией мадженты, так что знаю, что это за адов двиг.
cthulchu вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 14.02.2015, 16:26   #6
 
Аватар для Dharam
 
Сообщений: 181
FR (активность): 2,335

Доп. информация
По умолчанию

Цитата:
Сообщение от cthulchu Посмотреть сообщение
нанять человека, который умеет работать с маджентой… Я, просто, занимаюсь оптимизацией мадженты, так что знаю, что это за адов двиг.
Cthulchu прав, то что я прочитал про этот двиг в Сети не радует, вот хотя бы цитата с хабра:
...обратите внимание на cpu лимит хостинга. В моей практике были случаи когда сайт отключили из-за нагрузки на процессор более 3%. При этом за день на сайт заходило не более 15-25 человек.
Хостинг который сможет вытянуть простой магазин на Magento, с посещаемостью 20-50 человек в сутки, стоит около 70$/год. Специализированные хостинг планы для Magento стоят в районе 20$/месяц. Магазин на таком тарифе работает достаточно шустро, без проблем вытягивает посещаемость порядка 300 человек/день.

Уж лучше WP или OpenCart юзать ((


наилучшие пожелания всем,
Дхарам
Dharam вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 03.03.2015, 15:38   #7
 
Аватар для Zomby
 
Сообщений: 1
FR (активность): 10

Доп. информация
По умолчанию

Проблема индексирования непонятных страниц мне встречалась. Знакомо.

Сообщение добавлено 03.03.2015 в 15:39

Вопрос по правильному индексированию сайта передо мной тоже вставал. Я долго плавал по различным ресурсам, пока случайно не наткнулся на обстоятельного автора, имеющего представление по всем вопросам продвижения и раскрутки сайтов, в том числе новых и за бесплатно. Сайт называется Markintalk, и он уже многим помог в работе. Вот и проблему с индексацией там можно решить за 6 шагов, описанных подробно! Рекомендую!
Zomby вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 06.03.2015, 18:19   #8
 
Аватар для Andreei
 
Сообщений: 2
FR (активность): 33

Доп. информация
По умолчанию

Не правильный robots.txt
Andreei вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
[ Вопрос ] Не индексируются страницы alldns2 Индексация сайта 0 06.12.2013 13:55
[ Вопрос ] Не индексируются некоторые страницы Airon9 Индексация сайта 2 05.02.2013 23:04
То индексируются, то не индексируются статьи Fibi Индексация сайта 12 22.03.2012 18:53
не индексируются страницы 3 уровня вложености AntonV Яndex 12 22.01.2012 00:42
Страницы в индексе, но не индексируются уже второй АП Кот Яndex 10 04.08.2009 20:06

Текущее время: 23:50. Часовой пояс GMT +3.