Вернуться   SEO форум - оптимизация и продвижение сайтов > Поисковые системы > Google

Важная информация
Google - Поисковая система Google. Продвижение и раскрутка, оптимизация сайта, поисковое продвижение сайтов под Гугл, PR (Page Rank).

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 26.02.2009, 04:41   #1
 
Аватар для Dino_ak47
 
Сообщений: 22
FR (активность): 583

Доп. информация
Вопрос Автор темы Как правильно составить Robots.txt?

Привет. Я вот хотел спросить, а точнее попросить великих вэб мастеров, что бы вы помогли мне правильно составить файл robots.txt, оптимизированный под популярные поисковики.

Вот так выглядит сейчас мой robots.txt

User-agent: *
Disallow: /admincp/
Disallow: /cpstyles/
Disallow: /includes/
Disallow: /modcp/
Disallow: /subscriptions/
Disallow: /usercp.php
Disallow: /misc.php
Disallow: /online.php
Disallow: /report.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /register.php
Disallow: /newthread.php
Disallow: /newreply.php
Disallow: /editpost.php
Disallow: /printthread.php
Disallow: /showpost.php
Disallow: /search.php

Наверное тут косяки какие то, я так думаю, т.к. гугл даже плохо индексирует, точнее индексирует не все, а если еще точнее нулевая индексация практически.

Пожалуйста гляньте и скажите что можно нужно добавить сюда и что удалить отсюда. Просто я не вкуриваю пока в этом. Даж понятия мало представляю что это все значит, поэтому надеюсь на вас. Если не трудно составьте мне этот гребаный файл. Может это смешно быть для вас, но я пока учусь только, так что сильно не смейтесь над моей просьбой. С уважением, ученик.
Dino_ak47 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 26.02.2009, 17:00   #2
 
Аватар для Grinkoff
 
Сообщений: 753
FR (активность): 22,237

Доп. информация
По умолчанию Ответ: Как правильно составить Robots.txt?

Косяков тут нет.
А чтобы гугль проиндексировал твой сайт .. создай карту сайта (sitemap) отправь ее гуглю ... и жди ... если будут ссылки на твой сайт с других сайтов .. тогда проиндексирует быстро ... а так минимум неделя, а то и больше.

А если у тебя динамически ссылки на сайте типа &com_module?id_23 .. к примеру ... то тут с индексацией будут проблемы ... гугль не любит такие ссылки.
Grinkoff вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Dino_ak47 (26.02.2009)
Старый 26.02.2009, 17:37   #3
 
Аватар для Dino_ak47
 
Сообщений: 22
FR (активность): 583

Доп. информация
По умолчанию Автор темы Ответ: Как правильно составить Robots.txt?

СПС, вот буду сегодня пробовать создавать sitemap.
Dino_ak47 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 26.02.2009, 17:42   #4
 
Аватар для Grinkoff
 
Сообщений: 753
FR (активность): 22,237

Доп. информация
По умолчанию Ответ: Как правильно составить Robots.txt?

Цитата:
Сообщение от Dino_ak47 Посмотреть сообщение
СПС, вот буду сегодня пробовать создавать sitemap.
на
Скрытый текст (вы должны войти под своим логином или зарегистрироваться и иметь 5 сообщение(ий)):
Ваша группа не позволяет просмотреть скрытую информацию.
есть генератор сайтмап ...
Grinkoff вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Dino_ak47 (26.02.2009)
Старый 26.02.2009, 18:54   #5
 
Аватар для Dino_ak47
 
Сообщений: 22
FR (активность): 583

Доп. информация
По умолчанию Автор темы Ответ: Как правильно составить Robots.txt?

О спс, а я тут у вас на сайте как раз вычитывал о том как его сделать. СПС за ссылку.
Dino_ak47 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 26.02.2009, 20:43   #6
 
Аватар для Dusty
 
Сообщений: 295
FR (активность): 5,774

Доп. информация
По умолчанию Ответ: Как правильно составить Robots.txt?

Я пришел к выводу что карту сайта в формате xml - легче сделать вручную
Dusty вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Dino_ak47 (26.02.2009)
Старый 26.02.2009, 21:42   #7
 
Аватар для Лео
 
Сообщений: 92
FR (активность): 1,529

Доп. информация
По умолчанию Ответ: Как правильно составить Robots.txt?

Цитата:
Сообщение от Dusty Посмотреть сообщение
Я пришел к выводу что карту сайта в формате xml - легче сделать вручную
а чем сканить скажем 20 000 страниц? о_0 Ручками вносить очень долго...
Лео вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Dino_ak47 (26.02.2009)
Старый 26.02.2009, 22:09   #8
 
Аватар для Dino_ak47
 
Сообщений: 22
FR (активность): 583

Доп. информация
По умолчанию Автор темы Ответ: Как правильно составить Robots.txt?

Я пока что и сгенерировать то толком не могу. вот кумекаю
Dino_ak47 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 26.02.2009, 22:16   #9
 
Аватар для Лео
 
Сообщений: 92
FR (активность): 1,529

Доп. информация
По умолчанию Ответ: Как правильно составить Robots.txt?

Dino_ak47, как-то бродил по сети и видел "типа" бесплатные сервисы по генерации sitemap, но у них ограничение на какое-то количество ссылок. А кто хочет больше, конечно же нужно сделать "вклад в развитие проекта" й*
Лео вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Dino_ak47 (26.02.2009)
Старый 26.02.2009, 22:21   #10
 
Аватар для Dino_ak47
 
Сообщений: 22
FR (активность): 583

Доп. информация
По умолчанию Автор темы Ответ: Как правильно составить Robots.txt?

Это конечно хорошо, но я пока что сам попробую, надо все-таки по учиться самому. если не получиться, то рассмотрю твое предложение.
Dino_ak47 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 26.02.2009, 22:35   #11
 
Аватар для Лео
 
Сообщений: 92
FR (активность): 1,529

Доп. информация
По умолчанию Ответ: Как правильно составить Robots.txt?

http://www.google.com.ua/search?q=sitemap+generator сам не пользовался, не было необходимости
Лео вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Dino_ak47 (26.02.2009)
Старый 26.02.2009, 22:51   #12
 
Аватар для Dino_ak47
 
Сообщений: 22
FR (активность): 583

Доп. информация
По умолчанию Автор темы Ответ: Как правильно составить Robots.txt?

я так понял, генерация у всех стандартная. главное правильно подобрать ссылки
Dino_ak47 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 26.02.2009, 23:03   #13
 
Аватар для Лео
 
Сообщений: 92
FR (активность): 1,529

Доп. информация
По умолчанию Ответ: Как правильно составить Robots.txt?

Dino_ak47, если ты про структуру, то да... она одинакова. А вот по подбору ссылок "правильно" я без понятия Пока что действую по принципу пещерного человека: чем больше тем лучше й*
Лео вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 26.02.2009, 23:20   #14
 
Аватар для Dino_ak47
 
Сообщений: 22
FR (активность): 583

Доп. информация
По умолчанию Автор темы Ответ: Как правильно составить Robots.txt?

Так вот и я тож самое ща мучу
Dino_ak47 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 27.02.2009, 01:04   #15
 
Аватар для komyak
 
Сообщений: 1,178
FR (активность): 31,654

Доп. информация
По умолчанию Ответ: Как правильно составить Robots.txt?

Я конечно дико извиняюсь, что вклиниваюсь в Ваш разговор. Но зачем Вы снова придумываете велосипед? С этим каждый сталкивались и именно для этого здесь выложены специальные программы. Зайдите в раздел "Софт оптимизатора"и выберите себе программу.


Сео
komyak вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Dino_ak47 (27.02.2009)
Ответ

Метки
robots.txt, индексация сайта

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции
Внимание!
Этой теме более 3208 дней. Вы можете оставить сообщение здесь. Но, обращаем внимание. Возможно, рациональней создать новую тему (найти свежее обсуждение)?


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
вопрос про robots.txt Customizer Индексация сайта 30 22.08.2013 10:13
Robots.txt Anaksagor Индексация сайта 5 17.09.2009 14:17
Вопрос по robots.txt mumitroll Беседка 0 23.07.2009 15:26
Использование robots.txt specialist-seo Разработка сайтов 0 07.04.2009 15:16
Microsoft vs Google. Может ли Микрософт составить реальную конкуренцию Гуглу? egonika8m Другие поисковые системы 50 22.08.2008 01:52

Текущее время: 23:45. Часовой пояс GMT +3.