Вернуться   SEO форум - оптимизация и продвижение сайтов > SEO инструменты > Софт оптимизатора, SEO утилиты

Важная информация
Софт оптимизатора, SEO утилиты - Программы - создание, оптимизация, раскрутка и продвижение сайта. Софт для вКонтакте, Twitter, Facebook...

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 01.10.2009, 12:57   #1
 
Аватар для Smartpk
 
Сообщений: 50
FR (активность): 2,602

Доп. информация
По умолчанию Автор темы Парсим каталоги. Необходимый софт + инструкция.

Решил написать для пользователей сео-кафе, как собрать свою базу каталогов. Есть конечно несколько вариантов:
1. Накупить и накачать различных баз, закидать всё в одну кучу, а потом гонять по ним сайт.
2. Своровать готовую базу у кого-то другого.
3. Набрать в гугле "Каталог сайтов" и руками все ссылочки складывать в отдельный файлик.
4. Взять в руки парсер, по специальным запросам собрать базу каталогов, а затем уже работать с ней.

Вот четыре основных варианта. Разберу каждый:
Первый - Не вариант, денег нет, а во фришных базах какашек много. Второй - А если бог накажет?
Третий - Руки отсохнут, это сколько лет я буду базу в несколько тысяч каталогов собирать?
Четвёртый - Хороший вариант, время экономит, мозг не сушит, да и каталогов больше собрать можно. Главное все свежие!

Значит буду рассматривать четвёртый вариант.
Парсить мы будем гугл, т.к. в гугле есть возможность парсинга по части урла (зависит от движка каталога).
Значит необходим парсер гугла и база запросов. Поехали по порядку.
Цитата:
GoogPars 1.1

GoogPars - десктопный парсер выдачи Google. Сохраняет базу в txt-формате. Выдает заданное количество результатов поиска. Парсит с любой страницы до конца выдачи. Не берет ссылки на сам Google - только на результаты поиска.
Ищем внизу ссылку на прогу, а пока качается читаем дальше...
Прога есть, нужна база запросов. Как я уже говорил гугл может парсить по части урла, из спец. значений составлена база запросов для каталогов, досок объявлений, гостевух - всё это ищем внизу, качаем и читаем дальше.
Открываем наш гуглопарс.

Смотрим. Там есть в окошке надпись "Введите сюда Ваш запрос" Берём один запросик из скачаной базы, жмём кнопку "Заслать", ждём когда прогрузиться страничка в правом окне, а потом нажимаем слева кнопку "Парсить". После того всё по этому запросу будет спарсено вводим следующий запрос, и т.д. ВНИМАНИЕ: Если гоглопарс выводит капчу вводим её и продолжаем работу. И ни каких проксей не надо, и база получается приличная. Потом когда напарситесь жмите на кнопку сохранить результаты и сохраняйте. Это всё! Всё так просто! Удачи!
Вложения
Тип файла: rar GoogPars1.1.rar (266.2 Кб, 350 просмотров)
Тип файла: txt Запросы.txt (21.9 Кб, 347 просмотров)


http://rombb.ru/ Создать форум бесплатно Бесплатный хостинг форумов
Smartpk вне форума  
Сказавших "Спасибо!": 15 (показать список)
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.10.2009, 13:56   #2
 
Аватар для ludor
 
Сообщений: 17
FR (активность): 160

Доп. информация
По умолчанию Ответ: Парсим каталоги. Необходимый софт + инструкция.

идея не нова, но за старания спасибо. Пользовался раньше другой парсеркой - попробую эту
ludor вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.10.2009, 14:10   #3
 
Аватар для x997
 
Сообщений: 2,205
FR (активность): 70,735

Доп. информация
По умолчанию Ответ: Парсим каталоги. Необходимый софт + инструкция.

а разве не проще сразу аллсабом парсить ?


Говорят,что я такое же быдло как и все!!! ха ... Господа хорошие,для системы ценностей большенства людей , Я ЗНАЧИТЕЛЬНО ХУЖЕ!!!
внимание! существенная часть того что я пишу, может оказаться сарказмом!
x997 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.10.2009, 17:04   #4
 
Аватар для Smartpk
 
Сообщений: 50
FR (активность): 2,602

Доп. информация
По умолчанию Автор темы Ответ: Парсим каталоги. Необходимый софт + инструкция.

У меня алсабом гугл плохо парсится, и алсаб капчу выводить не умеет, да и медленее чем гуглопарс.


http://rombb.ru/ Создать форум бесплатно Бесплатный хостинг форумов
Smartpk вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 01.10.2009, 23:08   #5
 
Аватар для weranda
 
Сообщений: 37
FR (активность): 1,198

Доп. информация
По умолчанию Ответ: Парсим каталоги. Необходимый софт + инструкция.

Ребята, подскажите! Как парсить аллсабом базу каталогов??? Только узнал!
weranda вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 02.10.2009, 17:03   #6
 
Аватар для Smartpk
 
Сообщений: 50
FR (активность): 2,602

Доп. информация
По умолчанию Автор темы Ответ: Парсим каталоги. Необходимый софт + инструкция.

Заходишь в базу каталогов. Сверху слева есть кнопочка добавить с SE вот на неё и жми, далее разберёшься.


http://rombb.ru/ Создать форум бесплатно Бесплатный хостинг форумов
Smartpk вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 02.10.2009, 19:13   #7
 
Аватар для Турист
 
Сообщений: 1,153
FR (активность): 55,915

Доп. информация
По умолчанию Ответ: Парсим каталоги. Необходимый софт + инструкция.

Цитата:
Парсить мы будем гугл, т.к. в гугле есть возможность парсинга по части урла
Ай да ну! А ты попробуй в яше это применить и удивишься, но все работает. Вы эти посты пишите с чужих статей что-ли?
Цитата:
алсаб капчу выводить не умеет
а это что за ерунда? Очень даже легко выводит.




Турист вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Smartpk (03.10.2009)
Старый 02.10.2009, 21:17   #8
 
Аватар для x997
 
Сообщений: 2,205
FR (активность): 70,735

Доп. информация
По умолчанию Ответ: Парсим каталоги. Необходимый софт + инструкция.

отлично аллсаб распознает все. достаточно прикрутить антикапчу


Говорят,что я такое же быдло как и все!!! ха ... Господа хорошие,для системы ценностей большенства людей , Я ЗНАЧИТЕЛЬНО ХУЖЕ!!!
внимание! существенная часть того что я пишу, может оказаться сарказмом!
x997 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 03.10.2009, 01:03   #9
 
Аватар для Hanacuk
 
Сообщений: 122
FR (активность): 4,170

Доп. информация
По умолчанию Ответ: Парсим каталоги. Необходимый софт + инструкция.

Вот я спарсил сайты, что далее нужно сделать в алсабе для авторегестраций ?


Мальчик с девочкой в траве занимались ctrl+v, всё закончилось в момент ENTER, ENTER - ctrl+end
Hanacuk вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 03.10.2009, 13:18   #10
 
Аватар для AlexeyOrloff
 
Сообщений: 1,483
FR (активность): 33,717

Доп. информация
По умолчанию Ответ: Парсим каталоги. Необходимый софт + инструкция.

Добавление каталога к Smart
Предположим у нас есть база с одиним каталогом.
1. Нажимаем вперед URL.
2. Программа открыла страницу и заполнила все поля.
3. Нажимаем добавить.
4. Копируем текст в буфер обмена “Ваше сообщение отправлено” Вставляем его в поле “Результат успешной регистрации (строка)”
Сделать это можно двумя методами.
1) Нажать на панели задач кнопку Ред. URL.
2) Нажать вперед URL.
5. Выбираем вариант №2 вставляем текст.
6. Ставим галочку автоматическая регистрация. данные пункт не обязателен, только если вы хотите добавить этот каталог и в автоматическую регистрацию
7. Выбираем статус регистрации “Успешно”
Все теперь данный каталог готов для smart регистрации и для автоматической регистрации.
*Информация по работе со Smart взята с официального форума программы AllSubmitter.
AlexeyOrloff вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Hanacuk (03.10.2009), lancer (25.11.2009), x997 (19.10.2009)
Старый 03.10.2009, 16:36   #11
 
Аватар для Smartpk
 
Сообщений: 50
FR (активность): 2,602

Доп. информация
По умолчанию Автор темы Ответ: Парсим каталоги. Необходимый софт + инструкция.

Цитата:
Сообщение от Турист Посмотреть сообщение
Ай да ну! А ты попробуй в яше это применить и удивишься, но все работает. Вы эти посты пишите с чужих статей что-ли?
Я читал разные, разбирался, но я раньше пользовался AGGRESS, гоулопарс мне больше понравился... Спасибо, что про яндекс намекнули, действительно пашет inurl, а всё, что читал про гугл было.

Цитата:
Сообщение от Турист Посмотреть сообщение
а это что за ерунда? Очень даже легко выводит.
Мой крякнутый алсаб не выводит вроде.


http://rombb.ru/ Создать форум бесплатно Бесплатный хостинг форумов
Smartpk вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 08.10.2009, 22:17   #12
 
Аватар для agata87
 
Сообщений: 4
FR (активность): 59

Доп. информация
По умолчанию Ответ: Парсим каталоги. Необходимый софт + инструкция.

За Запросы.txt спасибо, а остальное в 5 строк пишется на баше.
agata87 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 10.10.2009, 15:03   #13
 
Аватар для agata87
 
Сообщений: 4
FR (активность): 59

Доп. информация
По умолчанию Ответ: Парсим каталоги. Необходимый софт + инструкция.

Ну вот и bash-скриптик, получился немного больше, чем на 5 строк
- автоматически считывает все строки из файла Запросы.txt
- строка запроса может быть любой, т.е. гугл, яндекс и т.д.
- обработки капчи пока нет, поэтому делается пауза в 2 сек. между запросами
Вывод идет в файл ./sites
Запускать как ./parser.sh ./request.txt

parser.sh
Код:
#!/bin/bash

RequestsFilename=$1
ResPerPage=100
LastPageNum=1000000
UA="Mozilla/5.0 (Windows; U; Windows NT 6.0; en-US; rv:1.9.1.1) Gecko/20090715 Firefox/3.5.1"
mv ./sites ./sites`date +'%Y%m%d%H%M%S'`

while read Line
do

    LastPageSite=''

    echo "========================================= Processing line $Line"
    SearchString=$Line

    for Page in `seq 0 $ResPerPage $LastPageNum`;
    do
        Query="http://www.google.com/search?hl=en&q=$SearchString&sa=Y&num=$ResPerPage&start=$Page"
        wget -O./searchresult --user-agent="$UA" "$Query"
        sed s/class=ls//g ./searchresult | sed s/class=l/class=l\\n/g > ./searchresult2
        Sites=(`grep "class=l" ./searchresult2 | perl -ne '$_=~s/.*<a href="(.*)".*class=l.*/$1/; print $_;'`)
        if [ "${Sites[0]}" == "$LastPageSite" ]; then
            break
        fi
        LastPageSite=${Sites[0]}
        for ((i=0;i<${#Sites[@]};i++))
        do
            echo ${Sites[$i]} >> ./sites
        done
        sleep 2
    done

done < $RequestsFilename
agata87 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Smartpk (04.11.2009), specialist-seo (16.02.2011), x997 (19.10.2009)
Старый 19.10.2009, 16:26   #14
 
Аватар для Yriy
 
Сообщений: 24
FR (активность): 238

Доп. информация
По умолчанию Ответ: Парсим каталоги. Необходимый софт + инструкция.

День добрый - очень удобная программка. Парсить только начал - попадаются только "гостевухи" - каталоги позже?
Yriy вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 20.10.2009, 11:04   #15
 
Аватар для a1r
 
Сообщений: 53
FR (активность): 1,349

Доп. информация
По умолчанию Ответ: Парсим каталоги. Необходимый софт + инструкция.

Парсинг - это вершина айсберга в процессе поиска и отбора каталогов. Если кто-то думает что найдя подобный софт, правильно его настроив на поиск нужных запросов, он соберёт только то, что хочет видеть - вы ошибаетесь. Готовьтесь к долгой и кропотливой ручной работе.
a1r вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Метки
каталоги, парсер

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Инструкция дорвейщику Grinkoff Дорвеи и черное SEO 10 20.12.2010 10:33
Инструкция к пользованию Молдавской туалетной бумаги! Krokus Юмор 4 23.07.2009 19:27
Яндекс-антибан - красивая кнопочка или необходимый интсрумент? dobry Яndex 3 10.07.2009 09:25
Уникальная инструкция по размножению статей alexmoon Продвижение статьями 2 25.03.2009 12:40
Парсим кеи в реальном времени ksanf Софт оптимизатора, SEO утилиты 0 02.01.2009 23:46

Текущее время: 07:26. Часовой пояс GMT +3.