Вернуться   SEO форум - оптимизация и продвижение сайтов > Интернет-seo рынок > Рынок - основной > Программы, движки

Важная информация
Программы, движки - SEO софт, движки, скрипты. Лицензии, ключи к софту...

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 12.10.2011, 17:05   #1
 
Аватар для Angelys
 
Сообщений: 16
FR (активность): 910

Доп. информация
Хорошо Автор темы WebParser теперь на форуме SeoCafe, Парсер поисковых систем яндекс, гугл...



Добрый день уважаемые пользователи форума, я хочу вам представить программу WebParser.
Для тех кто не знает. WebParser - это программа которая поможет Вам в минимальные сроки собрать качественную базу ссылок с выдачи поисковых систем: яндекс, гугл, рамблер, Яху. В программе есть встроенный анализатор, вы сможете без труда собрать ссылки определенных CMS.
На данный момент программа анализирует такие CMS: DLE, WordPress, Joomla, uCoze, phpBB, Drupal, vBulletin, IPB, Yabb, 1c-Bitrix, Typo3, Amira.

Программу можно использовать для сбора баз для Xrumer, Allsubmitter для анализа внешних ссылок.

Для того чтобы получить скидку при покупке укажите на ваш ответ в данном топике.

С каждым новым обновлением цена программы будет повышаться.

Обновления бесплатны в пределах версии.

Внимание посетителям форума у кого есть 2 и более отзывов предоставим скидку в размере до 25%.

Также скидка будет предоставлена тем кто имеет Сео софт которому нужно собирать базы. Например: Аллсабмитер, Смартпостер и др.

Также можем предоставить скидку в замен на обзор в вашем блоге.

По всем вопросам можно писать в тех. поддержку либо здесь на форуме.
Скрытый (как скрывать?) текст. Только для группы: "Новичок":
Ваша группа не позволяет просмотреть скрытую информацию.
Angelys вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 12.10.2011, 17:08   #2
 
Аватар для vicherep
 
Сообщений: 405
FR (активность): 5,887

Доп. информация
По умолчанию Re: WebParser теперь на форуме SeoCafe, Парсер поисковых систем яндекс, гугл...

Цитата:
Сообщение от Angelys Посмотреть сообщение
Внимание посетителям форума у кого есть 2 и более отзывов предоставим скидку в размере до 30-40%.

Также скидка будет предоставлена тем кто имеет Сео софт которому нужно собирать базы. Например: Аллсабмитер, Смартпостер и др.
Какова цена программы????????


Продвигай свой сайт и зарабатывай на нЁм Софт для раскрутке Вконтакте
vicherep вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 12.10.2011, 17:11   #3
 
Аватар для Angelys
 
Сообщений: 16
FR (активность): 910

Доп. информация
По умолчанию Автор темы Re: WebParser теперь на форуме SeoCafe, Парсер поисковых систем яндекс, гугл...

Цитата:
Сообщение от vicherep Посмотреть сообщение
Какова цена программы????????
Цены от 20$ в зависимости от версии программы. Подробнее
Скрытый (как скрывать?) текст. Только для группы: "Новичок":
Ваша группа не позволяет просмотреть скрытую информацию.
Angelys вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 12.10.2011, 17:47   #4
 
Аватар для psychomonkey
 
Сообщений: 1,627
FR (активность): 40,550

Доп. информация
По умолчанию Re: WebParser теперь на форуме SeoCafe, Парсер поисковых систем яндекс, гугл...

пример какой ниб можно.
допустим по ключевику ролики конвейерные 50 первых сайтов можно списком увидеть. и видео как посмотреть как прога работает?
psychomonkey вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 12.10.2011, 18:06   #5
 
Аватар для Angelys
 
Сообщений: 16
FR (активность): 910

Доп. информация
Хорошо Автор темы Re: WebParser теперь на форуме SeoCafe, Парсер поисковых систем яндекс, гугл...

Цитата:
Сообщение от psychomonkey Посмотреть сообщение
как посмотреть как прога работает?
Вы можете скачать и установить демо версию программы.
Также отзывы есть
Скрытый (как скрывать?) текст. Только для группы: "Новичок":
Ваша группа не позволяет просмотреть скрытую информацию.
и
Скрытый (как скрывать?) текст. Только для группы: "Новичок":
Ваша группа не позволяет просмотреть скрытую информацию.


Вот ссылка на скачку сайтов в Яндексе по вашему ключу
Скрытый (как скрывать?) текст. Только для группы: "Новичок":
Ваша группа не позволяет просмотреть скрытую информацию.
Angelys вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 12.10.2011, 21:20   #6
 
Аватар для cybermake
 
Сообщений: 0
FR (активность): 105

Доп. информация
По умолчанию Re: WebParser теперь на форуме SeoCafe, Парсер поисковых систем яндекс, гугл...

Небольшой мануал.

1. Закладка парсинг
2. Поисковые фразы
3. Вопрос: Глубже сотой страницы парсит в яндексе?


Все данные программы, опции, галочки сохраняются автоматически, т.е. раз настроив парсер, вам не нужно его настраивать повторно при следующем старте программы.

1. Закладка парсинг

1.1. Выбираем нужный поисковик галочкой
Для Google Search API (программа собирает ссылки с помощью гугл АПИ, этот инструмент дает 8 ссылок на странице и максимум 8 страниц - т.е. по фразе всего 64 ссылки)
Плюс в том что ссылки собираются быстро и нет каптчи.
Для ЯХУ тоже есть SEARCH API, но в связи с переходом yahoo на поисковой движек микрософта bing, данной функционал отключен.
В дальнейшем яху обещает его включить (но сбор ссылок уже будет платным - около $0.004 за ссылку)
Плюс в том что базы яху превосходят любые базы других поисковиков

Настройка поисковиков и добавление нового производится через меню
Спарвочники->Поисковые системы

1.2. Вводим поисковую фразу. Нажимаем поиск.

Производится поиск ссылок, найднные ссылки отправлются в левую колонку

Либо вводим несколько фраз на закладке "Поисковые фразы"
И нажимает "Начать парсинг поисковых фраз"
После пасринга фразы она удаляется из списка фраз.

1.3. Анализ ссылок.
Все ссылки в левой колонке "временные". Если ссылок слева немного то программа также отсекает идентичные ссылки.
Но когда их много отсечка отключается автоматом, чтобы не нагружать процессор, при этом отсечка дублей происходит во время их анализа
с помощью Анализаторов. Есть 2 вида исключения дублей:
1) Исключение полностью идентичных ссылок
2) Исключение ссылок в пределах домена (будут найдена первая ссылка по домену, при нахождении ссылки с данным доменом повторно, она не будет включена в список)

После анализа ссылок они автоматичнески добавляются в правый список.

1.4. Хранить проанализированные ссылки, и выполнять отсечку дублей между в 2х разных режимах.
1) Режим работы с файлами (настройки -> включите галочку режим работы с файлами). В настройках можно указать имя файла в котором хранить спислк сайтов.
2) Режим работы с БД (настройки -> отключите галочку режим работы с файлами), данный режим включен по умолчанию


1.5. Парсинг с использованием прокси.
Настройки -> Список прокси для парсинга посиковой системы
Если галочка отключена то парсинг идет с вашего локального IP
Если включена то из заданного списка прокси.

Нажимая редактировать список прокси видим форму.
Левый спсиок - список рабочих прокси, правый список - не рабочие прокси

В программу встроен прокси-чекер. Опции прокси чекера

1) Макс время отклика прокси при проверке в милисекундах.
При чекинге прокси, если она не отвечает в течении указанного времени, она будет занесена в черный список.

2) Проверять прокси перед использованием, если галочка включена и задано время, то при парсинге, если время последней проверки прокси было более
чем указанное число в миллисекундах, то будет выполнен его повторный чекинг. Если вы уверены в вашем прокси (например платные хорошие прокси), то данная опция вам не понадобится

3) Неактивность прокси при появлении каптчи. Если каптча для прокси найдена, то прокси будет не рабочей в течении указанного вреемни. Не советуем включать данную опцию если не особо понимаете ее смысл, т.к. практически для всех прокси нужен ввод каптчи хотя бы 1 раз.
Если включете опцию то может оказаться что все прокси были занесены в список ожидания, об этом программа вас проинформирует в логах.

Развеем мнения людей насчет прокси
Не используйте прокси с слабым локальным каналом интернет сети и публичными медленными прокси:
Все люди почему то считают, что чем больше прокси вы введете и выставите потоков для парсинга тем быстрее вы соберете базу ссылок.
Это ошибочное мнение, если у вас плохие прокси и слабый канал, то использование прокси не имеет смысла.
Почему сложилось такое мнение: дело в том что все парсеры (за исключение нашего) не умеют работаь с сессиями и кукисами, по крайней мере нет таких парсеров, которые бы хранили эти данные для каждой прокси, поэтому люди чтобы избежать бана и используют огромные списки прокси.
Наш парсер имеет уникальный движек, который хранит сессии для каждого IP адресаи эмулирует человеческое поведение.
Поэтому поисковая система не понимает что это парсер, если вы парсите ее с использованием разумного количества потоков
(рекумендуем использовать на одну поисковую систему не более 10 потоков). В результате вы получаете всего 1 каптчу на несколько тысяч запросов.
И это с задержкой в 50-80 милисекунд между запросам!
Выбрав 2 поисковика можем использовать уже 20 поисковых потоков.


А теперь выполним небольшой математический расчет.
Средняя публичная прокси выполняет запрос в течении 10-15 секунд
Это значит за 15 секунд в 15 потоков для 15 прокси вы обработаете 15 запросов,
т.е. в секунду 1.5 запросов с исп 15 проски.
Чтобы прокси не тормозили парсинг и выполняли 15 запросов в секунду вам нужно иметь
15 / 1.5 = 10, т.е. в 10 раз больше прокси и открытых потоков.
Получаем 150 потоков и 150 рабочих прокси.

Теперь если наш канал позволяет обработь всего навего 15 потоков, то зачем нам прокси?
Данную нагрузку программа выдержит без проблем, плюс ко всему от проски могут быть задержки, может быть потеряна выдача, просски может не поддерживать POST запросы.

Как написано выше 20 потоков для 2х поисковиков вполне реально. Даже 30 реально.
А 30 потоков с локалки = 300 прокси потоков.

И то врядли ваша сеть имеет такой входящий трафик средняя величина запроса GET к яндексу равна 50кб, к гуглу 60кб

Т.е. чтобы обработать 30 потоков вам надо иметь пропускную способность в ~ 30*50кб = 1500 килобайт/секунду
Что может позволит не каждый.
Тогда о чем тут говорить в 300 потоков прокси?

2. Поисковые фразы
----

3. Вопрос: Глубже сотой страницы парсит в яндексе?

Само по себе устройство поисковой системы таково, что глубже 1000й ссылки не возможно собрать выдачу яндекса, какая бы это не была программа. Есть только возможность крутить поисковую фразу с другими словами и параметрами, для получения большего количесвта ссылок по интересующей вас теме, примерно так работает BabloPars, крутит фразу по разным регионам от разных IP и за все даты, тоже самое умеет делать и WebParser, все что нужно задать доп фразы и сгенерировать запросы по дате.

Итак, в WebParser есть генератор поисковых фраз. Вы задаете поисковую фразу, шаблон и промежуток времени (дат) за который собрать выдачу, а он вам выдает поисковые фразы. Генератор поддерживает любой формат даты. Примеры шаблонов можно увидеть по кнопке Макро шаблоны справа вверху на форме Генератора фраз.

Например

GOOGLE (Use Julian Date):
inurl:{QUERY} daterange:{START_DATE}-{END_DATE}

YANDEX:
inurl:{QUERY} date:{START_DATE}..{END_DATE}


Получаем для гугла по фразе addnews.html

inurl:addnews.html daterange:2453737-2453747
inurl:addnews.html daterange:2453747-2453757
inurl:addnews.html daterange:2453757-2453767

Для яндекса

inurl:addnews.html date:20060101..20060111
inurl:addnews.html date:20060111..20060121
inurl:addnews.html date:20060121..20060131

Не забывает что для яндекса формат даты yyyymmdd, а для гугла это Юлианская дата
(в unix формате)

Прибавляя к фразам еще и Дополнительные фразы получаем всю выдачу яндекса или другого поисковика по интересующей фразе.
Например выбрав Группу допольнительных фраз "Форумы",
получим еще дополнительно 150 доп фраз

Это значит что каждая фраза крутится с 150 другими доп фразами:
фраза 1 + доп фраза 1
фраза 1 + доп фраза 2
...
фраза 2 + доп фраза 1
фраза 2 + доп фраза 2

Получается для разрезки на год, с периоднолм 1 день:
1 фраза = 150 доп фраз * 356 запросов по дате = 53400 запрсов

Вот и выходит что с одной фразы можно собрать столько что вам и не снилось даже, если крутить не за год а за 5 лет скажем.
Разумеется фразы в которых мало ссылок просто не имеет смысла крутить таким образом.
cybermake вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Angelys (12.10.2011)
Старый 14.10.2011, 16:42   #7
 
Аватар для cybermake
 
Сообщений: 0
FR (активность): 105

Доп. информация
По умолчанию Re: WebParser теперь на форуме SeoCafe, Парсер поисковых систем яндекс, гугл...

Цитата:
Сообщение от Angelys Посмотреть сообщение

Внимание посетителям форума у кого есть 2 и более отзывов предоставим скидку в размере до 30-40%.
Максимальная скидка полученная таким образом 25%
cybermake вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 14.10.2011, 23:03   #8
 
Аватар для evol22
 
Сообщений: 10
FR (активность): 0

Доп. информация
По умолчанию Re: WebParser теперь на форуме SeoCafe, Парсер поисковых систем яндекс, гугл...

Пользуюсь данной программой. Нареканий нет. Работает великолепно. С поставленными задачами справляется на "ура". Разработчики оказывают поддержку все замечания учитываются в новых версиях, что радует это то, что данная програма уже вполне обогнала Хрефер, разработчики на достигнутом не останавливаются, каждый месяц - выходит новая версия с учетом пожеланий пользователей. Цена себе оправдывает 100%
evol22 вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 15.10.2011, 10:08   #9
 
Аватар для komyak
 
Сообщений: 1,178
FR (активность): 31,654

Доп. информация
По умолчанию Re: WebParser теперь на форуме SeoCafe, Парсер поисковых систем яндекс, гугл...

После парса возможно ли разделение по базам автоматически? Автосохранение в процессе? Антикапча? При обрыве(сбой компа, отключение от инета) работа начинается с начала или с момента обрыва? Расписание(хочется дать кучу запросов и забыть на пару дней)? Таймаут?
Есть репутация на форуме, есть аллсаб и хрумак.
Какую скидку можете дать?

Добавлено через 2 минуты
Улыбнуло:
Дополнительный функционал
включенный в версию WebParser + SQL-
Injections


Сео
komyak вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 15.10.2011, 23:09   #10
 
Аватар для cybermake
 
Сообщений: 0
FR (активность): 105

Доп. информация
По умолчанию Re: WebParser теперь на форуме SeoCafe, Парсер поисковых систем яндекс, гугл...

Цитата:
Сообщение от komyak Посмотреть сообщение
После парса возможно ли разделение по базам автоматически? Автосохранение в процессе? Антикапча? При обрыве(сбой компа, отключение от инета) работа начинается с начала или с момента обрыва? Расписание(хочется дать кучу запросов и забыть на пару дней)? Таймаут?
Есть репутация на форуме, есть аллсаб и хрумак.
Какую скидку можете дать?

Добавлено через 2 минуты
Улыбнуло:
Дополнительный функционал
включенный в версию WebParser + SQL-
Injections
Если необходимо разделение по базам автоматом, то для этого есть режим записи в БД, для каждой ссылки хранится информация к какой CMS она относится, можно отфильтровать записи по любым параметрам. Есть экспорт испорт из БД. Если это не нужно можно использовать режим работы с файлами.

В программе полное автосохранение, жвсех ссылок и всех галочек и параметров. Антикаптча для Antigate и расслок по DLE.

При обрыве связи, выключении компа или программы, программа продолжитт парсинг с последней фразы. Во время парсинга обработанная фраза удаляется из списка.

В программе есть закладка список поисковых фраз, вбиваем туда фразы, сворачиваем парсер и забываем о нем.

Таймаут есть для каждого поискового запроса.

Насчет скидки пишите в icq или на почту, контакты найдете на официальном сайте.

Можем дать серьезную скидку на версию с SQL инъекциями, цена такая на сайте, чтобы отсечь всяких школьников, для поиска таких баз.
cybermake вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 17.10.2011, 12:32   #11
 
Аватар для komyak
 
Сообщений: 1,178
FR (активность): 31,654

Доп. информация
По умолчанию Re: WebParser теперь на форуме SeoCafe, Парсер поисковых систем яндекс, гугл...

В асе молчок. ТС ответьте хоть здесь.


Сео
komyak вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
"Спасибо" от:
Angelys (17.10.2011)
Старый 17.10.2011, 16:42   #12
 
Аватар для Angelys
 
Сообщений: 16
FR (активность): 910

Доп. информация
По умолчанию Автор темы Re: WebParser теперь на форуме SeoCafe, Парсер поисковых систем яндекс, гугл...

да .. пишите в icq 240-600-072
Angelys вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 18.10.2011, 11:22   #13
 
Аватар для Angelys
 
Сообщений: 16
FR (активность): 910

Доп. информация
По умолчанию Автор темы

Друзья, рады вам сообщить, что программа обновилась до версии 2.7.2 build 5 исправлены мелкие баги. Просьба обновится всех до актуальной версии.

Спасибо, за то что используете наш софт. Мы это ценим и стараемся сделать его еще качественее для вас.
Angelys вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 23.10.2011, 15:41   #14
 
Аватар для komyak
 
Сообщений: 1,178
FR (активность): 31,654

Доп. информация
По умолчанию

Ввиду того что разработчику п0х, может мне кто ответит здесь?
Цитата:
Что с привязками? На скольих компах могу пользовать?
Что с обновами?
И непонятно что же будет через год, в случае покупки?
Возможность добавлять свои поисковики?
Правка поисковика? Т.е. в случае смены диза мне придётся ждать Вас или могу сам изменить? (по принципу Хруфер)
Антигейт?
Такой ответ не подходит:
Цитата:
почитайте
3:34:05 почитайте функционал
3:34:11 что вы глупости спрашиваете
3:34:14 cybermake.ru
3:34:30 демо версия плюс ко всему есть
На офсайте не увидел нужную мне инфу, а качать и разбираться, что бы в итоге увидеть что она мне не подходит... Извините уж, если Вам нечего делать...

Сорри, но только руки дошли посмотреть что Вы мне написали.. Вот это и ссыиграло на написание данного поста.


Сео
komyak вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 24.10.2011, 11:54   #15
 
Аватар для cybermake
 
Сообщений: 0
FR (активность): 105

Доп. информация
Восклицание Читайте внимательно страницу покупки и описание программы

Цитата:
Сообщение от komyak Посмотреть сообщение
Ввиду того что разработчику п0х, может мне кто ответит здесь?


Такой ответ не подходит:


На офсайте не увидел нужную мне инфу, а качать и разбираться, что бы в итоге увидеть что она мне не подходит... Извините уж, если Вам нечего делать...

Сорри, но только руки дошли посмотреть что Вы мне написали.. Вот это и ссыиграло на написание данного поста.
Читайте внимательно мое сообщение насчет обращения в ICQ на данном форуме, адресованное лично вам:

Насчет скидки пишите в icq или на почту, контакты найдете на официальном сайте.

Здесь не сказано - что мое ICQ - справочное бюро.
Для этого есть служба поддержки.


В ICQ же я вас попросил мне написать, чтобы сообщить вам вашу личную скидку и не писать это на форуме.

Читайте внимательно страницу покупки и описание программы, которой вы заинтересовались, где расписаны сроки работы лицензии и весь функционал программы по пунктам для каждой версии .
А покупать кота в мешке, и сам никогда не стану. Именно для подробного знакомства с нашей программы и создана триал-версия.

Напоминаем, что консультация по программе у нас платная. Именно консультация - а не тех поддержка.

Цитата: "Извините уж, если Вам нечего делать..."

Как раз таки и есть что делать, именно поэтому и послал вас на страницу покупки. Т.к. это не моя работа - отвечать на вопросы лентяев!

П.С.: Раздел покупки находится слева в меню.

Добавлено через 7 минут
После оплаты, вы автоматически получите ключ к программе, сроком на 1 год. 1 ключ - 1 компютер, при смене компьютера, воспользуйтесь сервисом разблокировки.
Обновления программы бесплатны. Продление лицензии = 50% ее стоимости. на момент продления

Настройки поисковиков и признаки CMS можно изменять самому. Добавлять свои. Антигейт подключен.
cybermake вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Метки
паресер, парсер, парсер гугл, парсер поисковых систем, парсер яндекса

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Бесплатно: Список поисковых систем Sergei22531 Каталоги сайтов и базы 0 14.07.2011 13:44
Определение степени доверия поисковых систем к вашему СДЛ odaplus Анализ и обзор статистики 8 12.07.2011 02:48
WebParser - автоматический парсер контента (статей) CTXPRO Объявления 5 20.06.2011 18:13
AddSearch.ru - Добавление сайтов в индекс поисковых систем zuziken Софт оптимизатора, SEO утилиты 20 30.01.2011 03:24
Критерии вывода в ТОП поисковых систем vasya-t Раскрутка в общих чертах 2 09.02.2010 17:19

Текущее время: 08:29. Часовой пояс GMT +3.