WebParser теперь на форуме SeoCafe, Парсер поисковых систем яндекс, гугл...

Добрый день уважаемые пользователи форума, я хочу вам представить программу WebParser.
Для тех кто не знает. WebParser - это программа которая поможет Вам в минимальные сроки собрать качественную базу ссылок с выдачи поисковых систем: яндекс, гугл, рамблер, Яху. В программе есть встроенный анализатор, вы сможете без труда собрать ссылки определенных CMS.
На данный момент программа анализирует такие CMS: DLE, WordPress, Joomla, uCoze, phpBB, Drupal, vBulletin, IPB, Yabb, 1c-Bitrix, Typo3, Amira.

Программу можно использовать для сбора баз для Xrumer, Allsubmitter для анализа внешних ссылок.

Для того чтобы получить скидку при покупке укажите на ваш ответ в данном топике.

С каждым новым обновлением цена программы будет повышаться.

Обновления бесплатны в пределах версии.

Внимание посетителям форума у кого есть 2 и более отзывов предоставим скидку в размере до 25%.

Также скидка будет предоставлена тем кто имеет Сео софт которому нужно собирать базы. Например: Аллсабмитер, Смартпостер и др.

Также можем предоставить скидку в замен на обзор в вашем блоге.

По всем вопросам можно писать в тех. поддержку либо здесь на форуме.

Какова цена программы????????

Цены от 20$ в зависимости от версии программы. Подробнее

пример какой ниб можно.
допустим по ключевику ролики конвейерные 50 первых сайтов можно списком увидеть. и видео как посмотреть как прога работает?

Вы можете скачать и установить демо версию программы.
Также отзывы есть и

Вот ссылка на скачку сайтов в Яндексе по вашему ключу

Небольшой мануал.

1. Закладка парсинг
2. Поисковые фразы
3. Вопрос: Глубже сотой страницы парсит в яндексе?

Все данные программы, опции, галочки сохраняются автоматически, т.е. раз настроив парсер, вам не нужно его настраивать повторно при следующем старте программы.

1. Закладка парсинг

1.1. Выбираем нужный поисковик галочкой
Для Google Search API (программа собирает ссылки с помощью гугл АПИ, этот инструмент дает 8 ссылок на странице и максимум 8 страниц - т.е. по фразе всего 64 ссылки)
Плюс в том что ссылки собираются быстро и нет каптчи.
Для ЯХУ тоже есть SEARCH API, но в связи с переходом yahoo на поисковой движек микрософта bing, данной функционал отключен.
В дальнейшем яху обещает его включить (но сбор ссылок уже будет платным - около $0.004 за ссылку)
Плюс в том что базы яху превосходят любые базы других поисковиков

Настройка поисковиков и добавление нового производится через меню
Спарвочники->Поисковые системы

1.2. Вводим поисковую фразу. Нажимаем поиск.
Производится поиск ссылок, найднные ссылки отправлются в левую колонку

Либо вводим несколько фраз на закладке "Поисковые фразы"
И нажимает "Начать парсинг поисковых фраз"
После пасринга фразы она удаляется из списка фраз.

1.3. Анализ ссылок.
Все ссылки в левой колонке "временные". Если ссылок слева немного то программа также отсекает идентичные ссылки.
Но когда их много отсечка отключается автоматом, чтобы не нагружать процессор, при этом отсечка дублей происходит во время их анализа
с помощью Анализаторов. Есть 2 вида исключения дублей:
1) Исключение полностью идентичных ссылок
2) Исключение ссылок в пределах домена (будут найдена первая ссылка по домену, при нахождении ссылки с данным доменом повторно, она не будет включена в список)

После анализа ссылок они автоматичнески добавляются в правый список.

1.4. Хранить проанализированные ссылки, и выполнять отсечку дублей между в 2х разных режимах.
1) Режим работы с файлами (настройки -> включите галочку режим работы с файлами). В настройках можно указать имя файла в котором хранить спислк сайтов.
2) Режим работы с БД (настройки -> отключите галочку режим работы с файлами), данный режим включен по умолчанию


1.5. Парсинг с использованием прокси.
Настройки -> Список прокси для парсинга посиковой системы
Если галочка отключена то парсинг идет с вашего локального IP
Если включена то из заданного списка прокси.

Нажимая редактировать список прокси видим форму.
Левый спсиок - список рабочих прокси, правый список - не рабочие прокси

В программу встроен прокси-чекер. Опции прокси чекера

1) Макс время отклика прокси при проверке в милисекундах.
При чекинге прокси, если она не отвечает в течении указанного времени, она будет занесена в черный список.

2) Проверять прокси перед использованием, если галочка включена и задано время, то при парсинге, если время последней проверки прокси было более
чем указанное число в миллисекундах, то будет выполнен его повторный чекинг. Если вы уверены в вашем прокси (например платные хорошие прокси), то данная опция вам не понадобится

3) Неактивность прокси при появлении каптчи. Если каптча для прокси найдена, то прокси будет не рабочей в течении указанного вреемни. Не советуем включать данную опцию если не особо понимаете ее смысл, т.к. практически для всех прокси нужен ввод каптчи хотя бы 1 раз.
Если включете опцию то может оказаться что все прокси были занесены в список ожидания, об этом программа вас проинформирует в логах.

Развеем мнения людей насчет прокси
Не используйте прокси с слабым локальным каналом интернет сети и публичными медленными прокси:
Все люди почему то считают, что чем больше прокси вы введете и выставите потоков для парсинга тем быстрее вы соберете базу ссылок.
Это ошибочное мнение, если у вас плохие прокси и слабый канал, то использование прокси не имеет смысла.
Почему сложилось такое мнение: дело в том что все парсеры (за исключение нашего) не умеют работаь с сессиями и кукисами, по крайней мере нет таких парсеров, которые бы хранили эти данные для каждой прокси, поэтому люди чтобы избежать бана и используют огромные списки прокси.
Наш парсер имеет уникальный движек, который хранит сессии для каждого IP адресаи эмулирует человеческое поведение.
Поэтому поисковая система не понимает что это парсер, если вы парсите ее с использованием разумного количества потоков
(рекумендуем использовать на одну поисковую систему не более 10 потоков). В результате вы получаете всего 1 каптчу на несколько тысяч запросов.
И это с задержкой в 50-80 милисекунд между запросам!
Выбрав 2 поисковика можем использовать уже 20 поисковых потоков.


А теперь выполним небольшой математический расчет.
Средняя публичная прокси выполняет запрос в течении 10-15 секунд
Это значит за 15 секунд в 15 потоков для 15 прокси вы обработаете 15 запросов,
т.е. в секунду 1.5 запросов с исп 15 проски.
Чтобы прокси не тормозили парсинг и выполняли 15 запросов в секунду вам нужно иметь
15 / 1.5 = 10, т.е. в 10 раз больше прокси и открытых потоков.
Получаем 150 потоков и 150 рабочих прокси.

Теперь если наш канал позволяет обработь всего навего 15 потоков, то зачем нам прокси?
Данную нагрузку программа выдержит без проблем, плюс ко всему от проски могут быть задержки, может быть потеряна выдача, просски может не поддерживать POST запросы.

Как написано выше 20 потоков для 2х поисковиков вполне реально. Даже 30 реально.
А 30 потоков с локалки = 300 прокси потоков.

И то врядли ваша сеть имеет такой входящий трафик средняя величина запроса GET к яндексу равна 50кб, к гуглу 60кб

Т.е. чтобы обработать 30 потоков вам надо иметь пропускную способность в ~ 30*50кб = 1500 килобайт/секунду
Что может позволит не каждый.
Тогда о чем тут говорить в 300 потоков прокси?

2. Поисковые фразы
----

3. Вопрос: Глубже сотой страницы парсит в яндексе?

Само по себе устройство поисковой системы таково, что глубже 1000й ссылки не возможно собрать выдачу яндекса, какая бы это не была программа. Есть только возможность крутить поисковую фразу с другими словами и параметрами, для получения большего количесвта ссылок по интересующей вас теме, примерно так работает BabloPars, крутит фразу по разным регионам от разных IP и за все даты, тоже самое умеет делать и WebParser, все что нужно задать доп фразы и сгенерировать запросы по дате.

Итак, в WebParser есть генератор поисковых фраз. Вы задаете поисковую фразу, шаблон и промежуток времени (дат) за который собрать выдачу, а он вам выдает поисковые фразы. Генератор поддерживает любой формат даты. Примеры шаблонов можно увидеть по кнопке Макро шаблоны справа вверху на форме Генератора фраз.

Например

GOOGLE (Use Julian Date):
inurl:{QUERY} daterange:{START_DATE}-{END_DATE}

YANDEX:
inurl:{QUERY} date:{START_DATE}..{END_DATE}


Получаем для гугла по фразе addnews.html

inurl:addnews.html daterange:2453737-2453747
inurl:addnews.html daterange:2453747-2453757
inurl:addnews.html daterange:2453757-2453767

Для яндекса

inurl:addnews.html date:20060101..20060111
inurl:addnews.html date:20060111..20060121
inurl:addnews.html date:20060121..20060131

Не забывает что для яндекса формат даты yyyymmdd, а для гугла это Юлианская дата
(в unix формате)

Прибавляя к фразам еще и Дополнительные фразы получаем всю выдачу яндекса или другого поисковика по интересующей фразе.
Например выбрав Группу допольнительных фраз "Форумы",
получим еще дополнительно 150 доп фраз

Это значит что каждая фраза крутится с 150 другими доп фразами:
фраза 1 + доп фраза 1
фраза 1 + доп фраза 2
...
фраза 2 + доп фраза 1
фраза 2 + доп фраза 2

Получается для разрезки на год, с периоднолм 1 день:
1 фраза = 150 доп фраз * 356 запросов по дате = 53400 запрсов

Вот и выходит что с одной фразы можно собрать столько что вам и не снилось даже, если крутить не за год а за 5 лет скажем.
Разумеется фразы в которых мало ссылок просто не имеет смысла крутить таким образом.

Максимальная скидка полученная таким образом 25%

Пользуюсь данной программой. Нареканий нет. Работает великолепно. С поставленными задачами справляется на "ура". Разработчики оказывают поддержку все замечания учитываются в новых версиях, что радует это то, что данная програма уже вполне обогнала Хрефер, разработчики на достигнутом не останавливаются, каждый месяц - выходит новая версия с учетом пожеланий пользователей. Цена себе оправдывает 100%

После парса возможно ли разделение по базам автоматически? Автосохранение в процессе? Антикапча? При обрыве(сбой компа, отключение от инета) работа начинается с начала или с момента обрыва? Расписание(хочется дать кучу запросов и забыть на пару дней)? Таймаут?
Есть репутация на форуме, есть аллсаб и хрумак.
Какую скидку можете дать?

Добавлено через 2 минуты
Улыбнуло:
Дополнительный функционал
включенный в версию WebParser + SQL-
Injections

Если необходимо разделение по базам автоматом, то для этого есть режим записи в БД, для каждой ссылки хранится информация к какой CMS она относится, можно отфильтровать записи по любым параметрам. Есть экспорт испорт из БД. Если это не нужно можно использовать режим работы с файлами.

В программе полное автосохранение, жвсех ссылок и всех галочек и параметров. Антикаптча для Antigate и расслок по DLE.

При обрыве связи, выключении компа или программы, программа продолжитт парсинг с последней фразы. Во время парсинга обработанная фраза удаляется из списка.

В программе есть закладка список поисковых фраз, вбиваем туда фразы, сворачиваем парсер и забываем о нем.

Таймаут есть для каждого поискового запроса.

Насчет скидки пишите в icq или на почту, контакты найдете на официальном сайте.

Можем дать серьезную скидку на версию с SQL инъекциями, цена такая на сайте, чтобы отсечь всяких школьников, для поиска таких баз.

В асе молчок. ТС ответьте хоть здесь.

да .. пишите в icq 240-600-072

Друзья, рады вам сообщить, что программа обновилась до версии 2.7.2 build 5 исправлены мелкие баги. Просьба обновится всех до актуальной версии.

Спасибо, за то что используете наш софт. Мы это ценим и стараемся сделать его еще качественее для вас.

Ввиду того что разработчику п0х, может мне кто ответит здесь?
Такой ответ не подходит:
На офсайте не увидел нужную мне инфу, а качать и разбираться, что бы в итоге увидеть что она мне не подходит... Извините уж, если Вам нечего делать...

Сорри, но только руки дошли посмотреть что Вы мне написали.. Вот это и ссыиграло на написание данного поста.

Читайте внимательно мое сообщение насчет обращения в ICQ на данном форуме, адресованное лично вам:

Насчет скидки пишите в icq или на почту, контакты найдете на официальном сайте.

Здесь не сказано - что мое ICQ - справочное бюро.
Для этого есть служба поддержки.

В ICQ же я вас попросил мне написать, чтобы сообщить вам вашу личную скидку и не писать это на форуме.

Читайте внимательно страницу покупки и описание программы, которой вы заинтересовались, где расписаны сроки работы лицензии и весь функционал программы по пунктам для каждой версии .
А покупать кота в мешке, и сам никогда не стану. Именно для подробного знакомства с нашей программы и создана триал-версия.

Напоминаем, что консультация по программе у нас платная. Именно консультация - а не тех поддержка.

Цитата: "Извините уж, если Вам нечего делать..."
Как раз таки и есть что делать, именно поэтому и послал вас на страницу покупки. Т.к. это не моя работа - отвечать на вопросы лентяев!

П.С.: Раздел покупки находится слева в меню.

Добавлено через 7 минут
После оплаты, вы автоматически получите ключ к программе, сроком на 1 год. 1 ключ - 1 компютер, при смене компьютера, воспользуйтесь сервисом разблокировки.
Обновления программы бесплатны. Продление лицензии = 50% ее стоимости. на момент продления

Настройки поисковиков и признаки CMS можно изменять самому. Добавлять свои. Антигейт подключен.