Вернуться   SEO форум - оптимизация и продвижение сайтов > SEO инструменты > Софт оптимизатора, SEO утилиты

Важная информация
Софт оптимизатора, SEO утилиты - Программы - создание, оптимизация, раскрутка и продвижение сайта. Софт для вКонтакте, Twitter, Facebook...

Ответ
 
Опции темы Оценить тему Опции просмотра
Старый 09.03.2015, 10:11   #1
 
Аватар для A-Parser Support
 
Сообщений: 6
FR (активность): 331

Доп. информация
По умолчанию Автор темы A-Parser - многопоточный парсер поисковых систем...

A-Parser - многопоточный парсер поисковых систем, сервисов оценки сайтов, ключевых слов, контента(текст, ссылки, произвольные данные) и других различных сервисов(youtube, картинки, переводчик...), всего A-Parser содержит более 50 парсеров



A-Parser полностью решает рутинные задачи по получению, обработки и систематизации данных, необходимых для работы в следующих областях:
  • SEO-оптимизация сайтов и Web-аналитика
    • Сбор баз ссылок для XRumer, A-Poster, AllSubmitter, ZennoPoster...
    • Оценка сайтов и доменов по множеству параметров
    • Мониторинг позиции любых сайтов в поисковых системах
    • Сбор контента(текст, картинки, ролики) для генерации сайтов(дорвеев)
    • Отслеживание обратных ссылок
    • Сбор произвольной информации с любых сайтов(например телефоны/e-mails, сообщения с форумов, объявления...)
    • Сбор и оценка ключевых слов
    • Сбор списка обратных ссылок
    • И многое другое
  • Web-безопасность
    • Сбор и фильтрация баз ссылок по признакам
    • Определение CMS сайтов
    • Формирование произвольных GET, POST запросов с одновременной фильтрацией ответа
  • Сетевое администрирование
    • Работа с DNS службой - резолвинг доменов в IP адреса
    • Работа с Whois - дата регистрации и окончания регистрации доменов, name-cервера

A-Parser обладает следующими преимуществами:
  • Колоссальная производительность
    • Многопоточность - парсер способен распараллеливать сетевые операции до 5000-10000 потоков в зависимости от конфигурации компьютера и решаемой задачи
    • Продуманная внутренняя архитектура, в которую заложена производительность и расширяемость
    • Множественные оптимизации сложных операций
    • Парсер не требователен к ресурсам, может работать как на компьютере, так и на VDS или сервере, на операционных системах Windows, Linux или FreeBSD
  • Промышленные масштабы
    • Парсер разрабатывался с учетом работы с неограниченным размером данных
    • Способен обрабатывать сотни миллионов и миллиардов запросов
    • Размеры файлов запросов и результатов ничем не ограничены и могут достигать терабайтных значений
  • Автономность
    • A-Parser рассчитан на бесперебойную и беспрерывную работу без участия пользователя
    • Очередь заданий позволяет нагрузить парсер работой на недели и месяцы вперед
    • Одновременное выполнение нескольких разных задач для скорейшего получения результатов
  • Поддержка более 50 парсеров
    • Парсеры поисковых систем: Google, Yandex, AOL, Bing, Baidu, DuckDuckGo, MailRu, QIP, Seznam, Yahoo, YouTube
    • Парсеры подсказок поисковых систем: AOL, Google, Yandex, Bing, Yahoo
    • Парсеры и анализ ключевых слов: кейворды и частотность по Yandex.WordStat, в т.ч. по датам и регионам; частотность по Yandex.Direct; Google Trends
    • Регистрация аккаунтов: Yandex
    • Парсеры параметров сайтов и доменов: позиции в поисковых системах Google, Yandex, QIP; PageRank, TrustRank, Compromised, SafeBrowsing, LangDetect, LangDetect через Bing, тИЦ, Whois, DNS, CMS, Ahrefs, Alexa, Archive, Category, DMOZ, Linkpad, MajesticSEO, Mustat, OpenSiteExplorer, SEMrush
    • Парсеры различных сервисов: Bing Translator, Google Images, Bing Images, Google Maps, Yandex.Direct, AntiGate, SEO Ping
    • Парсеры контента: TextExtractor, TextExtractor LangDetect, LinkExtractor, BackLink, HTTP парсер для создания произвольных парсеров
  • Создание собственных парсеров
    • Использование регулярных выражений
    • Поддержка многостраничного парсинга
    • Проверка контента и наличия следующей страницы
  • Мощные инструменты для формирования запросов и результатов
    • Конструктор запросов и результатов - позволяет видоизменять данные(поиск и замена, выделение домена из ссылки, преобразования по регулярным выражениям...)
    • Подстановки для запросов: из файла; перебор слов, символов и цифр
    • Фильтрация результатов - по вхождению подстроки, равенству, больше\меньше
    • Уникализация результатов - по строке, по домену, по главному домену(A-Parser знает все домены верхнего уровня, в т.ч. такие как co.uk, msk.ru)
    • Мощный шаблонизатор результатов на основе Template Toolkit - позволяет выводить результаты в любом удобном виде(текстом, csv, html, xml, произвольный формат)
  • Гибкость настроек
    • В парсере используется система пресетов - для каждого парсера можно создать множество предустановленных настроек для различных ситуаций
    • Настроить можно все - никаких рамок и ограничений
    • Экспорт и импорт настроек позволяет легко обмениваться опытом с другими пользователями
  • Сетевые возможности
    • Поддержка HTTP/1.1 и HTTPS
    • Поддержка HTTP и SOCKS5 прокси, в т.ч. с авторизацией
    • Полностью асинхронная работа с сетью, в т.ч. с DNS
  • API
    • Возможность интегрировать и управлять парсером из своих программ и скриптов
    • Полная автоматизация бизнес-процессов
    • Клиенты для PHP, Perl и Python
  • Постоянные улучшения и исправления
    • Разработка парсера началась в 2011 году, а первый релиз вышел зимой 2012 года
    • С тех пор было выпущено более 70 новых версий, включающих множество улучшений и исправлений
    • A-Parser не останавливается в развитии, идет активная разработка, будет реализовано множество новых функций, в т.ч. по запросам от пользователей
  • Техническая поддержка
    • Мы прилагаем все усилия по поддержке пользователей и ответам на все возникающие вопросы
    • Создана подробная документация по A-Parser'у, открыт форум для пользователей
    • Специалист технической поддержки готов ответить любым удобным способом: ICQ, Skype, Jabber, GoogleTalk, e-mail и через форму онлайн связи на сайте
    • Разработчик A-Parser'а готов ответить на любые сложные и технические вопросы, также открыт к обсуждению улучшений и дополнений для парсера

Ознакомиться со всеми возможностями перед покупкой парсера можно в полноценной документации и онлайн демо версии A-Parser

A-Parser предоставляется в трех версиях, сравнительная таблица и стоимость лицензий:



Мы принимаем к оплате в автоматическом режиме все популярные платежные системы, такие как WebMoney, PayPal, Visa, MasterCard, Paxum, Яндекс.Деньги, QIWI, PerfectMoney, банковские переводы, терминалы оплаты и многое другое.
Для приобретения лицензии необходимо зарегистрироваться на сайте http://a-parser.com и перейти на страницу оплаты.
Если у вас возникли вопросы - обращайтесь по любым контактам в техническую поддержку
A-Parser Support вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 09.03.2015, 23:15   #2
 
Аватар для Monecle_Support
 
Сообщений: 2
FR (активность): 70

Доп. информация
По умолчанию

крутейший софт в умелых руках, давно используем


MONECLE.COM - ICQ: 260326660, Skype: monecle_support, Email: aff@monecle.com
Monecle_Support вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 27.03.2015, 06:15   #3
 
Аватар для A-Parser Support
 
Сообщений: 6
FR (активность): 331

Доп. информация
По умолчанию Автор темы

Оффтоп:
A-Parser - 1.1.224 - улучшенные возможности по уникализации результатов, множество исправлений

Все возможности новой версии можно протестировать в демо версии A-Parser

Улучшения
  • Добавлена возможность уникализировать результаты созданные с помощью Конструктора результатов
  • Добавлена возможность передавать дополнительные параметры на сервис распознавания каптчи(например специальные настройки для CapMonster)
  • В парсер SE::Bing::Images добавлена возможность отключить безопасный поиск
  • В парсер SE::YouTube добавлен фильтр по 4K видео
  • Добавлена возможность применять Конструктор запросов после подстановок запросов
  • В парсер SE::Bing добавлена возможность парсить связанные кейворды в глубину, автоматически подставляя новые кейворды в запросы(Parse to level)
  • Переработан выбор файлов запросов, теперь вложенные директории отображаются только при клике по ним

Исправления в связи с изменениями в выдачи
  • Исправлен парсер SE::Yandex::WordStat
  • Исправлен парсер SE::Yahoo
  • Исправлен парсер SE::AOL
  • Исправлен парсинг связанных ключевых слов в парсере SE::Bing
  • Исправлен парсинг времени последнего кэширования страницы в парсере SE::Yandex
  • Исправлен регистратор аккаунтов SE::Yandex::Register
  • Исправлен парсинг связанных ключевых слов в парсере SE::Yandex


Исправления
  • Некорректно работала опция сохранения переноса строк для Windows (CRLF)
  • Иногда задание могло зависнуть в состоянии pausing/stopping


Сообщение добавлено 05.05.2015 в 06:34

A-Parser - 1.1.247 - новые парсеры поисковиков Ask и Comcast, произвольные шаблоны в конструкторе результатов

Улучшения
  • В конструкторе результатов и фильтрах теперь возможно использовать произвольный шаблон в качестве аргумента для преобразования или фильтрации
  • В парсер SE::Yandex добавлена возможность выбора домена yandex.com для парсинга
  • Добавлен новый поисковик SE::Ask с американской выдачей Google
  • Добавлен новый поисковик SE::Comcast с американской выдачей Google
  • Добавлена статистика для завершенных заданий, а также отображение общего времени выполнения задания
  • Добавлен объект $request, который доступен при форматировании результата и позволяет извлечь любую информацию о текущем запросе, а также о всех редиректах выполненных перед конечным запросом
Исправления
  • Парсер мог заблокировать файл результата после завершения задания
  • Исправлена некорректная обработка <base href= в некоторых случаях
  • Парсер вылетал при использовании инструмента генерации произвольного User-Agent tools.ua.random() в тестовом парсинге
  • В быстром задании не работал выбор запросов из файла
  • Некорректно обрабатывался редирект с автоматическим выбором схемы(ссылки вида //domain.com/)

Исправления в связи с изменениями в выдачи
  • В парсере Rank::Alexa исправлен парсинг страны и регионального рейтинга
  • Улучшен парсинг тИЦ в парсере SE::Yandex::TIC
  • Исправлен парсер SE::Yahoo
  • Исправлено определение блокировки IP-адреса в парсере Rank::Ahrefs
  • Исправлен парсер SE::Yandex::WordStat::ByDate
  • Парсер Rank::Category перешел на семантический анализатор от Ашманова


Сообщение добавлено 19.05.2015 в 13:28

Программа LinkAParser - объединение функционала генератора PandoraBox и парсера A-Parser

С помощью данного софта задействованы основные возможности парсера A-Parser при генерации сайтов программой PandoraBox.

Обсуждение на форуме A-Parser'а и ссылка на сайт генератора

Применяет возможности А-Парсера для:
  • Парсинга релевантного текста
  • Парсинга релевантных картинок
  • Парсинга релевантных видео роликов

Понимает какие ключи уже обработаны и не парсит одно и тоже дважды
С программой идут готовые пресеты, которые достаточно импортировать и можно запускать генерацию
Спаршенные данные программа структурировано раскладывает в файлы и папки
Спаршенный текст программа чистит от мусора по множеству признаков

В комплекте с программой идет набор дополнительных макросов:
  • Макрос вывода релевантного текста с подмешанными ключами
  • Макрос вывода релевантного текста без ключей
  • Макрос вывода релевантной картинки
  • Макрос вывода релевантной картинки как локальной(проксирование скриптом)
  • Макрос вывода релевантного видео ролика
Для работы необходима лицензия парсера A-Parser Enterprise

Сообщение добавлено 29.05.2015 в 11:56

Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов

Итак, продолжаем серию статей с рецептами применения A-parser: комплексные примеры с одновременным использованием различного функционала парсера.

Проверяем наличие мобильной версии для 1000000 сайтов

Работаем с большими объемами данных и учимся искать совпадения в raw data.
  • за 8 часов работы данного задания мы узнали что почти 41% самых посещаемых сайтов не имеют мобильных версий. Кто знает, возможно обзаведясь мобильной версией, они стали бы еще более посещаемыми?

По списку запросов получаем страницы, CMS, PR, e-mail из whois

Комплексное задание, выполняемое в 2 этапа, в котором мы учимся работать с несколькими парсерами, регулярными выражениями, а также красиво выводим результаты во многоуровневые каталоги и несколько файлов.
  • на первом этапе используется 1 парсер, на втором - 3
  • в конструкторе результатов используется регулярное выражения для извлечения необходимой информации
  • результаты выводятся в виде вложенных папок и текстовых файлов по следующей схеме:
Код:
PR_1
     \Joomla
           \domain.com
                   contacts.txt
                   cache.txt
      \Drupal
      \WordPress
     \no CMS
PR_2
PR_3
Узнать позиции по кеям, как?

Знакомимся с парсером SE::Google:osition и проверяем на каком месте в поисковой выдачи находится ключевое слово.


Детальнее о самом парсере здесь.

Предыдущие сборники:
  • Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
  • Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов


Сообщение добавлено 02.06.2015 в 12:48

Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы

Очередной, 4-й выпуск сборника рецептов. Поехали!

Анализ выдачи гугла на наличие ключа в тайтле и дескрипшене

Пользуемся возможностями шаблонизатора Template Toolkit. Используем циклы и поиск. А также сохраняем разные результаты в разные файлы.

В данном примере осуществляется поиск ключа в анкорах и сниппетах, и в зависимости от результата, сохраняет их в 1 из 3 соответствующих файлов. Все подробности, а также сохранение в 4-ре файла по ссылке выше.

Парсинг товаров с сайта

Парсим интернет-магазин и формируем свою HTML-страницу с результатами.

Суть задания заключается в том, чтобы спарсить названия и характеристики товара из интернет-магазина, сохранив привязку к категории и фото товара. Как все это сделать - по ссылке выше.

Скачиваем файлы

Сохраняем на жесткий диск различные документы из поисковой выдачи, с определением их типа, а также возможностью формировать уникальное имя файла.

Ну а здесь нам необходимо парсить из выдачи Гугла ссылки на документы формата doc, xls и pdf. Так же необходимо скачивать данные документы, при этом обеспечить уникальность имени файла. Детали - по ссылке выше.

Предыдущие сборники:
  • Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
  • Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
  • Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов


Сообщение добавлено 18.06.2015 в 13:38

Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта

5-й выпуск сборника рецептов. Здесь мы научимся парсить ссылки из страниц, где их подгружает JS-скрипт, будем собирать паблик прокси и составлять карту сайта.

Подгрузка ссылок через JS
Есть очень много сайтов, где контент загружается специальным скриптом (AJAX). К примеру, это может быть поиск на сайте. И как спарсить с таких сайтов информацию? Ведь если посмотреть код страницы в браузере - то, к примеру, ссылки там есть, а парсер их не видит... Решение есть, и оно довольно не сложное. Как это сделать - по ссылке выше.


Сборщик паблик прокси: как лучше и насколько это эффективно
Всем известно, что в интернете есть очень много сайтов, где выкладывают публичные прокси (что это на Википедии). Если возникает необходимость в использовании таких прокси - появляется проблема в их сборе, при этом, естественно нужны только живые. Наверное так же известно, что используя А-парсер, можно их собирать. А вот как это делать и насколько это эффективно - читайте по ссылке выше.


Карта сайта с помощью A-parser
Карта сайта простыми словами - это XML-файл, который помогает поисковикам лучше индексировать сайт. Некоторые SEOшники считают ее отсутствие грубейшей ошибкой. Существует очень много сервисов и инструментов для создания таких карт, ну а мы попробуем создать ее с помощью A-parser. Что из этого получится, и как это делать - читайте по ссылке выше.


Предыдущие сборники:
  • Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
  • Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
  • Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
  • Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы


Сообщение добавлено 22.07.2015 в 12:31

A-Parser - версия 1.1.269 - получение списка задач по API, только мобильные для WordStat

Два месяца у нас работает профессиональный саппорт, который помогает составлять задания любой степени сложности. Доработана документация, регулярно появляются интересные решения на нашем форуме, которые теперь собраны в едином Каталоге примеров. Также создан большой FAQ, в котором собраны ответы на часто задаваемые вопросы.

Версия 1.1.269 является одной из последних в ветке 1.1.х, в скором времени будет доступна бета версия 1.2, которая принесет новый виток развития A-Parser, следите за новостями

Улучшения
  • Теперь по API можно получить список активных заданий, а также опционально список завершенных заданий
  • Для парсера SE::Yandex::WordStat добавлена возможность получать статистику только для мобильного трафика
  • В парсере HTML::LinkExtractor теперь обрабатываются только http(s) ссылки
  • При использовании автоопределения языка в парсере SE::Bing::Translator теперь можно вывести в результат язык исходного текста

Исправления в связи с изменениями в выдачи
  • Исправлен парсер SE::YouTube
  • Исправлен парсер Rank::MajesticSEO
  • Исправлен парсер SE::Ask
  • Исправлен парсер SE::Yandex
  • Исправлен парсер Rank::Ahrefs
  • Исправлен парсинг рекламных объявлений в SE::Google
  • Исправлен парсер Rank::Archive

Исправления

  • В парсере SE::Bing::Translator исправлен парсинг арабского языка
  • Парсер Net:: DNS не поддерживал кириллические домены
  • Исправлен парсинг подсказок в парсер SE::Google при использовании подстановок
  • Парсер SE::Yahoo использовал много CPU


Сообщение добавлено 04.08.2015 в 11:36

Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам

7-й выпуск сборника рецептов. Здесь мы рассмотрим вариант парсинга RSS, будем скачивать картинки в зависимости от их характеристик и научимся фильтровать результат по хедерам.

Парсинг RSS
На сегодняшний день RSS остаются довольно популярным вариантом доставки новостей и контента пользователям. В связи с этим его используют почти на всех сайтах, где бывает более-менее периодическое обновление информации. А для нас это возможность быстро спарсить свежие обновления сайта, не анализируя сам сайт. И один из способов, как это сделать описан по ссылке выше.


Как фильтровать результат по определенным хедерам?
Как известно, А-парсер предназначен для парсинга, в основном, текстовой информации. Но кроме этого им вполне реально парсить и другие обьекты (файлы, картинки и т.п.). При этом существует возможность фильтровать их по заголовкам ответа сервера. Об этом по ссылке выше.


Скачивание картинок указанного разрешения и размера
Если выше мы фильтровали результат только по хедерам и рассматривали вариант с документами, то в данной статье мы будем скачивать картинки и фильтровать их по размеру и разрешению. Как это сделать - можно увидеть по ссылке выше.


Еще больше различных рецептов в нашем Каталоге примеров!

Предыдущие сборники:
  • Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
  • Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
  • Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
  • Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
  • Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
  • Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво


Сообщение добавлено 16.09.2015 в 07:26

Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность

9-й выпуск Сборника рецептов. В нем мы будем работать с ключевыми словами: проверять их сезонность и искать свободные ниши в рунете, проверяя "полезность" ключевиков.

Определение сезонности ключевых слов через Wordstat
Использование нужных ключевых слов в нужное время - один из способов привлечения дополнительного трафика на сайт. Для определения сезонности ключевых слов существует немало различных способов и сервисов. О том, как это делать с помощью А-Парсера - читайте по ссылке выше.


Поиск свободных ниш в RU сегменте интернета
Используя на сайте не только сезонные, а и "полезные" ключевые слова, можно значительно повысить шансы попасть в ТОП10 поисковиков. И если о сезонности мы писали ранее, то о "полезности", а точнее о "незанятости" ключевых слов мы поговорим в данной статье. Полезные или незанятые - это такие КС, которые пользователи часто ищут, но конкуренция по которым не очень высокая. Как их искать - читайте по ссылке выше.


Еще больше различных рецептов в нашем Каталоге примеров!

Предыдущие сборники:
  • Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
  • Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
  • Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
  • Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
  • Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
  • Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
  • Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
  • Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube


Сообщение добавлено 07.10.2015 в 06:20

A-Parser - 1.1.292 - парсинг JSON, улучшения использования памяти, множество исправлений

Улучшения
  • Поддержка разбора JSON структур в шаблонизаторе
  • Добавлена опция "Конструктор запросов на всех уровнях", позволяющая использовать конструктор запросов на всех уровнях вложенного парсинга
  • При просмотре статистики работы задания теперь отображается общее число HTTP запросов
  • Новый инструмент отладки Gladiator, позволяющий быстро локализовать возможные утечки памяти
Исправления в связи с изменениями в выдачи
  • Исправлено определение наличия каптчи на этапе логина в парсере SE::Yandex::WordStat
  • Полностью переработан Rank::Ahrefs
  • Исправлен парсинг времени кэширования в SE::Yandex
  • Исправлен SE::Google::Images
  • Исправлен SE::Bing
  • Исправлен SE::Yahoo::Suggest
  • Исправлен SE::AOL
Исправления
  • Исправлен парсер SE::Yandex::TIC - ресурсы у которых тИЦ был неопределен отображались как тИЦ = 0, исправлено на тИЦ = -1
  • Исправлено множество утечек памяти
  • При замене в регулярных выражениях не работал символ переноса \n
  • При использовании большого числа переменных в конструкторе запросов или результатов они могли не влезать в видимую область


Сообщение добавлено 22.10.2015 в 11:16

A-Parser - 1.1.323 - парсинг с помощью XPath, поддержка JavaScript в шаблонизаторе, тестировщик заданий

Улучшения
  • Добавлен новый Тестировщик заданий, позволяющий тестировать все задание целиком, включая использование нескольких парсеров, конструкторов запросов и результатов. Тестировщик позволяет просматривать результаты по каждому созданному файлу, а также отображает логи выполнения по каждому запросу
  • Для парсера Net::Whois добавлена опция Recursive query, которая позволяет получать расширенную версию WHOIS(контактные email адреса и т.п.)
  • Добавлена поддержка XPath запросов, сильно упрощающая разбор HTML документов
  • Добавлен новый инструмент tools.js, позволяющий исполнять JavaScript из шаблонизатора, теперь помимо возможности использовать JavaScript для обработки и вывода результатов стало возможно частично исполнять скрипты встроенные в HTML(Выборочная обработка JavaScript: расшифровка телефонов)



Исправления в связи с изменениями в выдачи
  • Исправлен парсинг рекламных объявлений в SE::Google
  • Исправлен парсер Rank::Ahrefs
  • Исправлен парсер Rank::DMOZ
Исправления
  • При использовании динамического имени файла append text теперь пишется один раз
  • Исправлена работа с ссылками, которые содержат некоторые символы Юникода в Net::HTTP
  • Исправлена обработка каптчи в SE::Yandex::Register
  • Исправлен парсинг подсказок в SE::Google::Suggest


Сообщение добавлено 03.11.2015 в 08:15

Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!

Розыгрыш призов, условия акции смотри в конце!

11-й выпуск сборника рецептов. В нем мы разберем пример парсинга Авито, научимся расшифровывать телефонные номера, скрытые за JS и будем анализировать тексты.

Парсинг Авито
Если просмотреть сайты с вакансиями для фрилансеров, то можно увидеть, что очень часто требуется парсить популярный сайт объявлений avito.ru. Чаще всего в результате нужна база телефонов, реже - списки объявлений и цены. Данная информация может быть необходима маркетологам, для изучения ситуации на рынке, спамерам для рассылки смс и т.д...
Задачу по парсингу Авито можно решить также с помощью А-Парсера. О том как это сделать - читайте по ссылке выше.


Выборочная обработка JavaScript: расшифровка телефонов
Бывает, что при парсинге различных ресурсов можно наткнуться на информацию, которая скрыта скриптом на JavaScript. До недавнего времени A-Parser не умел обрабатывать JS, и такие сайты оставались в "зоне недоступности". Но начиная с версии 1.1.318 A-Parser научился выборочно работать с JS. Поэтому теперь есть возможность более эффективно парсить такие ресурсы и получать нужную информацию.
Как это делать и больше подробностей о поддержке JS в А-Парсере читайте по ссылке выше.


Анализ текста

Иногда возникает необходимость проанализировать спаршенный или написанный текст по различным параметрам (например: тошнота, водность, определить тематику и язык, найти наиболее повторяющиеся слова и т.п.). Для этого существует много различных приложений и онлайн-сервисов. Парсинг одного из таких сервисов будет показан по ссылке выше.


Почти 3 месяца назад у нас появилась Платная услуга по составлению заданий для А-Парсера. Она оказалась очень актуальна среди новых пользователей парсера, а также среди тех, у кого не хватает времени на его изучение. За время ее существования было составлено более 70 заданий, при этом 75% состояли из 2-х и более пресетов. Среднее время на составление одного заказа, от согласования деталей до получения готового набора пресетов, составляет около 4 часов. При этом, каждый пресет тщательно тестируется, а получаемый результат обсуждается с клиентом.

Так как A-Parser - это программа для парсинга различной информации, 26 ноября, во Всемирный день информации, будет разыграно:
  • 5 пакетов прокси (100 потоков на месяц)
  • 3 бесплатных составления 1-го задания для А-Парсера
В акции принимают участие все, кто ретвитнет нашу новость об этой акции в Twitter. Подписывайтесь на наши каналы в Twitter: русскоязычный @a_parser и англоязычный @a_parser_en и следите за новостями на сайте! Победители акции будут определены случайно с помощью сервиса random.org. Видео определения победителей будет выложено вместе с результатами акции.

Еще больше различных рецептов в нашем Каталоге примеров!

Предыдущие сборники:
  • Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
  • Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
  • Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
  • Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
  • Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
  • Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
  • Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
  • Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
  • Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
  • Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий


Сообщение добавлено 27.11.2015 в 11:45

Снижение комиссии при оплате PayPro и Итоги акции

В связи с плохой проходимостью платежей в системе Interkassa было принято решение снизить комиссию PayPro до 3%. PayPro теперь является рекомендуемым способом оплаты, который принимает все популярные платежные системы: PayPal, Visa/MasterCard, QIWI, Yandex.Money, Wire Transfer

Напоминаю что всегда доступен прием WebMoney без комиссии

Одновременно с этим мы перевели Members Area на русский язык, добавили систему уведомлений на e-mail, а также готовим инструкцию по использованию нашего магазина

Итоги акции:

Итак, сегодня 26 ноября, а значит пора подводить итоги нашей акции!
Всего участников оказалось не так и много - 14 человек. Поэтому шансы получить 1 из 8-ми призов были довольно велики.
Было проведено определение победителей, видео по ссылке: http://files.a-parser.com/Video/Action_26_11_15.avi



Искренне поздравляем всех счастливчиков! А те, кому не повезло в этот раз - не отчаивайтесь, вскоре будут новые акции! Поэтому следите за нашими новостями на сайте или в Твиттере.

Победители, для уточнения деталей и получения призов, свяжитесь через Твиттер с выигрышных аккаунтов с администрацией А-Парсера @a_parser.

A-Paeser - 1.1.355 - улучшения работы с регионами в Google и Яндексе, новые методы API, множество исправлений

Улучшения
  • В парсере SE::Yandex теперь также собираются ссылки на колдунщики(внутренние сервисы Яндекса), что позволяет более точно определять позиции сайтов в выдаче
  • В парсере SE::Yandex улучшено определение misspell(исправленных) запросов
  • В парсере SE::Yandex домен Яндекса теперь выбирается автоматически в зависимости от выбранного региона
  • В парсере SE::Google улучшена работа с сессиями
  • В парсере SE::Bing добавлен выбор локации
  • В интерфейсе парсера теперь доступен список последних сообщений с форума поддержки
  • Для парсера SE::Yandex добавлена поддержка турецкого домена yandex.com.tr
  • В парсере Net::HTTP добавлена поддержка шаблонизатора в поле Cookies
  • Теперь у начального текста, формата результата и конечного текста, общее пространство переменных, что позволяет решать задачи по выводу статистики
  • В макрос num добавлена возможность указать шаг итераций, формат {num:START:END:STEP}
  • Добавлен новый метод API getParserInfo - выводит список всех доступных результатов, который может вернуть парсер
  • Добавлен новый метод API update - обновляет исполняемый файл парсера до последней доступной версии, после успешного ответа A-Parser будет автоматически перезапущен
  • Метод API info теперь дополнительно выдает список всех доступных парсеров

Исправления в связи с изменениями в выдаче
  • В SE::Google исправлено указание локации
  • В SE::Bing исправлен парсинг серпа и связанных ключевых слов
  • В SE::Yandex исправлен сбор сниппетов и анкоров
  • В SE::Yahoo исправлен парсинг выдачи и работа с региональными доменами
  • Исправлены Rank::Category, SE::Bing::Images, SE::Bing::LangDetect, SE::Baidu, SE::AOL, SE::Google::SafeBrowsing, SE::Yandex::Register

Исправления
  • Исправлено игнорирование максимального числа активных заданий
  • В парсере HTML::LinkExtractor исправлена обработка относительных ссылок
  • Исправлена перезапись результатов при паузе\старте или при перезапуске парсера и одновременно включенной опции "Перезаписать файл"
  • Исправлена работа функции tools.parseJSON если страница была декодирована в UTF-8
  • Исправлен вывод результатов в Тестировщике заданий


Сообщение добавлено 15.12.2015 в 12:18

A-Parser: вводный видео урок, обзор возможностей

Денис Бартаев рассказывает о базовых возможностях A-Parser



В выпуске рассматриваются:
  • Основные настройки рядового парсера на примере SE::Yandex
  • Настройки Антигейт
  • Настройки прокси с проверкой статуса и без
  • Основные инструменты тестирования результатов парсинга
  • Базовые методы работы с шаблонизатором результатов, переменные парсеров
  • Примеры создания заданий, и описание процедуры работы с Редактором заданий
Подписывайтесь на наш канал!


A-Parser на СПИК 2015 - запись доклада Леонида Гроховского

A-Parser на СПИК 2015! Почти половина доклада посвящена обзору некоторых возможностей A-Parser

Как использовать парсеры для SEO? Как проверять индексацию страниц, как узнать позиции сайта. Об этом в докладе "Парсеры на службе у SEO-специалистов" рассказывает Леонид Гроховский. Подписывайтесь на его канал https://www.youtube.com/user/Grohovskiy
И на наш https://www.youtube.com/channel/UCvy...Cky8tPtebmIvQw



Тезисы:
  • Проверка индексации сайтов
  • Сбор сниппетов
  • Парсинг подсвеченных слов из сниппетов
  • Проверка позиций и входных страниц
  • Сбор запросов и подсказок
  • Определение частотности для списка запросов
  • Парсинг VK
  • Выкачивание базы у любого сайта
  • Взаимодействие с A-Parser через API


Сообщение добавлено 25.12.2015 в 11:40

A-Parser - 1.1.370 - планировщик заданий, улучшения в парсерах Google и Яндекса

В новой версии добавлен планировщик заданий, позволяющий легко запланировать выполнение задач, требующих периодичного исполнения, например такие как анализ позиций сайтов или ссылочных показателей



Другие улучшения
  • В опции Check next page для парсера Net::HTTP добавлен параметр Limit, позволяющий ограничивать максимальное число переходов на следующую страницу
  • В парсере SE::Google улучшена работа с сессиями
  • Парсеры SE::Google и SE::Yandex оптимизированы при работе без антигейта
  • Для парсера SE::Bing::Translator добавлены все новые языки
  • В API при добавлении задания появилась возможность указать флаг removeOnRestart, при указании которого задания будут автоматически удалены при перезапуске парсера
Исправления в связи с изменениями в выдачи
  • SE::Ask - парсилась только первая страница
  • SE::Google - исправлен парсинг сниппетов
  • Исправлены SE::MailRu, SE::Dogpile, SE::Google::pR, SE::QIP и SE::QIP::position

Исправления
  • При использовании нескольких форматов запросов и опции Parse to level парсер мог вылетать с ошибкой
  • В парсере SE::Google могла повторно отправляться каптча при использовании антигейта
  • Исправлен баг с отображением формата результата после импорта пресета
  • Исправлен баг с отображением переменных в Конструкторе результатов


Сообщение добавлено 14.01.2016 в 13:07

A-Parser - 1.1.388 - новый парсер disconnect.me, улучшения в экспорте заданий

Улучшения
  • Добавлен парсер SE::DisconnectMe - поисковая система от бывших сотрудников Google, можно выбирать один из трех вариантов выдачи: Google, Bing, Yahoo
  • Теперь при сохранении пресета задания, сохраняется название файла запросов или сам список запросов
  • При экспорте задания, появилась возможность указать включать или нет запросы в код пресета, а также теперь отображается список настроек парсеров которые будут включены в код
  • В очереди заданий добавлена возможность свернуть\развернуть одновременно все задания на странице
  • В очереди заданий для свернутых заданий теперь отображается время выполнения
  • Увеличена скорость парсинга SE::Google
Исправления в связи с изменениями в выдачи
  • В SE::Google::Images больше не парсится параметр size
  • Исправлены SE::Google, SE::Google::TrustCheck, SE::Google::Compromised, SE::Ask, SE::Dogpile, Rank::Mustat, Rank::Category, SE::AOL
Исправления
  • A-Parser мог падать при использовании парсеров SE::Yandex::WordStat, SE::Dogpile, а также при использовании Просмотра логов после перезапуска парсера
  • В парсере Net::Whois не определялась дата экспайра для некоторых доменов
  • В парсере SE::Bing не корректно обрабатывались ссылки содержащие символ &

Обновление партнерской программы

Участвуйте в нашей партнерской программе рекламируя A-Parser в своих блогах и на форумах! Размер комиссии - 15%:
  • A-Parser Lite: $18
  • A-Parser Pro: $30
  • A-Parser Enterprise: $42


В обновленном интерфейсе доступна удобная статистика заработанных средств и выплат, а также список привлеченных пользователей

Подробнее про условия участия в партнерской программе читайте в соответствующем разделе

Сообщение добавлено 08.02.2016 в 15:39

A-Parser: видео урок по парсингу 2ГИС

Денис Бартаев рассказывает о парсинге информации о компаниях и их телефонов из базы 2ГИС

https://www.youtube.com/watch?v=8a0-IOyF-Ng

В выпуске рассматриваются
  • Использование парсера-паука HTML::LinkExtractor и его настройка для фильтрации ссылок
  • Работа с параметром Parse To Level
  • Использование парсера Net::HTTP и его настройка для выборки данных со страницы с помощью регулярных выражений
  • Создание Excel-таблицы из результатов парсинга

Подписывайтесь на наш канал!

Оставляйте в комментариях свои идеи и пожелания для будущих видео

Сообщение добавлено 15.02.2016 в 12:04

Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок

12-й выпуск Сборника рецептов. В нем мы рассмотрим пример парсинга Instagram, проверим новую возможность вывода статистики и научимся составлять кастомные парсеры подсказок. А также:
  • Обзор вариантов представления результатов
  • Универсальный чекер страниц
  • Парсинг трафика и стоимости по ключевым словам из SEMrush
  • Обновление и улучшение пресетов для парсинга Авито и 2GIS
Парсинг Instagram
Instagram на сегодня является одним из самых популярных приложений для обмена фото с элементами социальной сети (осенью 2015 года аудитория превысила 400 млн пользователей). Такая популярность делает данный сервис привлекательным для парсинга, с целью получения различной информации. Как парсить Инстаграм с помощью А-Парсера - по ссылке выше.


Статистика по результатам парсинга
Начиная с версии 1.1.336 в А-Парсере появилась возможность вести и обрабатывать статистику парсинга, благодаря поддержке шаблонизатора в Начальном и Конечных текстах. Теперь в выдаче можно подсчитать количество ссылок на каждом домене, количество сабдоменов для каждого домена, частоту каждого сабдомена; получить списки доменов, имеющих сабдомены и многое другое... Несколько примеров показаны по ссылке выше.


Как сделать свой парсер подсказок?
В A-Parser уже существуют парсеры подсказок для Google, Yandex, AOL, Bing и Yahoo. Но есть и другие сервисы, которые также выдают подсказки. О том, как сделать свой парсер подсказок, а также примеры для Baidu, Rambler, Mail.Ru, LiveInternet, DuckDuckGo и GooglePlay смотрите по ссылке выше.


Кроме этого еще несколько рецептов:
  • В А-Парсере результат можно форматировать практически как угодно. О 4-х самых популярных форматах читайте в Обзоре вариантов представления результата на примере оценки позиций сайтов
  • У вебмастеров часто возникает задача поиска страниц с ошибками на сайте. И если это сайт-визитка, то решить ее можно вручную. А вот если это большой сайт, и не один... Тогда есть A-Parser: Универсальный чекер страниц
  • Улучшенные пресеты для парсинга 2GIS, Авито и пресет для парсинга трафика и стоимости по ключевым словам из SEMrush

Еще больше различных рецептов в нашем Каталоге примеров!

  • Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
  • Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
  • Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
  • Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
  • Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
  • Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
  • Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
  • Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
  • Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
  • Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
  • Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!


Сообщение добавлено 16.03.2016 в 12:14

A-Parser: видео урок - генерация sitemap.xml используя возможности JavaScript

Денис Бартаев рассказывает об использовании JavaScript в A-Parser:

https://www.youtube.com/watch?v=hxRIg93gde4
  • Использование LinkExtractor
  • Показан пример разбора заголовков ответов
  • Введение в основы JavaScript
  • Использование возможностей tools.js для решения практической задачи
Подписывайтесь на наш канал!

Оставляйте в комментариях свои идеи и пожелания для будущих видео

Сообщение добавлено 23.03.2016 в 08:11

A-Parser - 1.1.462 - цепочки заданий, сохранение JavaScript функций в пресете задания

Улучшения
  • Добавлена возможность использовать цепочки заданий - запускать определенное задание после завершение текущего, с возможностью указать файл результатов первого задания, как файл запросов для следующего
  • Теперь JavaScript функции можно сохранять в настройках задания, что позволяет включать их при экспорте задания
  • При форматировании элементов массивов через метод .format теперь можно использовать все простые(Flat) переменные, которые выдает парсер или которые формируются используя Конструктор результатов
  • В прокси чекер добавлена опция Load limit count, позволяющая задать максимальное число прокси для загрузки с источников
  • В парсере Net::HTTP для опции Check content добавлен переключатель Match / Not Match позволяющий проверять не только наличие, но и отсутствие определенного контента на странице
  • Теперь файл задания не перезаписывается при отсутствии свободного места на диске
  • В лог добавлена информация о версии парсера, количество свободной памяти и другая полезная информация
Исправления в связи с изменениями выдачи
  • Исправлены SE::Yandex, SE::Google

Исправления
  • В парсере SE::Google сниппеты и анкоры парсились с некорректной кодировкой при использовании Антигейта
  • При использовании опции Конечный текст и кириллического имени файла результата конечный текст сохранялся в файл с неверной кодировкой в имени
  • При использовании лога после постановки задания на паузу и продолжении работы лог переставал писаться, также при отключении логирования и попытке просмотра лога парсер мог упасть
  • В Тестировщике заданий при закрытии окна с активным заданием появлялась ошибка
  • В парсере SE::Yandex::Direct::Frequency некоторые фразы не обрабатывались при использовании аккаунтов, а также некорректно передавалось гео без использования аккаунтов
  • Макрос $pagenum в парсере Net::HTTP переставал работать если после него были указаны символы
  • Парсер SE::Google::TrustCheck не работал совместно с антигейтом


Сообщение добавлено 07.04.2016 в 09:33

A-Parser - 1.1.481 - множество оптимизаций скорости, использование пресетов в цепочках и планировщике



В этой версии был внедрен ряд качественных улучшений, призванных увеличить предельную скорость парсинга:
  • Быстрая обработка UTF-8, прирост скорости на некоторых задачах до 1.5х
  • Внедрен механизм анализа используемых переменных в результатах, что позволяет оптимизировать скорость извлекая только требуемые данные. Первым оптимизированным парсером стал SE::Google: двукратный прирост предельной скорости парсинга при сборе только ссылок(7000-10000 запросов в минуту, по 100 результатов на запрос, другими словами теперь можно получить 1 миллион ссылок за 1-1.5 минуты)
  • Теперь информация о запросах $response формируется только по требованию
  • Оптимизирована работа шаблонизатора при использовании множества парсеров в одном задании
Другие улучшения:
  • Теперь при использовании опции "Запустить задание по завершению" используется имя пресета вместо номера задания из очереди
  • В планировщике заданий также используется имя пресета, что позволяет очищать очередь без риска потерять сохраненные задания для планировщика
Исправления в связи с изменениями в выдачи:
  • SE::Google - поиск по блогам, также увеличена скорость парсинга за счет изменения запросов
  • SE::Yahoo, SE::DuckDuckGo, SE::AOL
Исправления:
  • В парсере Rank::Archive исправлена логика при обработке ошибки 403 Forbidden
  • Исправлено падение при изменении числа потоков в задании
  • Исправлена поддержка TLS для некоторых сайтов
  • Исправлено зависание задания при падении воркера
  • Теперь задание можно остановить если оно находится в режиме ожидания слота
  • Исправлена работа опции "Сохранять размер окна"
  • Исправлена ошибка в HTML::LinkExtractor при работе опции Parse to level в случаях когда сайт отдал редирект на другую страницу

Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query

13-й выпуск Сборника рецептов. В нем мы научимся сохранять результат в файл дампа SQL, который будет сразу готов для импорта в базу данных; познакомимся с очень полезным инструментом $tools.query, с помощью которого можно объединять несколько заданий в одно и делать другие интересные вещи; а также увидим еще несколько полезных рецептов.

Вывод результата в формате дампа SQL
С вопросом "можно ли сохранять результаты сразу в базу данных" очень часто обращаюся пользователи в техподдержку. И так, как на данный момент напрямую сохранять результаты в БД нет возможности (но планируется), то предлагаю вариант выводить их в файл дампа, а потом импортировать в базу данных. Как это делается - показано по ссылке выше.


Обзор инструмента $tools.query
$tools.query довольно часто встречается в примерах на форуме. В А-Парсере этот инструмент появился уже больше года назад, но обзора по нему до этого времени не было выпущено. Поэтому мы исправляемся и по ссылке выше вы сможете ознакомиться с некоторыми его возможностями.


Еще несколько рецептов:
  • MD5 подпись каждого результата
  • Парсинг определенных доменов не используя фильтров
  • Парсер подсказок из ru.xhamster.com
Еще больше различных рецептов в нашем Каталоге примеров!

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники
  • Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
  • Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
  • Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
  • Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
  • Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
  • Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
  • Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
  • Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
  • Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
  • Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
  • Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
  • Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок


Сообщение добавлено 04.05.2016 в 05:51

A-Parser - 1.1.500 - использование разных источников прокси в разных заданиях и парсерах

В этой версии проделана большая работа по улучшению проверки прокси и добавлению возможности использования разных источников прокси:
  • Появилась возможность запускать сразу несколько прокси чекеров, каждый поддерживает собственные настройки и собственный рабочий каталог с возможностью указать различные источники проксей
  • В настройках задания, появилась возможность указать прокси от каких чекеров должны использоваться(выбор между всеми или перечисление конкретных)
  • Более того в одном задании каждый парсер может использовать различные источники прокси
  • Добавлен график живых прокси и статистика по обработке источников
  • Уменьшено потребление памяти при большом числе живых прокси
  • В API теперь возможно получить список всех живых прокси, а также список прокси для конкретных прокси чекеров
Благодаря этим нововведениям появилась возможность раздельной работы с разными прокси серверами, когда одни прокси подходят для парсинга сайтов, другие лучше для парсинга выдачи поисковых систем, а третьи могут быть "заточены" под определенный сервис

Другие улучшения:
  • Для парсера Rank::CMS добавлена опция эмуляции браузера, она включена по умолчанию и повышает процент распознавания многих CMS
  • В редакторе заданий появилась возможность сворачивать парсеры, что позволяет удобнее работать с большими заданиями
Исправления в связи с изменениями в выдачи:
  • Rank::MajesticSEO, SE::Yandex, Rank::Archive, SE::Google::Images, SE::Google::TrustCheck, SE::Yandex::Catalog
Печальная новость коснулась SE::Google::pR - Google прекратил отображать PageRank для сайтов, но у нас в арсенале есть множество парсеров для гораздо более точной оценки рейтинга домена!

Сообщение добавлено 25.05.2016 в 08:59

1.1.532 - парсинг регистратора в Whois, множество исправлений

Улучшения
  • В парсере Net::Whois добавлен парсинг названия регистратора домена

Исправления в связи с изменениями в выдачи
  • SE::YouTube, SE::AOL, SE::Dogpile, SE::Yandex

Исправления
  • Исправлено падение при использовании JavaScript(tools.js) на Windows, также исправлена некорректная работа на Linux
  • Исправлена проблема с логином на некоторых аккаунтах Яндекса
  • Исправлено определение ранка в парсере Rank::Alexa для доменов с www.
  • Исправлена работа с некоторыми доменными зонами в парсере Net::Whois, а также отображение статуса для некоторых зон
  • Исправлено падение Rank::CMS при использовании опции -nofork
  • Исправлены проблемы в работе нового прокси чекера: отключение чекера при изменении настроек, переопределение чекера в задании, а также проблема с отображением в некоторых браузерах
  • Исправлена работа опции Prepend/Append text в некоторых случаях


Сообщение добавлено 08.06.2016 в 10:21

A-Parser - 1.1.566 - кэширование запросов, удобная работа с настройками, множество улучшений


Улучшения
  • Теперь для парсеров Net::HTTP, HTML::TextExtractor, HTML::LinkExtractor, Rank::CMS кэшируются одинаковые HTTP запросы при использовании любой комбинации из этих парсеров в одном задании, что исключает выполнение повторных запросов к одному URL, как следствие растет скорость, уменьшается нагрузка на целевые сайты
  • Добавлена опция Max connections per host позволяющая ограничить максимальное число одновременных подключений к одному домену/IP
  • Добавлена опция Global proxy ban позволяющая расшарить статистику по бану проксей между заданиями
  • В парсере HTML::LinkExtractor улучшено отображение табличных данных и списков
  • В парсере SE::Yandex::WordStat добавлена возможность указать минимальную частотность для добавления запроса на вложенный парсинг
  • В парсере SE::Yandex добавлена опция Parse all results позволяющая автоматически обходить ограничение на размер выдачи и собирать гораздо больше результатов
  • В редакторе заданий добавлена функция Copy overrides позволяющая копировать настройки из одного парсера в другой
  • В редакторе заданий добавлена функция Save overrides to preset позволяющая создать новый пресет на основе переопределенных значений
  • При просмотре логов с опцией "Только неудачные" теперь отображаются только те потоки, в которых были неудачные запросы
  • При использовании xPath совместно с сохранением отдельных запросов в один массив данные заполняются равномерно
  • В очереди заданий добавлена дата последнего изменения задания при отображении в компактном виде
  • В очереди заданий добавлена возможность скачать файл результатов при незавершенном парсинге
  • При использовании опции "Сохранять неудачные запросы" теперь дополнительно сохраняются оригинальные запросы для всего задания
  • Добавлена опция Report captcha - распознанные Google каптчи отправляются на наш сервер для анализа, включена по умолчанию
Исправления в связи с изменениями в выдаче
  • SE::Yandex, Rank::DMOZ, SE::AOL
Исправления
  • Исправлена проблема с большим потреблением памяти на ОС Windows
  • Исправлено неверное сохранение параметра уникализации в некоторых случаях
  • Не работала замена на группы в регулярных выражениях в Конструкторе запросов
  • В парсер HTML::LinkExtractor исправлен парсинг ссылок с пробелами
  • Исправлена проблема с отображением заданий в очереди с большим числом запросов добавленных через текстовое поле


Сообщение добавлено 23.06.2016 в 05:33

A-Parser: видео урок - парсим Rambler с XPath

Денис Бартаев рассказывает, как в несколько кликов создать парсер любой поисковой системы на примере Rambler.ru. Мы получим всю необходимую информацию: ссылки, анкоры, сниппеты, число результатов, связанные ключевые слова и проверку на опечатку в запросе.



В уроке рассмотрены
  • Использование XPath для создания кастомного парсера
  • Обход капчи без использования Antigate
  • Использование Template toolkit для форматирования результата
  • Объединение результатов парсинга в массив объектов с полями, связанными по индексу

Подписывайтесь на наш канал!

Оставляйте в комментариях свои идеи и пожелания для будущих видео

Сообщение добавлено 20.07.2016 в 09:39

A-Parser - 1.1.594 - Улучшение скорости парсинга Google в 10-20 раз



После ужесточения парсинга со стороны гугла A-Parser стал парсить его быстрее чем раньше, результаты тестирования парсинга в 1000 потоков, 1 страница по 100 результатов - более 4000 запросов в минуту



Улучшения
  • Переработан парсер SE::Google - увеличена скорость парсинга в 10-20 раз
  • Названия пресетов заданий теперь сортируются при добавлении
Исправления
  • SE::Google - исправлена обработка каптчи в связи с изменением выдачи
  • Net::Whois - исправлена работа с некоторыми зонами
  • SE::Yandex::Register - исправлена работа с каптчей при регистрации аккаунта
  • Исправлено отображение дебаг информации для прокси чекеров


Сообщение добавлено 17.08.2016 в 06:25

A-Parser - 1.1.619 - большая оптимизация потребления памяти, увеличение скорости парсинга Яндекса



В этой версии проделана большая работа по оптимизации потребления памяти, а также стабильной работе парсера 24/7 с множеством числом заданий

Улучшения
  • Уменьшение потребления памяти
  • Оптимизация парсера SE::Yandex - увеличение предельной скорости парсинга в 2.5 раза(~1500 запросов минуту, i7-4770)
Исправления в связи с изменениями в выдаче
  • SE::Google, SE::AOL, SE::Yandex, SE::Dogpile, SE::YouTube, SE::Bing
Исправления
  • Исправлен SE::Google при работе с антигейтом: неверная обработка запросов со скобками и очень длинных запросов
  • Исправлен Net::HTTP - при выполнении цепочки редиректов теперь передается оригинальный реферер
  • Исправлена работа с сессиями в SE::Yandex::WordStat


Сообщение добавлено 05.09.2016 в 15:21

A-Parser - 1.1.626 - parser of Yandex pictures, CAPTCHA at login in Yandex, removal of nonworking accounts



In version 1.1.626 adding support for CAPTCHA at login to Yandex account in parsers SE::Yandex, SE::Yandex::WordStat and SE::Yandex::Direct::Frequency:



Also added setting Remove bad accounts for these parsers, which automatically removes accounts with incorrect login/password or requiring a confirmation by phone. By default this option is enabled.

Added new pictures parser SE::Yandex::Images, which supports all the filters (size, orientation, type, color, file type...). As it is known, Yandex excellent indexes all pictures for adults - a great way to get content for their doorways/tubes. In addition it is possible to set SafeSearch.



Parser Yandex pictures also supports antigate (anti-captcha, rucaptcha, CapMonster - any service that supports Antigate API)

Corrections due to changes in the output of services
  • SE::DuckDuckGo


Сообщение добавлено 20.09.2016 в 07:23

Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu

15-й выпуск Сборника рецептов. В нем мы будем парсить Google PageSpeed Insights, который позволяет оценивать скорость загрузки, юзабилити сайтов и даже получать их скриншоты; сделаем кастомный парсер Яндекс.Картинок и научимся получать полные ссылки из выдачи Baidu. Поехали!

Анализ скорости загрузки и юзабилити сайтов
У Google есть довольно неплохой сервис PageSpeed Insights, который измеряет скорость загрузки веб-страниц, оценивает их юзабилити и даже делает скриншоты страниц. При этом оценивается обычная и мобильная версия парсера. Поэтому мы не могли обойти стороной такой сервис и не сделать для него парсер. О том, что получилось - читайте по ссылке выше.


Кастомный парсер Яндекс Картинок
На форуме неоднократно спрашивали когда в А-Парсер будет добавлен парсер картинок Яндекса. На данный момент такой парсер уже есть: SE::Yandex::Images. Но в данной статье будет показан пример кастомного парсера Яндекс.Картинок, который довольно хорошо демонстрирует возможности Net::HTTP. Подробности - по ссылке выше.


Как получить полные ссылки из Baidu
Также довольно часто спрашивают как получить полные ссылки из Baidu. Дело в том, что этот поисковик обрезает ссылки в выдаче, и на выходе получаются ссылки такого вида:
Цитата:
http://www.51testing.com/html...
http://baike.baidu.com/link?u...
http://en.wikipedia.org/wiki....
Поэтому в данной статье будет показан способ получения полных ссылок с помощью A-Parser.


Кроме этого:
  • Добавлен пресет для парсинга подсказок из Amazon
  • 2 способа ограничивать объем получаемых результатов
  • Передача cookies на следующий запрос
  • Регулярное выражения для номеров телефонов

Еще больше различных рецептов в нашем Каталоге примеров!

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники:
  • Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
  • Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
  • Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
  • Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
  • Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
  • Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
  • Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
  • Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
  • Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
  • Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
  • Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
  • Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок
  • Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query
  • Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты


Сообщение добавлено 28.09.2016 в 07:50

A-Parser - 1.1.652 - динамический лимит потоков, поддержка цифровой каптчи для Google



В версии 1.1.652 добавлена поддержка динамического лимита потоков, позволяющая распределить лимит между всеми запущенными заданиями, тем самым увеличивается общая скорость выполнения заданий в очереди

Помимо этого парсер SE::Google теперь поддерживает работу с цифровыми каптчами, а сервис Cheap-Captcha предоставил пользователям A-Parser уникальную скидку: всего 25 центов за 1000 распознанных каптч

Улучшения
  • Теперь A-Parser пропускает пустые запросы, это улучшение расширяет логику обработки запросов
  • В парсере Net::HTTP не передаются пустые хедеры
  • В парсере SE::Yandex::WordStat теперь корректно определяются аккаунты с заблокированной функцией парсинга вордстата
Исправления в связи с изменениями в выдачи
  • SE::Yandex, SE::AOL
Исправления
  • В парсере SE::Yandex::WordStat исправлена работа при редиректе на региональный домен, а также исправлена работа с устаревшими сессиями
  • Net::Whois не корректно работал с зоной .tr
  • В парсере SE::Google невозможно было получить исходник страницы($data) при использовании антигейта
  • В парсере SE::Yandex не сохранились сессии при использовании аккаунтов


Сообщение добавлено 13.10.2016 в 14:46

Новые видео уроки: от покупки до настройки и запуска задания

Смотрите новые видео уроки от Дениса Бартаева, подписывайтесь на наш канал!

A-Parser: обзор личного кабинета и процесса оплаты

https://www.youtube.com/watch?v=hKi8hZdNRYM

A-Parser: установка, запуск и обновление

https://www.youtube.com/watch?v=QBKHxe9UWhQ

A-Parser: настройка, добавление прокси, запуск задания

https://www.youtube.com/watch?v=x6Ea9qisD4c


Оставляйте в комментариях пожелания для будущих видео!

A-Parser - 1.1.669 - 64 битная Linux версия, проверка позиций по множеству доменов



Начиная с версии 1.1.669 A-Parser доступен в 64 битной версии для Linux, основные преимущества:
  • уменьшение потребления памяти
  • больше нет ограничений на максимальное потребление памяти в 4Гб, что позволит запускать больше заданий одновременно и в большее число потоков
Напоминаю что A-Parser одинаково хорошо работает на Windows, Linux и FreeBSD

Другая хорошая новость - сервис Cheap-Captcha.com дарит всем пользователям A-Parser'а $5 на разгадывание 20000 каптч для Google или Яндекса

Улучшения
  • Все парсеры позиций в поисковых системах( SE::Google::position, SE::Yandex::position, ...) теперь поддерживают съем позиций сразу по нескольким доменам
  • Для парсера SE::Yandex добавлена возможность указать язык результатов поиска
Исправления в связи с изменениями в выдаче
  • SE::Google, SE::Yandex, SE::DuckDuckGo, SE::Yandex::Direct::Frequency
Исправления
  • В предыдущий версии появилась ошибка в обработке нескольких ключевых слов за один запрос в парсере SE::Yandex::Direct::Frequency
  • Очистка очереди заданий работала некорректно
A-Parser Support вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 07.11.2016, 13:05   #4
 
Аватар для A-Parser Support
 
Сообщений: 6
FR (активность): 331

Доп. информация
Лампочка Автор темы

Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей

16-й выпуск Сборника рецептов. В нем мы научимся парсить OpenSiteExplorer с авторизацией, попробуем забирать все сайты из Яндекс.Каталога и сделаем парсер Яндекс.Новостей. Поехали!

Парсинг OpenSiteExplorer (MOZ) с авторизацией
С помощью рассмотренного в статье способа, можно парсить OSE с авторизацией, что в свою очередь позволяет обходить ограничение на 10 запросов с одного IP в сутки. Плюс ко всему, значительно расширен набор возвращаемых параметров по сравнению со стандартным парсером. Кроме этого, можно совсем не использовать прокси, что дает значительный прирост в скорости! Сам пресет и описание - по ссылке выше.


Парсинг всех сайтов из указанной категории Я.Каталога
Многие пользователи A-Parser неоднократно спрашивали о возможности спарсить все сайты из Яндекс.Каталога. Поэтому мы публикуем сам пресет и подробное описание процесса его создания и работы. Все это - по ссылке выше.


Как парсить Яндекс.Новости?
В А-Парсере в стандартном парсере Google можно парсить новости. А вот для Яндекса на данный момент нету такой возможности. Но решается это довольно просто. Как именно - читайте по ссылке выше. Плюс бонусом небольшой пресет для парсинга подсказок из Я.Новостей - еще один способ парсить ключевые слова


Кроме этого:
  • Проверка вхождения ключа в анкор
  • Обновлен пресет для парсинга пользователей по тегу из Instagram

Еще больше различных рецептов в нашем Каталоге примеров!

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
  • Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
  • Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
  • Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
  • Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
  • Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
  • Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
  • Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
  • Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
  • Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
  • Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
  • Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
  • Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок
  • Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query
  • Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты
  • Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu


Сообщение добавлено 15.11.2016 в 07:47

A-Parser - 1.1.681 - обход защиты CloudFlare, улучшения в конструкторах запросов


В версии A-Parser 1.1.681 добавлен автоматический обход проверки CloudFlare на браузер, тем самым позволяя собирать информацию с сайтов под защитой самого популярного облачного провайдера. Работает в парсерах Net::HTTP, HTML::LinkExtractor и HTML::TextExtractor

В конструкторах запросов улучшена логика при разделении запроса на части

Исправления в связи с изменениями в выдачи
  • SE::Yandex - пропускались некоторые ссылки
  • SE::MailRu, SE::Baidu
Исправления
  • Исправлена поддержка тега meta http-equiv в парсере Net::HTTP
  • Теперь x64 Linux версия A-Parser запускается на всех современных дистрибутивах
  • В парсере SE::Yandex::Direct::Frequency исправлена ошибка, которая могла приводить к зацикливанию запросов
  • Исправлена ошибка в Тестировщике заданий, при которой не очищался результат предыщущего парсинга


Сообщение добавлено 01.12.2016 в 13:29

Доброго времени суток, друзья!


Отныне в A-Parser добавлена уникальная возможность создавать свои парсеры на языке JavaScript:





Давайте более подробно рассмотрим нововведения:
  • теперь возможна реализация парсеров, регеров, постеров и т.п. любого уровня сложности, используя все преимущества A-Parser
  • API будет дорабатываться и пополняться полезными возможностями
  • для тех кто уже готов пользоваться новым функционалом - вступайте в наш чат https://join.skype.com/nMAYI9lpsJ9Z для JavaScript разработчиков
  • ограничения: работает на windows или linux-x64, только для Pro и Enterprise лицензий


Мы ежедневно работаем над улучшениями и предоставляем вам только качественный продукт!
Благодарим вас за использование A-Parser!

Сообщение добавлено 12.12.2016 в 12:41

Всем привет!


Друзья, рады сообщить что мы обновили Каталог примеров и добавили 32 примера и 1 видео.

Более подробно вы можете всё просмотреть здесь: https://a-parser.com/threads/1738/







Всем профитной недели и приятной работы в месте с A-Parser!

Сообщение добавлено 16.12.2016 в 15:47

Дорогие друзья!



Рады сообщить о том, что мы впервые запустили новогодний розыгрыш 3 лицензий A-Parser'а. Две "Lite" и одну "Pro". Подробнее об условиях и дате вы можете узнать в нашей группе Вконтакте: https://vk.cc/5YBNVX

Не упустите этот момент, возможно розыгрыш произойдёт только один раз

С любовью, команда A-Parser!

Сообщение добавлено 26.12.2016 в 15:30

1.1.712 - новогодняя юбилейная 100-ая версия, JavaScript парсеры



Всех с наступающим новым годом! Участвуйте в конкурсе и получайте бесплатные лицензии, но об этом ниже

Сегодня я хочу вам представить юбилейную 100-ую версию A-Parser'a! Да, мы выпустили ровно 100 версий за почти 5 лет существования нашего парсера. Разработка парсера никогда не останавливается, сейчас он буквально пухнет от возможностей! Это хорошо подчеркивает все принципы и подходы заложенные в A-Parser еще в далеком 2012 году.

Одно из главных новшеств новой версии - JavaScript парсеры, теперь каждый кто обладает хотя бы минимальными знаниями программирования сможет создавать высокопроизводительные парсеры на языке JavaScript используя все возможности A-Parser'а(многопоточность, работу с прокси, шаблонизатор, обработка запросов и результатов, и многое другое)



A-Parser давно перестал быть просто парсером, на сегодняшний день это полнофункциональная платформа для сбора информации в промышленных масштабах, которая позволит вам собирать информацию из самых разных источников и множеством разных способов. В следующем году вас ждет еще больше новых возможностей, следите за новостями!

Улучшения
  • JavaScript парсеры - возможность создавать свои парсеры используя все преимущества A-Parser
  • JS парсеры: возможность получить и установить Cookies
  • JS парсеры: мютекс для синхронизации между потоками
  • JS парсеры: возможность использования инструментов tools
  • JS парсеры: поддержка запросов к другим парсерам
  • Множественные оптимизации всех парсеров, обработке подвергаются только те элементы страницы которые необходимы в результатах парсинга
  • В парсере HTML::TextExtractor будут игнорироваться блоки меню без текста
  • В парсере SE::Google::Compromised добавлена возможность проверки подозрительных сайтов по всем страницам
  • API: добавлена возможность получить количество активных аккаунтов(для Яндекса)
  • API: при выставленном флаге rawResults будут передаваться все доступные результаты
  • Убрана настройка Raw data results, теперь необходимость этих результатов определяется автоматически
  • Добавлена возможность работы с одним прокси сервером(параметр Reuse proxy beetwen retries)
  • Если ошибка в шаблонизаторе произошла во время парсинга она будет записана в лог
Исправления в связи с изменениями в выдачи
  • В парсере SE::YouTube не собиралась выдача
  • В парсере SE::Bing не парсилось количество результатов для новостей
  • В парсере SE::Google не собирались рекламные блоки
  • В парсере SE::Yandex некоторые позиции в выдаче могли пропускаться
  • В парсере SE::Yandex::Register исправлена обработка ошибок регистрации

Исправления
  • Исправлена ошибка с обработкой запросов вне рабочего каталога A-Parser, что в некоторых случаях могло привести к проблемам с безопасностью
  • В парсере SE::Yandex::WordStat в редких ситуациях могла зациклиться работа с одним прокси
  • В парсере Net::HTTP не корректно работала опция Check next page при редиректе на другой URL
  • Исправлена проблема с работой Net::DNS на ОС Linux x64
  • Исправлен вывод ошибок в логе при уникализации "не доменов"
  • Исправлена работа парсера HTML::TextExtractor::LangDetect
  • Исправлен парсер Check::BackLink, ошибка появилась в предыдущей версии
  • Не выводились внешние переменные в методе .format, ошибка появилась в предыдущей версии


Напоминаем, что мы разыгрываем 3 лицензии на A-Parser общей стоимостью $437, участвуйте в конкурсе, победитель будет выбран 5ого января 2017!

Сообщение добавлено 05.01.2017 в 13:09

Доброго времени суток друзья! Команда A-Parser поздравляет вас с наступившим 2017 годом и наступающим Рождеством.

Не забывайте о нашем розыгрыше https://vk.cc/5YBNVX. Мы разыграем сегодня 3 лицензии на A-Parser общей стоимостью $437. Результаты розыгрыша после 17:00 по Москве. Более подробную информацию смотрите по ссылке которая указана выше.



Сообщение добавлено 16.01.2017 в 12:58

1.1.726 - новые возможности планировщика, множество исправлений



Улучшения
  • В планировщик добавлена возможность ежемесячного запуска заданий, с возможностью выбрать определенный день месяца
  • В планировщике теперь можно указать уникальность задания, если задание активно в очереди то при попытке его запуска через планировщик оно будет отложено до следующего запуска
  • Файл логов задания теперь удаляется одновременно с удалением задания
  • В тестовом парсинге улучшен дебагер и предпросмотр HTML кода

Исправления в связи с изменениями в выдачи
  • SE::YouTube, Rank::DMOZ, Rank::Mustat, SE::Dogpile, SE::Ask, SE::AOL

Исправления
  • В парсере Net::Whois исправлен парсинг дат для множества доменных зон
  • Функция добавления ! перед каждым словом(для снятия частотности по WordStat) в некоторых случаях работала некорректно
  • Исправлена ошибка при работе прокси с использованием только одной попытки(Request retries)
  • Исправлена ошибка при которой парсер падал при неверно составленном Конструкторе результатов
  • В некоторых случаях использование XPath могло приводить к зависанию парсера
  • В парсере SEO::Ping исправлена обработка ответов для некоторых сервисов
  • В некоторых случаях ошибка задания могла отображаться некорректно

Так же, мы хотели бы ещё раз поздравить наших победителей которые получили лицензии A-Parser'a: Сергея Чернова, Романа Лисина и Илью Нечаева. Поздравляем вас ещё раз!



Сообщение добавлено 01.02.2017 в 13:48

В этом видео вы узнаете как собрать тысячи и миллионы профилей в социальной сети ВКонтакте:


В уроке рассмотрены:
  • Создание парсера профилей соцсети ВКонтакте: имя, город, телефон, семейной положение, время последнего захода и ссылку на аватар(фотографию)
  • Использование регулярных выражений для фильтрации данных результата
  • Использование конструктора результатов для модификации результатов
  • Использование Cookies в запросах

Подписывайтесь на наш канал, ставьте лайки и оставляйте в комментариях пожелания для следующих уроков!

Сообщение добавлено 08.02.2017 в 11:49

1.1.743 - исправлен парсер Яндекса, множество исправлений в JavaScript парсерах



В версии 1.1.743 выпущено множество исправлений для JavaScript парсеров, а также добавлены новые примеры: определение языка страницы через Яндекс переводчик и сбор текстовки по ключевому слову одним заданием(на выбор через Google или Яндекс)

Улучшения
  • В JavaScript парсерах добавлена возможность создавать новые запросы(this.query.add)
  • В парсере SE::Yahoo теперь определяется бан прокси по IP
  • Добавлен параметр, позволяющий A-Parser'у работать с файлами запросов и результатов вне рабочего каталога
Исправления в связи с изменениями в выдаче
  • SE::Yandex - парсил только первую страницу выдачи
  • SE::Google::Trends - использовал все попытки если по ключевому слову не было данных
Исправления
  • Исправлена работа опции Max threads per proxy(максимальное число потоков на одну прокси)
  • В парсере HTML::LinkExtractor исправлен парсинг ссылок с фрагментом(#)
Исправления в JavaScript парсерах
  • Настройки checkbox воспринимались некорректно
  • Исправлена ошибка в работе this.cookies.setAll
  • В интерфейсе не отображались измененные параметры конфига
  • Исправлены утечки памяти
  • Исправлено игнорирование параметра success
  • Исправлено поведение при использовании Override настроек
  • Исправлена ошибка при получении результатов из другого парсера


Сообщение добавлено 27.02.2017 в 12:15

1.1.764 - шаблонизатор в полях конфига, выбор языка в SE::Bing



Улучшения
  • В парсер SE::Bing добавлена возможность выбора языка результатов поиска
  • Во всех полях конфигурации каждого парсера теперь есть возможность использовать шаблонизатор, тем самым позволяя использовать запрос или его часть как значение конфига, а также добавлять произвольную логику(пример - использование переменного DNS сервера)
  • В JavaScript парсерах добавлена возможность установки одиночного cookie(this.cookies.set)
  • В парсере SE::Yandex::WordStat SE::Yandex::WordStat уменьшено потребление каптчи

Исправления в связи с изменениями в выдачи
  • SE::Google - исправлена работа с антигейтом
  • В парсере SE::Google исправлен парсинг объявлений, а также пропуск первого результата поиска в редких случаях
  • В парсере SE::Yandex исправлен сбор сниппетов
  • SE::AOL, SE::Bing::Images

Исправления
  • Исправлена утечка памяти при использовании логов в задании
  • В парсере SE::Ask не определялся бан прокси
  • Исправлена работа опции allow_outside_files
  • Исправлена работа с utf8 в исходниках tools.js и JavaScript парсерах
  • В редких случаях при неудачном парсинге 2ой или последующих страниц запрос мог считаться успешным


Сообщение добавлено 27.03.2017 в 11:13

1.1.790 - экспорт множества заданий и JavaScript парсеров




A-Parser 1.1.790 появился новый экспорт, который позволяет экспортировать сразу несколько заданий, настройки парсеров, JavaScript парсеры, а также tools.js:





Улучшения
  • Новый экспорт заданий
  • В JavaScript парсерах добавлена возможность указать иконку парсера
  • В JavaScript парсерах добавлен функционал для работы с CAPTCHA
  • Добавлено автоматическое версионирование JavaScript парсеров
  • В хедерах ответа теперь указан заголовок Proxy с которым был сделан запрос
  • В JavaScript парсерах добавлен параметр attempt для this.request, позволяющий вручную управлять механизмом попыток
  • В JavaScript парсерах добавлен функционал управления прокси
  • В парсере Check::BackLink улучшена обработка nofollow

Исправления в связи с изменениями в выдачи
  • SE::DuckDuckGo, SE::Ask, SE::AOL, Rank::MajesticSEO
  • SE::Bing не парсил при указании региона
  • Парсер SE::Yandex::WordStat мог пропускать запросы при использовании антикаптчи

Исправления
  • В парсере SE::QIP для некоторых запросов не корректно определялась кодировка сниппетов
  • A-Parser зависал при использовании JavaScript парсеров совместно с конструктором результатов
  • В парсере SE::Bing в серп могли попадать рекламные блоки
  • В парсере Net::Whois собиралась дата для некоторых доменов
  • В JavaScript парсерах исправлен вывод ошибок в коде
  • В JavaScript парсерах исправлен подсчет HTTP запросов для статистики


A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
A-Parser Support вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 06.04.2017, 12:57   #5
 
Аватар для A-Parser Support
 
Сообщений: 6
FR (активность): 331

Доп. информация
По умолчанию Автор темы 1.1.811 - 6 новых парсеров, улучшения в JavaScript парсерах

1.1.811 - 6 новых парсеров, улучшения в JavaScript парсерах



В A-Parser 1.1.811 добавлено 6 новых встроенных парсеров - Амазон, Яндекс.Маркет, Рамблер, IxQuick, добавление ссылки в индекс Bing, расширенный парсер Moz(OpenSiteExplorer). Добавляйте идеи для новых парсеров на нашем форуме и мы их обязательно реализуем.

Помимо встроенных парсеров вы можете создавать свои собственные парсеры на языке JavaScript - используя всю мощь многопоточности A-Parser'а, а также производительность движка V8 и преимущества ES6.

Для владельцев CapMonster и XEvil - напоминаем что A-Parser можно подключить к этим программам из коробки, тем самым колоссально повысив скорость парсинга во многих парсерах

Улучшения
  • Новый парсер Shop::Amazon - парсит выдачу https://www.amazon.com по ключевому слову, собирает название, ссылку, картинку, прайс, прайс до скидки, рейтинг, число комментариев, продавца и дополнительную информацию
  • Новый парсер Shop::Yandex::Market - парсер Яндекс.Маркета, по указанному ключевому слову(или по прямой ссылке на категорию) собирает следующие данные: название товара, ссылку, ссылку на картинку, рейтинг, число комментариев, цену от и до, число предложений от магазинов и список дополнительных характеристик
  • Новый парсер SE::Rambler - сегодня рамблер использует одновременно выдачу Google и Яндекса, в зависимости от геолокации пользователя(прокси), есть поддержка антигейта
  • Новый парсер SE::IxQuick - https://www.ixquick.com - еще один поисковик, основанный на выдаче Google
  • Добавление ссылок в индекс Бинга - SE::Bing::AddURL - добавляет ваши ссылки в промышленных масштабах, требуется антигейт
  • Новый парсер Rank::OpenSiteExplorer::Extended - расширенная версия парсера Rank::OpenSiteExplorer, собирает с https://moz.com 39 параметров по домену, сабдомену и странице
  • JavaScript парсеры: новые методы this.util.urlFromHTML(url, [base]) и this.util.updateResultsData(results, data)
  • В парсере SE::Yandex добавлен сбор времени последнего кэширования страницы

Исправления в связи с изменениями в выдаче
  • SE::Yandex - исправлен парсинг выдачи, сбор ссылки на кэш страницы, а также парсинг рекламных объявлений
  • SE::Google - исправлен парсинг рекламных объявлений, а также проблема с парсингом в редких случаях при использовании антигейта
  • В парсере Net::Whois исправлен парсинг дат, а также улучшен парсинг whois сервера GoDaddy
  • SE::Google::Trends - полностью обновлен парсер и список собираемых значений
  • Rank::LinkPad, Rank::MajesticSEO, SE::Seznam

Исправления
  • Проблема с прокруткой в Планировщике
  • Проблема с кодировкой в tools.parseJSON
  • Ошибка импорта JavaScript парсеров


Сообщение добавлено 20.04.2017 в 15:00

1.1.832 - новые парсеры, выбор языка интерфейса в Google



Улучшения
  • Новый парсер Rank::SimilarWeb - парсит сервис http://similarweb.com, собирает множество параметров, включая ранк домена, трафик, распределение трафика по источникам и странам
  • Новый парсер Rank::MegaIndex - парсит сервис https://megaindex.com, собирает число трафика по органике и рекламным запросам, а также различную информацию о беклинках и индексации сайта
  • Новый парсер Rank::SEMrush::Keyword - собирает трафик, конкуренцию и другие параметры по ключевому слову в сервисе http://semrush.com
  • В парсере SE::Google добавлена возможность выбора языка интерфейса гугла, актуально для точного снятия позиций
  • В настройках антигейта добавлена опция Report bad captchas - отключив которую можно сэкономить время на запрос о неправильной каптче, актуально для CapMonster и XEvil
  • Удалены 5 устаревших парсеров: SE::Google::pR - сервис больше не существует, SE::Google::Maps - выдача зависит от гео прокси, Rank::Ahrefs - парсинг сервиса возможен только с аккаунтами с подтвержденной кредитной картой, Rank::Category - нет подходящего сервиса, Rank::DMOZ - dmoz прекратил свое существование в марте
  • Теперь парсер SE::Yandex по умолчанию использует https, избегая ненужного редиректа
Исправления в связи с изменениями в выдаче
  • SE::Bing, Rank::Archive, SE::AOL, SE::IxQuick, SE::Yahoo, Rank::Linkpad
Исправления
  • JavaScript парсеры: исправлена обработка checkbox в настройках
  • JavaScript парсеры: исправлено падение при одновременном запуске нескольких заданий
  • SE::Bing::AddURL - исправлена работа при неверно разгаданной каптче
  • SE::Google::Trends - исправлена работа с неанглийскими запросами
  • В парсере Net::HTTP исправлена работа опции Check next page в редких случаях
  • Исправлена работа со сжатым контентом для редких сайтов


Сообщение добавлено 01.05.2017 в 12:36

1.1.853 - новые парсеры и каталог пресетов



У нас появился каталог парсеров и пресетов, на данный момент он находится в процессе наполнения. Каталог полностью интегрирован с A-Parser, позволяет в один клик установить необходимый пресет и сразу его использовать. Загрузка в каталог доступна для всех пользователей A-Parser, попробуйте, это просто и удобно

Улучшения
  • Новый парсер HTML::EmailExtractor - собирает адреса электронной почты с указанных страниц, поддерживает обход сайтов в глубину(парсинг соседних страниц или всего сайта)
  • Новый парсер Rank::Social::Signal - проверяет количество социальных сигналов для указанной ссылки, возвращает число лайков, репостов и комментариев для Facebook, число лайков в Google+ и Pinterest, количество репостов Вконтакте и LinkedIn
  • Добавлена возможность устанавливать приоритет заданиям, подробное обсуждение
  • Оптимизирована работа при большом числе активных заданий
  • Оптимизирована версия A-Parser для ОС Linux x64
  • Для парсера SE::QIP добавлена опция Not found is error, призванная устранять ошибки поисковика, когда он случайным образом отдает пустые результаты
  • В парсере SE::Google::Trends добавлен сбор данных по категориям "В тренде" и "Лидеры"
Исправления в связи с изменениями в выдаче
  • SE::DuckDuckGo, SE::IxQuick, SE::Bing::AddURL
Исправления
  • В парсере SE::Google исправлена работа с каптчей при использовании языка интерфейса гугла отличного от английского
  • В парсере Rank::SimilarWeb исправлена обработка доменов которые не существуют в статистике SimilarWeb
  • Исправлен парсинг выдачи в SE::Bing если выбран язык отличный от английского
  • Исправлена загрузка пресетов которые содержат удаленные(устаревшие) парсеры


Сообщение добавлено 15.05.2017 в 13:39

1.1.873 - парсинг Google со скоростью 10000+ запросов в минуту

В версии A-Parser 1.1.873 добавлен новый парсер SE::Google::Fast позволяющий парсить Google со скоростью 10к+ запросов в минуту без использования антикаптчи



Улучшения
  • Новый парсер SE::Google::Fast - быстрый парсер выдачи гугла, способен развить скорость более 10000 запросов в минуту без использования антикаптчи
  • Новый парсер SE::Google::ByImage - парсер картинок из Google по ссылке на картинку
  • В парсере Rank::SimilarWeb добавлена поддержка антикаптчи
  • В парсере Rank::Linkpad добавлены новые параметры для сбора - ранк домена, процент nofollow и безанкорных ссылок, число доноров по IP и подсетям, а также стоимость размещения ссылок
  • JavaScript парсеры: добавлен параметр browser для this.request, позволяющий автоматически эмулировать заголовки браузера
  • В инструменты tools добавлена возможность кодировать и декодировать base64
  • Теперь в tools.data содержится большое количество предустановленной информации - языки, регионы, домены для поисковых систем Google и Яндекс
Исправления в связи с изменениями в выдаче
  • Rank::SimilarWeb, SE::Google::Images, Rank::MajesticSEO
Исправления
  • Исправлена уязвимость позволяющая читать файлы на сервере при известном пароле
  • Исправлена ошибка в тестировщике заданий - могли обрабатываться не все запросы
  • При использовании tools.query.add задание могло зависнуть в очереди, ошибка появилась в предыдущем релизе
  • Исправлена работа tools.js на ОС Linux
  • Исправлена утечка памяти при использовании JavaScript парсеров
  • Исправлена работа опции Динамический лимит потоков


Сообщение добавлено 05.06.2017 в 20:34

Новый каталог парсеров и пресетов

Представляем наш новый каталог парсеров и пресетов - это бесплатные дополнения и примеры для всех пользователей A-Parser Pro и A-Parser Enterprise. Каталог полностью интегрирован с парсером, установка из каталога происходит в один клик



Подавляющее большинство примеров были перенесены из старого каталога, часть из них была обновлена. Небольшое кол-во примеров переехали в наш FAQ, т.к. их формат не совсем вписывался в новый каталог. Более того, теперь в каталоге доступны все наши обучающие видео и статьи. Также добавлены примеры JavaScript-парсеров. Каталог разбит на категории, что облегчает поиск нужного примера

На данный момент в каталоге 100 парсеров и пресетов, 9 видео и 2 обзорных статьи, вот некоторые из них:
  • Парсинг текстовки по ключу одним заданием
  • Парсер Google Translate
  • Парсер ключевых слов и бидов из 7search
Любой пользователь может добавить в каталог свой пресет, за что ему будет большая благодарность Присылайте свои идеи для новых парсеров, самые интересные и востребованные мы обязательно реализуем!

Сообщение добавлено 26.06.2017 в 16:38

Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК

17-й сборник рецептов. В нем мы будем парсить картинки из популярного фотохостинга Flickr; научимся писать JavaScript парсеры и определять язык ключевых слов; разберемся, как получать список пользователей, которые лайкнули пост во Вконтакте. Поехали!

Парсер изображений с Flickr
Flickr - это один из наиболее популярных фотохостингов. Согласно Википедии еще в 2011 году кол-во фото на нем превысило отметку в 6 млрд и продолжает активно расти. Именно поэтому поиск фото на данном хостинге - это актуальная задача, и она легко решается с помощью A-Parser. Подробности по ссылке выше.


JS::Yandex::LangDetect::Key - определение языка ключевого слова через Яндекс Переводчик
Как известно, в юбилейном 100-м релизе А-Парсера появился давно ожидаемый функционал: JavaScript парсеры. Благодаря этому возможности парсера значительно выросли, а также теперь можно выполнять задачи еще быстрее и эффективнее.
Бывает, что нужно получить ключевые слова только на каком-то определенном языке, и возникает задача определения этого самого языка для каждого ключа. С этим неплохо справляются различные переводчики. К примеру Яндек.Переводчик. В этом примере будет показано создание JS-парсера для решения данной задачи, подробности, как обычно, по ссылке выше.


Получение списка пользователей, которые лайкнули пост в VK
Вконтакте - это одна из самых популярных социальных сетей на територии СНГ. Поэтому парсинг различных данных из нее - это очень востребованные задачи. В нашем каталоге можно найти несколько таких пресетов, а в данном примере будет показан парсинг списка пользователей, которые лайкнули определенный пост. Это может быть полезно, например, при проведении различных акций, когда требуется получить такой список пользователей. Детали по ссылке выше.


Кроме этого:
  • JS::TitleFromSE - парсинг тайтлов по ключу одним заданием
  • JS::Yandex::LangDetect - определение языка страницы через Яндекс Переводчик
  • JS::TextFromSE - парсинг текстовки по ключу одним заданием
Еще больше различных рецептов в нашем обновленном Каталоге!

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.
  • Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
  • Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
  • Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
  • Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
  • Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
  • Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
  • Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
  • Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
  • Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
  • Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
  • Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
  • Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок
  • Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query
  • Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты
  • Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu
  • Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей


A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
A-Parser Support вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 11.07.2017, 10:43   #6
 
Аватар для A-Parser Support
 
Сообщений: 6
FR (активность): 331

Доп. информация
По умолчанию Автор темы

1.1.888 - парсер РосКомНадзора и переводчики Google и Яндекса



Улучшения
  • Новый парсер Check::RosKomNadzor - проверяет наличие домена или ссылки в реестре запрещенных сайтов, для работы необходим антигейт
  • Новый парсер SE::Google::Translate - переводчик текста через сервис Google Translate
  • Новый парсер SE::Yandex::Translate - переводчик текста через Яндекс.Переводчик
Исправления в связи с изменениями в выдачи
  • Парсер SE::DisconnectMe удален в связи с постоянным редиректом на DuckDuckGo, используйте SE::DuckDuckGo
  • SE::Google::Images, SE::Google, SE::Yandex::Images
Исправления
  • В парсере Net::Whois исправлена работа с доменной зоной .fr
  • SE::Google - не собирались Related keywords на языках интерфейса отличного от английского
  • Исправлен обход защиты CloudFlare на ОС Linux
  • Исправлено падение при запуске задания с удаленным конфигом потоков
  • Не корректно работало переопределение tools.js в задании, ошибка появилась в предыдущей версии
  • В парсере SE::Google::ByImage не выводился Raw data
  • В парсер Rank::SimilarWeb не корректно определялся totalvisits
  • Не работало изменение названия пресета при импорте


A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
A-Parser Support вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 17.07.2017, 00:37   #7
 
Аватар для Coolwarenik
 
Сообщений: 4
FR (активность): 394

Доп. информация
По умолчанию

А если ещё XEvil к нему прикрутить, так вообще огонь получается
Coolwarenik вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Старый 21.07.2017, 13:38   #8
 
Аватар для A-Parser Support
 
Сообщений: 6
FR (активность): 331

Доп. информация
По умолчанию Автор темы

Больше, лучше, быстрее - расширение команды поддержки

Всем привет, мы расширили команду поддержки пользователей!


Встречайте наших героев:
  • Ярослав - руководитель службы поддержки
  • Денис и Юра - наши новые специалисты
Также мы увеличили количество каналов для ваших вопросов:
  • Тикет система, онлайн чат и форум поддержки
  • Все популярные мессенджеры: Skype, Telegram, ICQ, Jabber
И самое главное: мы обновили документацию и продолжаем наполнять наш каталог парсеров и пресетов - уже более 140 готовых примеров! Предлагайте свои идеи и мы обязательно их реализуем!

Сообщение добавлено 31.07.2017 в 17:24

1.1.899 - автоматическое распознавание Яндекс каптчи и новый парсер мобильной выдачи Google

В A-Parser 1.1.899 добавлено автоматическое распознавание новой Яндекс каптчи, без использования антигейта:



Как следствие скорость парсинга Яндекса сильно выросла:



Улучшения:
  • Добавлен парсер SE::Google::Mobile - парсер мобильной и современной десктоп выдачи(режим переключается в настройках)
  • В парсере SE::Google::Translate названия языков теперь указаны на английском
  • В парсер Shop::Amazon добавлена возможность указать домен амазона
  • Добавлена возможность пропускать сохранение в файл указав в шаблоне пустое название файла
  • Улучшен просмотр HTML кода в дебаг режиме - отключена возможность перезагрузки интерфейса парсера
Исправления в связи с изменениями в выдаче:
  • SE::Google::Fast, Shop::Amazon
  • SE::Yandex - исправлена обработка каптчи
  • SE::Yandex - исправлен сбор рекламных блоков
  • В парсере SE::Rambler исправлена загрузка каптчи


Сообщение добавлено 10.08.2017 в 08:10

Видео урок по созданию парсера на языке JavaScript

Задача: Оценить страницу сайта на предмет тематики, рассчитать плотность ключевых слов на странице сайта и упорядочить результат по убыванию плотности ключевых слов.


Готовый парсер можно взять в нашем каталоге пресетов: Подсчет плотности ключевых слов

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Сообщение добавлено 23.08.2017 в 13:15

1.1.918 - улучшена работа с override и отдельные append/preppend text для каждого файла



Улучшения:
  • Изменена работа с override: устранена возможность их дублирования, а также улучшен выбор и добавление настроек в пресет в один клик

  • Добавлена возможность для каждого файла результатов задавать индивидуальные Начальный/Конечный текст
Исправления в связи с изменениями в выдаче:
  • SE::Dogpile, Rank::MajesticSEO, SE::Google::Images, SE::Yandex
Исправления:
  • Исправлены падения при работе JS парсеров на Windows 10
  • Исправлен баг с "белым экраном", который появился в предыдущей версии
  • Парсер Rank::SimilarWeb удален в связи с требованием правообладателей
  • Исправлен баг, при котором не срабатывал шаблон в Общем формате результата при пустом имени файла результата, появился в версии 1.1.896
  • Исправлена работа с каптчей в SE::Google при работе через IPv6 прокси


Сообщение добавлено 05.09.2017 в 16:03

Видео урок: Парсинг пользователей ВК, которые лайкнули определенный пост

В этом уроке будет рассмотрен пример получения с помощью А-Парсер списка пользователей социальной сети Вконтакте, которые лайкнули выбранный пост.
Такую информацию можно использовать для дальнейшего маркетинга, например, для рассылки сообщений только заинтересованным пользователям или проведения различных акций.


Урок включает в себя:
  • Парсинг социальной сети Вконтакте после авторизации
  • Отправка POST-запросов парсером и разбор результата
  • Использование Cookies в парсинге

Готовый парсер можно взять в нашем каталоге пресетов: Получение списка пользователей, которые лайкнули пост в VK

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Сообщение добавлено 28.09.2017 в 13:44

Сборник рецептов #18: скриншоты сайтов, lite выдача Яндекса и проверка сайтов

18-й сборник рецептов. В нем мы будем смотреть как выглядят сайты сразу в нескольких браузерах, протестируем облегченную выдачу Яндекса и проверим сайты в Яндексы. Кроме этого в сборнике предоставлены парсер для проверки существования e-mailов и пресет для получения позиций сразу по нескольким регионам. Итак, поехали!

Автоматизация тестирования сайтов в разных браузерах

Наверное каждый разработчик сайтов сталкивается с вопросом тестирования своих наработок в различных браузерах. Можно конечно держать для этого несколько виртуальных машин, что далеко не совсем рационально. Можно собирать отзывы от пользователей, что негативно влияет на общее впечатление от сайта тех же пользователей. А можно воспользоваться специализированными сервисами. Например BrowserStack. А с помощью А-Парсера этот процесс можно еще и автоматизировать, если к примеру нужно сразу протестировать множество сайтов. Как это сделать - читайте по ссылке выше.


Парсинг lite выдачи Яндекса

Недавно на Хабре была опубликована статья о lite выдаче поиска Яндекса. Нам стало интересно, насколько такая выдача может быть полезной в сравнении с обычной с точки зрения парсинга. Мы с помощью функционала JS парсеров сделали новый парсер и сравнили его со стандартным. Как это было, что из этого вышло и какие получились выводы, а также готовый парсер lite выдачи Яндекса - по ссылке выше.


Проверка сайта в Яндекс

Поисковую выдачу Яндекса можно использовать для решения самых разных задач. Одна из них - проверка сайтов на различные типы угроз. Яндекс отмечает такие сайты в выдаче специальными метками. С помощью A-Parser можно быстро проверить большие списки сайтов на наличие таких меток. Как это сделать - описано по ссылке выше.


Кроме этого:
  • JS::SE::Yandex:: Position::ByRegion - проверка позиции сайта в Яндексе сразу по нескольким регионам
  • JS::MailValidator - проверка существования e-mail адресов
Еще больше различных рецептов в нашем обновленном Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники
  • Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
  • Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
  • Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
  • Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
  • Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
  • Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
  • Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
  • Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
  • Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
  • Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
  • Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
  • Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок
  • Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query
  • Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты
  • Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu
  • Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей
  • Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК


Сообщение добавлено 09.10.2017 в 12:17

Получение позиций сайта одновременно для нескольких регионов


Обычно для получения позиций сайта в Яндексе используется SE::Yandex:: position. Но если возникает задача получить позиции для нескольких регионов, при этом для каждого региона нужно проверять позицию отдельного поддомена, то нужно делать много однотипных заданий с разными регионами, что несколько неудобно. Решение можно значительно упростить, использовав функционал JavaScript парсеров и написав небольшую обертку вокруг SE::Yandex:: position

Урок включает в себя:
  • Написание JS парсера
  • Использование стандартных встроенных парсеров в JS парсере
  • Переопределение настроек стандартного парсера при обращении к нему

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Сообщение добавлено 11.10.2017 в 19:28

Прием оплаты криптовалютами (Bitcoin и т.п.)

После отключения приема Интеркассой биткоинов, мы добавили собственную возможность оплаты в личном кабинете различными криптовалютами. Поддерживаются Bitcoin, BCH, LTC, ETH и другие альткоины.


Для того чтобы сделать оплату, достаточно выбрать в личном кабинете соответствующий способ:


И проследовать дальнейшим инструкциям, выбрав нужную криптовалюту.

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

Сообщение добавлено 19.10.2017 в 14:52

Сборник рецептов #19: публикация сообщений в Wordpress, парсинг Chrome Webstore и AliExpress

19-й сборник рецептов. В нем мы будем постить сообщения в блоги Wordpress, парсить Chrome Webstore и AliExpress. Поехали!

Постинг сообщений в Wordpress блоги
Как известно, А-Парсер - это многофункциональный парсер. И он настолько многофункционален, что может не только парсить, но и постить! О том, как это сделать, пойдет речь в этой статье. В качестве примера выбран один из самых популярных движков - Wordpress. Все подробности, а также готовый постер - по ссылке выше.



Получение ссылок на плагины из Chrome Webstore
Браузер Chrome является одним из самых популярных в мире. И в нем практически с самого начала существования есть поддержка расширений, которые доступны в специальном магазине. Данный магазин представляет собой обычный сайт, который, как и любые другие, можно парсить. Полученная информация может быть использована к примеру для создания собственного магазина расширений или парсинга текстовок. Детальнее о том, как создавать такие парсеры - в статье по ссылке выше.



Парсер AliExpress
AliExpress - это одна из крупнейших торговых онлайн площадок. Парсинг данных о товарах из алиэкспресс позволяет проводить сравнение цен, получать картинки и названия товаров. Готовый парсер JS::Shop::AliExpress доступен в нашем каталоге по ссылке выше.



Кроме этого:
  • Анализ скорости отклика страниц на сайте
  • Скачивание файлов формата mp3
  • Длина и объем текста

Еще больше различных рецептов в нашем обновленном Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники:
  • Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
  • Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов
  • Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
  • Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
  • Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
  • Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
  • Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
  • Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
  • Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
  • Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
  • Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
  • Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок
  • Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query
  • Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты
  • Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu
  • Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей
  • Сборник рецептов #17: картинки из Flickr, язык ключевых слов, список лайков в ВК
  • Сборник рецептов #18: скриншоты сайтов, lite выдача Яндекса и проверка сайтов


Сообщение добавлено 09.11.2017 в 13:21

1.2.0 - обновленный интерфейс и множество улучшений

Мы рады представить релиз A-Parser 1.2.0 - результат почти двухмесячной разработки на бета-канале!
Полностью обновленный интерфейс, переработан ряд парсеров, реализовано множество различных улучшений.



Новые парсеры
  • SE::Google::Modern - теперь старая, новая и мобильная выдачи в одном парсере, а также поддержка работы с каптчами и рекаптчами
  • Util::ReCaptcha2 - распознавание Google ReCaptcha2 через популярные сервисы (anti-captcha, rucaptcha, CapMonster, а в скором будущем и xevil)

Улучшения
  • Полностью обновлен интерфейс
  • Добавлен статусбар, в котором выводится
    • статус парсера
    • количество работающих и всего заданий
    • количество живых и загруженных прокси
    • количество задействованных потоков
  • Полностью изменен выбор файлов запросов. Теперь легко можно выбирать несколько файлов, а также папки целиком
  • Реализована возможность получать JSON для API прямо в Редакторе заданий
  • Добавлен поиск во всех списках
  • Добавлена возможность сворачивания меню для увеличения рабочей области
  • В Тестовом парсинге добавлена новая область быстрых настроек: отключение автоскрола и включение debug режима
  • Добавлено предупреждение о риске затереть конфиг при обновлении через интерфейс
  • Добавлена возможность включения форматирования больших чисел
  • JS парсеры: добавлена опция use_proxy для this.request, которая позволяет переопределить использование прокси для отдельного запроса внутри JS парсера поверх глобального параметра Use proxy
  • JS парсеры: this.util переименован в this.utils и добавлены новые функции
  • JS парсеры: добавлена группировка в списке парсеров
  • Изменена иконка приложения, а также иконки некоторых парсеров
Исправления
  • Исправлена ситуация, когда оставались форматы запросов с предыдущего открытого задания
  • Исправлен перевод запросов с кавычками в SE::Yandex::Translate
  • Исправлен баг с сохранением переменных уникализации в некоторых случаях
  • Исправлена ошибка в SE::Google при работе со старой каптчей
  • Исправлена ошибка при открытии лога (возникла в одной из предыдущих версий)
  • Исправлена ошибка при удалении заданий (возникла в одной из предыдущих версий)
Исправления в связи с изменениями в выдачи
  • В SE::Google исправлена проблема с использованием всех попыток при получении каптчи
  • Shop::Amazon, SE::Ask, SE::Yandex, SE::Comcast, SE::Google::SafeBrowsing, SE::Google::ByImage, Shop::Yandex::Market, SE::Bing::Images, SE::AOL, SE::IxQuick, Rank::Semrush::Keyword, Rank::MajesticSEO

Впереди у нас еще очень много планов, поэтому оставайтесь с нами и следите за новостями!

Сообщение добавлено 21.11.2017 в 12:18

Сборник статей #1: A-Parser для маркетологов, SEO-специалистов и реальный опыт работы

Мы начинаем публикацию статей об использовании A-Parser для решения различных задач.
В этом сборнике будет рассмотрено использование А-Парсера SEO-специалистами и маркетологами, а также описан реальный пользовательский опыт работы. Поехали!

A-Parser для SEO специалиста

В статье рассмотрена актуальность использования A-Parsera в работе SEO мастера. Определено место парсера в системе SEO оптимизации. На конкретных примерах продемонстрирована его практическая ценность.


Интернет-маркетинг и A-Parser

В статье рассмотрены понятия интернет-маркетинга и место в нем A-Parser. Актуализирован вопрос целесообразности использования парсера для интернет-маркетинга. Показаны практические примеры использования парсера в области интернет-маркетинга.


Как я пришел к покупке A-Parser в 2016 году!

Описание реального опыта использования парсера одним из наших пользователей. На примере одной из задач показан подход к ее решению и реальная финансовая выгода.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.


A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
A-Parser Support вне форума  
Ответить с цитированием Сказать Плохо за это бесполезное сообщение Быстрый ответ на это сообщение
Ответ

Быстрый ответ
Ваше имя пользователя: Регистрация. Для входа нажмите здесь
Случайный вопрос

Сообщение:
Опции


Опции темы
Опции просмотра Оценка этой теме
Оценка этой теме:

Ваши права в разделе
Вы не можете создавать новые темы
Вы можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

Похожие темы
Тема Автор Раздел Ответов Последнее сообщение
Боты поисковых систем СТЕПАН Другие поисковые системы 1 16.09.2017 19:46
WebParser теперь на форуме SeoCafe, Парсер поисковых систем яндекс, гугл... Angelys Программы, движки 34 25.03.2014 11:20
Бесплатно: Список поисковых систем Sergei22531 Каталоги сайтов и базы 0 14.07.2011 13:44
Критерии вывода в ТОП поисковых систем vasya-t Раскрутка в общих чертах 2 09.02.2010 17:19

Текущее время: 04:54. Часовой пояс GMT +3.