Тяжёлый PHP из Cron

Уважаемые Форумчане. Подскажите решение пожалуйста. Можно ли при помощи Cron заданий, открывать PHP файлик, который через Curl сканирует URL адреса на наличие там ссылок в тексте.

Естественно Curl предполагается использовать через цикл, и этот цикл будет очень тяжелым. В итоге, получается что то вроде фоновой "индексации" URL адресов. Справится ли Cron, при проверке более 1000 ссылок??? Если нет, то может подскажите, куда копать?

а чем плохо сразу curl использовать ?

Нужно проверять по большому количеству ссылок раз в неделю и записывать рез-т в СУБД. Если просто написать на PHP нужно каждую неделю открывать эту страницу, а она не откроется из-за лимитов выполнения php скрипта по времени. Увеличить время??? Число ссылок для проверки растет, да и в ручную не очень удобно... Вот и немогу придумать реализацию АВТОМАТИЧЕСКОЙ проверки в фоновом режиме.
upgreyt, или я тебя не правильно понял???

конджобс можно запускать 3-мя способами php, wget и curl . Как вы будете запускать задание крон ?

Крон пропишу в ISPmanager, в котором укажу файл php, который в свою очередь циклит проверку ссылок. Но вопрос в том, что вряд ли это получится осуществить в фоновом режиме, при проверке огромного числа ссылок... Или можно так сделать???

Тут нужно через многопоточный CURL делать + лимит на время выполнения скрипта увеличивать.

bazan, если сервер позволит сделать неограниченное выполнение скрипта, то делайте так, как описали. Если не позволит, то пусть каждый час по 5шт URL проходит.

Caffeine666, наверно так и придется, и прописывать в СуБД вермя последней проверки, что бы один и тот же адрес не гонять.
А можно как нибудь не через Cron? Я занаю, что мало знаю... Может я не туда нос сую, но есть веб сервисы, кроме поисковиков, которые тоже индексируют сайты. Как у них устроена эта индексация??? Дополнительным ПО на сервере что ли?

bazan, как вариант, написать программу и пусть она запускается у вас на персональном ПК,
парсит и все необходимое делает, потом отправляет GET, ну или POST запросы на ваш сайт (записывает в базу результаты). В принципе, если у вас так горит это сделать, то освоиться программисту в другой среде - не долго.

Вобщем решил таким образом... Сделал ежечасный cron, им я перебераю URL, которые старее недели, проверяю и обновляю время проверки URL в СУБД. И думаю так, если адресов очень много, то цикл проверки прекратится с ошибкой из-за времени выполнения php и то что успел проверить запишется в MySQL, а что не устеет отбирется по времени из СУБД в следующей проверке.

Так сказать сделал расчет на ошибку, я знаю что это не правильно, но к чему это может привести? К записи логов только?

Ребят, вот нарыл у себя python на ISP. Он подходит для таких задач? Может как раз туда копать то?

не знаю может не в тему но я сделал обход задач по времени так
есть файл имеющий адреса
есть скрипт1, который получает адрес и осуществляет проверку, для него выставляем безлимит времени и указываем в нем отдачу заголовков "говорящих" формирование страницы завершено, т.е. получается, что скрипт работает, но иной скрипт или браузер его запустившие получают сразу ответ и прекращают с ним работу.

и есть скрипт2 (порцовщик), который запускается по крон скрипт1 с нужным адресом:

при этом решается проблема, когда скрипт2 производить множественный запуск скрипта1 парсинга страниц и все операции выполняются по очереди, но ни один хост не будет работать с php скриптом безгранично долго, на локальной машине это можно решить перегрузкой страницы, а в нашем случае на хосте именно передачей нужных заголовков, заголовок не подскажу, нахожусь за левой машиной, к скрипту сейчас доступов нет.

еще смотрел как-то передачу по сео с крутым выдвиженцем он сказал, что их студия объединяется с множеством аналогичных проектов и они все сливают свои хосты в одном решении, парсят сайты на наличие ссылок, собирая статистику для анализа