Найти - Пользователи
Полная версия: Вопрос по перезапуску паука scrapy
Начало » Python для новичков » Вопрос по перезапуску паука scrapy
1
laughingman
Здравствуйте, вопрос у меня не совсем по python, но все таки. Есть некий паук для которого использовался scrapy. Код который отвечает за парсинг убран в голый эксепшен(много какие ошибки могут произойти)
Собственно сам вопрос - как в этом эксепшене перезапустить паука, не обязательно средствами scrapy можно вариант с bash файлом. У меня знаний не хватает, собственно мои познания питона на уровне детского сада, так как задачи на нем довольно редкие, по этому прошу прощения за не знание простых вещей.
py.user.next
laughingman
У меня знаний не хватает, собственно мои познания питона на уровне детского сада
У автора этого паука тоже может быть такой уровень. В обрабочик исключений весь код не засовывается обычно. Код находится в функции, а функция уже запускается в обработчике исключений.

Для перезапуска должен быть какой-то монитор - процесс, следящий за выполнением другого процесса и проводящий перезапуск в случае ошибок.
laughingman
Для перезапуска должен быть какой-то монитор - процесс, следящий за выполнением другого процесса и проводящий перезапуск в случае ошибок.

Понятно… Что ничего не понятно. Но спасибо за ответ.
py.user.next
laughingman
Понятно… Что ничего не понятно.
По идее, ты должен: 1) код выложить, с которым идёт работа; 2) описать задачу, которую ты пытаешься выполнить с помощью этого кода; 3) привести пример происходящей ошибки; 4) описать своё видение необходимого поведения в случае произошедшей ошибки.

Тогда можно точно сказать, что возможно сделать и что в итоге нужно сделать (эти вещи часто отличаются, потому что возможно сделать обычно многое, а нужно сделать только одно). Возможно, ты делаешь вообще не так всё. Может быть, сам код некачественный и требует замены.

Абстрактная система мониторинга, где одна программа следит за выполнением другой программы, - это распространённый шаблон в устойчивых системах. Где-то для этого есть встроенные средства языка, где-то это нужно собрать из доступных средств языка. Но ещё неизвестно, нужна ли она тебе.
laughingman
Короче говоря, если у кого-то возникнет такая проблема с перезапуском, решается она через
os.execl
. А тему можно закрывать.
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB