Python-сообщество

laughingman · Фев. 20, 2020 21:54:27

Здравствуйте, вопрос у меня не совсем по python, но все таки. Есть некий паук для которого использовался scrapy. Код который отвечает за парсинг убран в голый эксепшен(много какие ошибки могут произойти)
Собственно сам вопрос - как в этом эксепшене перезапустить паука, не обязательно средствами scrapy можно вариант с bash файлом. У меня знаний не хватает, собственно мои познания питона на уровне детского сада, так как задачи на нем довольно редкие, по этому прошу прощения за не знание простых вещей.

py.user.next · Фев. 21, 2020 02:31:59

laughingman
У меня знаний не хватает, собственно мои познания питона на уровне детского сада

У автора этого паука тоже может быть такой уровень. В обрабочик исключений весь код не засовывается обычно. Код находится в функции, а функция уже запускается в обработчике исключений.

Для перезапуска должен быть какой-то монитор - процесс, следящий за выполнением другого процесса и проводящий перезапуск в случае ошибок.

Отредактировано py.user.next (Фев. 21, 2020 02:32:40)

laughingman · Фев. 21, 2020 07:31:40

Для перезапуска должен быть какой-то монитор - процесс, следящий за выполнением другого процесса и проводящий перезапуск в случае ошибок.

Понятно… Что ничего не понятно. Но спасибо за ответ.

py.user.next · Фев. 21, 2020 09:48:45

laughingman
Понятно… Что ничего не понятно.

По идее, ты должен: 1) код выложить, с которым идёт работа; 2) описать задачу, которую ты пытаешься выполнить с помощью этого кода; 3) привести пример происходящей ошибки; 4) описать своё видение необходимого поведения в случае произошедшей ошибки.

Тогда можно точно сказать, что возможно сделать и что в итоге нужно сделать (эти вещи часто отличаются, потому что возможно сделать обычно многое, а нужно сделать только одно). Возможно, ты делаешь вообще не так всё. Может быть, сам код некачественный и требует замены.

Абстрактная система мониторинга, где одна программа следит за выполнением другой программы, - это распространённый шаблон в устойчивых системах. Где-то для этого есть встроенные средства языка, где-то это нужно собрать из доступных средств языка. Но ещё неизвестно, нужна ли она тебе.

Отредактировано py.user.next (Фев. 21, 2020 09:49:08)

laughingman · Фев. 21, 2020 09:54:18

Короче говоря, если у кого-то возникнет такая проблема с перезапуском, решается она через

os.execl

. А тему можно закрывать.

Python-сообщество

Уведомления

#1 Фев. 20, 2020 21:54:27

Вопрос по перезапуску паука scrapy

#2 Фев. 21, 2020 02:31:59

Вопрос по перезапуску паука scrapy

#3 Фев. 21, 2020 07:31:40

Вопрос по перезапуску паука scrapy

#4 Фев. 21, 2020 09:48:45

Вопрос по перезапуску паука scrapy

#5 Фев. 21, 2020 09:54:18

Вопрос по перезапуску паука scrapy

Board footer