Уведомления

Группа в Telegram: @pythonsu

#1 Авг. 9, 2010 13:06:09

Evg
От:
Зарегистрирован: 2008-12-25
Сообщения: 346
Репутация: +  -1  -
Профиль   Отправить e-mail  

Поток задач

Вообщем есть такая задача.
Поток заданий сливается в таблицу и должен по мере свободных ресурсов быть обработан:
Вижу два пути:
1. скрипт который постоянно висит в памяти и постоянно щелкает эти задачи. Смущает его постоянное присутсвие в памяти и возможные утечки памяти.
2. скрипт запускается по крону очень часто. Но тут встает проблема как защититься от повторного запуска скрипта если предидущий запуск не завершил работу (чтобы не разраслось число запущенных скриптов). Как наиболее грамотно рещить эту задачу блокировки?

Кто, как видит идеальный вариант решения такой задачи?



Офлайн

#2 Авг. 9, 2010 13:35:23

Alex2ndr
От:
Зарегистрирован: 2009-12-26
Сообщения: 204
Репутация: +  0  -
Профиль   Отправить e-mail  

Поток задач

Evg
2. скрипт запускается по крону очень часто. Но тут встает проблема как защититься от повторного запуска скрипта если предидущий запуск не завершил работу (чтобы не разраслось число запущенных скриптов). Как наиболее грамотно рещить эту задачу блокировки?
Сделать pid файл

Evg
Кто, как видит идеальный вариант решения такой задачи?
Все от задачи зависит. Первое что пришло в голову - много потоков и очереди :)



Отредактировано (Авг. 9, 2010 13:39:10)

Офлайн

#3 Авг. 9, 2010 13:56:57

Ed
От:
Зарегистрирован: 2008-12-13
Сообщения: 1032
Репутация: +  13  -
Профиль   Отправить e-mail  

Поток задач

Я бы выбрал второй, если частота запуска из-под крона устраивает. Плюс локи элементарные на flock.



Офлайн

#4 Сен. 20, 2010 18:25:28

anti_social
От:
Зарегистрирован: 2010-09-20
Сообщения: 1
Репутация: +  0  -
Профиль   Отправить e-mail  

Поток задач

Сельдерей как раз для вас: http://celeryq.org/docs/index.html



Офлайн

#5 Сен. 20, 2010 21:27:21

o7412369815963
От:
Зарегистрирован: 2009-06-17
Сообщения: 1986
Репутация: +  32  -
Профиль   Отправить e-mail  

Поток задач

я сделал по 1 варианту, работает стабильно уже более года

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version