Найти - Пользователи
Полная версия: Обработка очереди задач
Начало » Python для новичков » Обработка очереди задач
1
ivanzzzz
Есть очередь в которую кладут задания. Мне нужно ее обрабатывать многопоточно. Решил использовать concurrent.futures. Я представляю 2 варианта реализации:
  • Запустить сразу нужное кол-во процессов и передать им очередь как аргумент. Каждый процесс по заверению сам берет следующий элемент из очереди.
  • Сделать менеджера который бы брал элемент из очереди и создавал процесс. По завершению какого-либо процесса повторял бы действия.

Как лучше сделать?
FishHook
ivanzzzz
Сделать менеджера который бы брал элемент из очереди и создавал процесс. По завершению какого-либо процесса повторял бы действия.
Запуск нового процесса может быть весьма затратным мероприятием. Зачем для каждого нового сообщения из очереди заново запускать процесс? Как у вас вообще очередь устроена, на каком движке?
ivanzzzz
FishHook
multiprocessing.Queue
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB