Уведомления

Группа в Telegram: @pythonsu

#1 Дек. 7, 2014 10:06:44

Bdfy1
От:
Зарегистрирован: 2009-11-03
Сообщения: 33
Репутация: +  0  -
Профиль   Отправить e-mail  

Посоветуйте решение задачи

Есть много логов. Нужно эти логи парсить (почти в реальном времени + в дальнейшем с ними производить вычисления ).
Предполоагается:
1) на python написать скрипт в котором в главном потоке через subprocess запускать tail, одновременно запустить несколько обработчиков каждой строки через threads и организовать очередь, в которую главный процесс будет кидать задания, threads будет эти задания брать и обрабабывать.
Скажите ли стоит ли с этим заморачиваться, или проще запустить несколько процессов, один из которых будет кидать задания в redis, другие процесс из него брать задания и обрабатывать ?



Офлайн

#2 Дек. 7, 2014 19:09:35

s0rg
От:
Зарегистрирован: 2011-06-05
Сообщения: 777
Репутация: +  25  -
Профиль   Отправить e-mail  

Посоветуйте решение задачи

google://inotify

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version