Есть много логов. Нужно эти логи парсить (почти в реальном времени + в дальнейшем с ними производить вычисления ).
Предполоагается:
1) на python написать скрипт в котором в главном потоке через subprocess запускать tail, одновременно запустить несколько обработчиков каждой строки через threads и организовать очередь, в которую главный процесс будет кидать задания, threads будет эти задания брать и обрабабывать.
Скажите ли стоит ли с этим заморачиваться, или проще запустить несколько процессов, один из которых будет кидать задания в redis, другие процесс из него брать задания и обрабатывать ?