Вообщем необходимо разделять нагрузку между сервера в обработке файлов, и получать результат. В идеале чтобы распределялось в зависимости от нагрузки серверов. Думаю использовать rabbitmq, но не уверен. Может что то другое нужно?

Думаю если вы укажете больше исходных данных вам помогут советом быстрее

Есть файлы с сырыми данными, необходимо разделять файлы частями между серверами которые будут их обрабатывать и возвращать результат.