Накорябал свой велосипед на основе grab, оказался нестабилен.

Задача - распределенный парсинг клиентами-воркерами по заданиям с сервера, ну и складирование туда же.

Что посмотреть?

Celery + RabbitMQ? Disco? ZeroMQ?

Спасибо.