Python-сообщество

> курл внутри торнадо, а вот я так и не понял, в грабе потоки с Джилом или мультипроцессинг?
Grab это интерфейс работы с одним сетевым запросом. Вы можете по своему вкусу использовать модули threading или multiprocessing для параллельного запуска множества операций с grab-объектами.

Grab::Spider это фреймворк для написания асинхронного парсера: процесс (программа) один делает множество сетевых запросов асинхронно. Асинхронность реализована с помощью multicurl.