Python-сообщество

 Python 3.6.1 (v3.6.1:69c0db5050, Mar 21 2017, 01:21:04) 
[GCC 4.2.1 (Apple Inc. build 5666) (dot 3)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import numpy
>>> numpy.arange(0,100)
array([ 0,  1,  2,  3,  4,  5,  6,  7,  8,  9, 10, 11, 12, 13, 14, 15, 16,
       17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33,
       34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50,
       51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67,
       68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79, 80, 81, 82, 83, 84,
       85, 86, 87, 88, 89, 90, 91, 92, 93, 94, 95, 96, 97, 98, 99])
>>> 

 from joblib import Parallel, delayed
import requests
 
# собственно задача для распараллеливания: сайт один, но страницы будем запрашивать одновременно.
def func(n):
    url = 'http://poesy.su/tag/stihi-klassikov/page/{}/'.format(n)
    resp = requests.get(url)
    return resp.status_code
 
 
def parallel(n_tasks, backend, verbose=0):    
    
    result = Parallel(
        n_jobs=-1,        # использовать все доступные ядра
        backend=backend,  # бэкенд, может быть 'multiprocessing', 'threading' и 'sequential'(это последовательное выполнение - используется для теста)
        verbose=verbose   # уровень подробности: сколько заданий показывать в логе
        )(  # это генераторное выражение, которое формирует задания с функциями для выполнения
            delayed(func)(i) for i in range(1,n_tasks)
        )
    print(result)
 
 
if __name__ == "__main__":
     n_tasks = 100
     for backend in ['multiprocessing', 'threading', 'sequential']:
        print('---------',backend,'---------')
        parallel(n_tasks, 
                backend, 
                verbose=n_tasks//10 # отображать только 1/10 часть заданий 
                )