Python-сообщество

python -m cProfile -o profiler.dat your_application.py
pyprof2html profiler.dat

# -*- coding: utf-8 -*-
import Queue
import threading
import httplib2
import time
# для оценки скорости
success = 0
time_start = time.time()
def worker():
    """ код потока """
    global success
    global time_start
    h = httplib2.Http()
    h.timeout = 10
    while True:
        time.sleep(0.01)
        try:
            u = q.get_nowait()
            (r, c) = h.request(u, "GET")
            success += 1
            print("{0:.2f}".format(success/(time.time() - time_start)))
        except:
            pass
# создать очередь 
q = Queue.Queue()
# создать потоки
for i in range(50):
    t = threading.Thread(target=worker)
    t.setDaemon(True)
    t.start()
# внести задания в очередь
file = open('u.txt', 'r')
for i in file.readlines():
    q.put(i.rstrip('\r\n'))
file.close()
# ждемс
q.join()

time.sleep(0.01)

# -*- coding: utf-8 -*-
import Queue
import threading
import httplib2
import time
# для оценки скорости
success = 0
time_start = time.time()
def worker():
    """ код потока """
    global success
    global time_start
    h = httplib2.Http()
    h.timeout = 10
    while True:
        try:
            u = q.get()
            (r, c) = h.request(u, "GET")
            success += 1
            q.task_done()
            print("{0:.2f}".format(success/(time.time() - time_start)))
        except:
            pass
# создать очередь 
q = Queue.Queue()
# создать потоки
for i in range(50):
    t = threading.Thread(target=worker)
    t.setDaemon(True)
    t.start()
# внести задания в очередь
file = open('u.txt', 'r')
for i in file.readlines():
    q.put(i.rstrip('\r\n'))
file.close()
# ждемс
q.join()

# -*- coding: utf-8 -*-
import grequests
import time
  
SIMULTANEOUS = 200 
started = time.time()
 
with open('u.txt', 'r') as f:
    urls = f.read().splitlines()
 
reqs = (grequests.get(url, timeout=10) for url in urls)
for i, resp in enumerate(grequests.imap(reqs, size=SIMULTANEOUS)):
    if resp.ok:
        print("{0}/{1} {2:.2f}".format(i, len(urls), i/(time.time() - started)))
        # Можно делать что-то с resp.content или resp.text
        # Нужно учесть, что очередность при imap не соблюдается,
        # но есть resp.url А еще можно пользоваться hook'ами (колбэками)

$ cat /proc/cpuinfo | grep MHz
cpu MHz         : 3411.486