вот код который собирает ники со страничек этого форума
import urllib, re, time
start, f, count = time.time(), open("user.txt", "w+"), 115
while True:
if count == 122:
f.close()
print 'collection time:', time.time() - start, '\n', 'collected:', str(len(open('user.txt', 'r').readlines()))
break
for user in (re.findall('profile.php\?id=\d+\">([^<]+)</a>', urllib.urlopen('http://python.su/forum/userlist.php?username=&show_group=-1&sort_by=username&sort_dir=ASC&p='+str(count)).read())):
f.write(user + '\n')
print user
count += 1
import urllib, re, threading, Queue
f, queue = open("user.txt", "w+"), Queue.Queue()
def start():
while True:
if queue.empty():
if t.isAlive():
break
break
for user in (re.findall('profile.php\?id=\d+\">([^<]+)</a>', urllib.urlopen(queue.get()).read())):
f.write(user + '\n')
print user
queue.task_done()
for count in [x for x in xrange(115, 122, 1)]:
queue.put('http://python.su/forum/userlist.php?username=&show_group=-1&sort_by=username&sort_dir=ASC&p='+str(count))
for i in xrange(5):
t = threading.Thread(target = start)
t.start()
queue.join()
p.s. форум в качестве рабочего примера выбран исключительно для самообразования.