DjangoBB LoFi version

Полная версия: Gevent неизвестное количество запросов

Начало » Data Mining » Gevent неизвестное количество запросов

pavi

Янв. 11, 2015 17:32:48

Мне нужно спарсить какое-то количество страниц, но дело в том что я заранее не знаю сколько этих страниц будет. Когда пора остановиться определяется содержимым страницы в ответе от сервера. То есть нужно парсить пока содержимое != ‘stop’. В этом случае синхронный код имеет такой вид:

page = 1
while r.text != 'stop':
    r = request.get(url)
    # действия с ответом
    page += 1
print 'stop'

Происходит это все долго, поэтому решил ускориться при помощи gevent. Я могу генерировать нужное количество запросов, зная сколько страниц будет:

parsers = [gevent.spawn(parser, i) for i in range(1, 50)]
gevent.join_all(parsers)

Но как быть, если я не знаю заранее сколько запросов мне придется сделать?
Помогите пожалуйста кто чем может!

Alex_HH

Янв. 11, 2015 23:05:51

Там где действия с ответом ищите еще и вот такую ссылку (как на картинке), и спокойно переходите на след страницу.