Python-сообщество

ks · Фев. 16, 2012 23:38:01

dumpz.org/160218/ и paste.in.ua/3882/ — результаты моего корпения над scrapy.

Есть три вопроса на эту тему:

как отослать этот запрос

from = urllib2.build_opener()

opener.addheaders = [('cookie', cookie)]

opener.open('wordstat.yandex.ru/?cmd=words&page=1&text=&geo=&text_geo=&captcha_id=%s&captcha_val=', key)

— Яндексу… где key — известная нам штука, а cookie — неизвестная?

Как сделать дальнейшие путешествия нашего паука под этими же куками?

И третий — как его маленько замедлить?
А-то он сильно быстро бегает и долбит и без того замучанный Яндекс. :)

AlexOdUa · Июнь 18, 2013 12:04:18

# https://scrapy.readthedocs.org/en/0.16/topics/settings.html#std:setting-DOWNLOAD_DELAY
# settings.py

DOWNLOAD_DELAY = 0.25 # 250 ms of delay

Python-сообщество

Уведомления

#1 Фев. 16, 2012 23:38:01

Scrapy использование с куками - как? И как его замедлить?

#2 Июнь 18, 2013 12:04:18

Scrapy использование с куками - как? И как его замедлить?

Board footer