Найти - Пользователи
Полная версия: Scrapy использование с куками - как? И как его замедлить?
Начало » Python для экспертов » Scrapy использование с куками - как? И как его замедлить?
1
ks
dumpz.org/160218/ и paste.in.ua/3882/ — результаты моего корпения над scrapy.

Есть три вопроса на эту тему:

как отослать этот запрос
from = urllib2.build_opener()

opener.addheaders = [('cookie', cookie)]

opener.open('wordstat.yandex.ru/?cmd=words&page=1&text=&geo=&text_geo=&captcha_id=%s&captcha_val=', key)
— Яндексу… где key — известная нам штука, а cookie — неизвестная?

Как сделать дальнейшие путешествия нашего паука под этими же куками?

И третий — как его маленько замедлить?
А-то он сильно быстро бегает и долбит и без того замучанный Яндекс. :)
AlexOdUa
# https://scrapy.readthedocs.org/en/0.16/topics/settings.html#std:setting-DOWNLOAD_DELAY
# settings.py

DOWNLOAD_DELAY = 0.25 # 250 ms of delay
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB