Уведомления

Группа в Telegram: @pythonsu

#1 Июль 18, 2014 10:43:25

Dr.Livsi
От:
Зарегистрирован: 2010-02-15
Сообщения: 192
Репутация: +  3  -
Профиль   Отправить e-mail  

Ограничение времени запросов в grab.

Доброго времени суток!
Столкнулся со следующей ситуацией. Есть спайдер, который проходит по некой главной странице сайта и берет оттуда ссылки. По каждой ссылке создает таску. И отправляет на выполнение.
Проблема в том, что если запрос к сайту идет чаще, чем раз в 3-5 секунд - таска завершается с ошибкой (403 - у хостера сайта стоит антиддос защита).
Поэтому необходимо задать определенный интервал, с которым спайдер будет запускать на выполнение таски. И если одна таска отработав 0.1 сек выдает ошибку 403 - необходимо что бы следующая таска запускалась не сразу, а не ранее, чем через N секунд.
Собственно, может плохо смотрел в документации, но такого нигде не нашел. Вопрос: как можно сие реализовать?



Офлайн

#2 Июль 18, 2014 10:49:19

Singularity
Зарегистрирован: 2011-07-28
Сообщения: 1387
Репутация: +  75  -
Профиль   Отправить e-mail  

Ограничение времени запросов в grab.

Dr.Livsi

yield Task(..., delay=10)
В рассылке можно найти ответ

Офлайн

#3 Июль 21, 2014 09:41:22

Dr.Livsi
От:
Зарегистрирован: 2010-02-15
Сообщения: 192
Репутация: +  3  -
Профиль   Отправить e-mail  

Ограничение времени запросов в grab.

спасибо, помогло.



Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version