Форум сайта python.su
Доброго времени суток!
Столкнулся со следующей ситуацией. Есть спайдер, который проходит по некой главной странице сайта и берет оттуда ссылки. По каждой ссылке создает таску. И отправляет на выполнение.
Проблема в том, что если запрос к сайту идет чаще, чем раз в 3-5 секунд - таска завершается с ошибкой (403 - у хостера сайта стоит антиддос защита).
Поэтому необходимо задать определенный интервал, с которым спайдер будет запускать на выполнение таски. И если одна таска отработав 0.1 сек выдает ошибку 403 - необходимо что бы следующая таска запускалась не сразу, а не ранее, чем через N секунд.
Собственно, может плохо смотрел в документации, но такого нигде не нашел. Вопрос: как можно сие реализовать?
Офлайн
Dr.Livsi
yield Task(..., delay=10)
Офлайн
спасибо, помогло.
Офлайн