Python-сообщество

Хочу сделать большое количество запросов к одному сайту (порядка 1 000 000).

Если я буду использовать модуль asyncio, то насколько я понял мне нужно будет сразу набросать все задачи и скормить их event loop, а он уже будет передавать управление между различными корутинами. Мне подобный подход кажется неудобным:
1. Нет возможности установить количество конкуретно выполняющихся задач (т.е. я набросал 1 000 000 задач, но одновременно конкуретно можно выполнять не более 10).
2. Нельзя подбрасывать задачи по мере выполнения, а нужно их создать до запуска event loop.

Как решить эти вопросы?

Отредактировано AlekseyPython (Окт. 24, 2018 10:20:12)

AlekseyPython
Миллион запросов ОДНОВРЕМЕННО сделать никак не получится. Ну просто у операционной системы нет столько дескрипторов. Вы можете отправить их последовательно или параллельно некоторыми пачками и в этом случае, конечно, выгоднее делать это асинхронно

Papa_Svin
AlekseyPythonМиллион запросов ОДНОВРЕМЕННО сделать никак не получится. Ну просто у операционной системы нет столько дескрипторов. Вы можете отправить их последовательно или параллельно некоторыми пачками и в этом случае, конечно, выгоднее делать это асинхронно

AlekseyPython
Я про это и задал вопрос: как создавать зачачи в процессе выполнения и как управлять нагрузкой.

Papa_Svin

AlekseyPython
В стартовом посте нет вопросов, там есть два утверждения, которые не имеют отношения к asyncio.

Papa_Svin
AlekseyPythonВ стартовом посте нет вопросов, там есть два утверждения, которые не имеют отношения к asyncio.

AlekseyPython
Я не понимаю зачем вы меня троллите?

Нет возможности установить количество конкуретно выполняющихся задач

Документация вроде ясно написана.
https://docs.python.org/3/library/asyncio-sync.html#asyncio.Semaphore
https://docs.python.org/3/library/asyncio-queue.html#asyncio-queues

doza_and
Документация вроде ясно написана.https://docs.python.org/3/library/asyncio-sync.html#asyncio.Semaphorehttps://docs.python.org/3/library/asyncio-queue.html#asyncio-queues

  # Wait until the queue is fully processed.
    started_at = time.monotonic()
    await queue.join()
    total_slept_for = time.monotonic() - started_at

 # Cancel our worker tasks.
    for task in tasks:
        task.cancel()

Отредактировано AlekseyPython (Окт. 26, 2018 11:43:50)