Python-сообщество

gtlhbkkj · Сен. 30, 2019 11:56:30

предположим хочу парсить одновременно 10 сайтов. На каждый из 10 сайтов посылается специфический поисковый запрос. Там он какое-то время выполняется, потом парсится результат.
один вебсайт - одна прога парсинга, потому что вебсайты не идентичные
Если указать последовательное выполнение программ, то сначала пропарсится первый сайт, затем второй и так далее.
А как можно этот десяток запросов послать на десяток сайтов одновремено и одновременно обработать результаты запросов, чтобы съэкономить время на обработке запросов на этих сайтах?

Отредактировано gtlhbkkj (Сен. 30, 2019 14:25:36)

zahar · Сен. 30, 2019 17:13:54

multiprocessing

zahar · Сен. 30, 2019 17:14:30

в помощь https://habr.com/ru/post/323238/

gtlhbkkj · Сен. 30, 2019 17:35:25

zahar
в помощь https://habr.com/ru/post/323238/

спасибо. классно.

Python-сообщество

Уведомления

#1 Сен. 30, 2019 11:56:30

как организовать одновременный парсинг нескольких вебсайтов?

#2 Сен. 30, 2019 17:13:54

как организовать одновременный парсинг нескольких вебсайтов?

#3 Сен. 30, 2019 17:14:30

как организовать одновременный парсинг нескольких вебсайтов?

#4 Сен. 30, 2019 17:35:25

как организовать одновременный парсинг нескольких вебсайтов?

Board footer