Найти - Пользователи
Полная версия: Быстрый мониторинг
Начало » Network » Быстрый мониторинг
1
info
Нужно примерно каждую секунду обновлять N страниц (get запрос), каждую из страниц через отдельный прокси (в случае ошибки брать другой прокси из некоторого пула), для каждой из страниц есть доп. информация, которая сравнивается с тем, что было получено со страницы, и, в случае, если найдено некоторое совпадение, отправляется дополнительный post-запрос с полученными данными со страницы.

На чем и как это грамотнее реализовать? Grab/Scrapy/Tornado/Asyncio-Aiohttp?
werter
Решал похожую задачу, в Grab присутствует весь нужный функционал. Особенно удобно работать с прокси.
С другими фреймворками пока еще не работал, сказать ничего не могу
Budulianin
info
На чем и как это грамотнее реализовать? Grab/Scrapy/Tornado/Asyncio-Aiohttp?

На чём тебе удобнее, нужного результата можно достигнуть на всём перечисленном.
Grab/Scrapy более высокоуровневые либы, на них можно быстрее и удобнее решить подобную задачу.

Но очевидно, что Scrapy круче Grab.
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB