Python-сообщество

Нужно примерно каждую секунду обновлять N страниц (get запрос), каждую из страниц через отдельный прокси (в случае ошибки брать другой прокси из некоторого пула), для каждой из страниц есть доп. информация, которая сравнивается с тем, что было получено со страницы, и, в случае, если найдено некоторое совпадение, отправляется дополнительный post-запрос с полученными данными со страницы.

На чем и как это грамотнее реализовать? Grab/Scrapy/Tornado/Asyncio-Aiohttp?

Решал похожую задачу, в Grab присутствует весь нужный функционал. Особенно удобно работать с прокси.
С другими фреймворками пока еще не работал, сказать ничего не могу

info
На чем и как это грамотнее реализовать? Grab/Scrapy/Tornado/Asyncio-Aiohttp?

На чём тебе удобнее, нужного результата можно достигнуть на всём перечисленном.
Grab/Scrapy более высокоуровневые либы, на них можно быстрее и удобнее решить подобную задачу.

Но очевидно, что Scrapy круче Grab.

Отредактировано Budulianin (Июль 12, 2015 22:08:08)