Форум сайта python.su
Нужно примерно каждую секунду обновлять N страниц (get запрос), каждую из страниц через отдельный прокси (в случае ошибки брать другой прокси из некоторого пула), для каждой из страниц есть доп. информация, которая сравнивается с тем, что было получено со страницы, и, в случае, если найдено некоторое совпадение, отправляется дополнительный post-запрос с полученными данными со страницы.
На чем и как это грамотнее реализовать? Grab/Scrapy/Tornado/Asyncio-Aiohttp?
Офлайн
Решал похожую задачу, в Grab присутствует весь нужный функционал. Особенно удобно работать с прокси.
С другими фреймворками пока еще не работал, сказать ничего не могу
Офлайн
info
На чем и как это грамотнее реализовать? Grab/Scrapy/Tornado/Asyncio-Aiohttp?
Отредактировано Budulianin (Июль 12, 2015 22:08:08)
Офлайн