info
Июнь 16, 2015 09:28:09
Нужно примерно каждую секунду обновлять N страниц (get запрос), каждую из страниц через отдельный прокси (в случае ошибки брать другой прокси из некоторого пула), для каждой из страниц есть доп. информация, которая сравнивается с тем, что было получено со страницы, и, в случае, если найдено некоторое совпадение, отправляется дополнительный post-запрос с полученными данными со страницы.
На чем и как это грамотнее реализовать? Grab/Scrapy/Tornado/Asyncio-Aiohttp?
werter
Июнь 16, 2015 16:08:35
Решал похожую задачу, в Grab присутствует весь нужный функционал. Особенно удобно работать с прокси.
С другими фреймворками пока еще не работал, сказать ничего не могу
Budulianin
Июль 12, 2015 22:07:39
info
На чем и как это грамотнее реализовать? Grab/Scrapy/Tornado/Asyncio-Aiohttp?
На чём тебе удобнее, нужного результата можно достигнуть на всём перечисленном.
Grab/Scrapy более высокоуровневые либы, на них можно быстрее и удобнее решить подобную задачу.
Но очевидно, что Scrapy круче Grab.