Найти - Пользователи
Полная версия: Ускорить urlopen
Начало » Python для новичков » Ускорить urlopen
1
vandrouny
Доброго дня!
Столкнулся вот с какой задачей: необходимо открыть и прочитать много-много веб-страниц. Да, urlopen справляется с задачей, но там около 15 тысяч страниц, и время получается приличное. Есть ли какой-либо способ пакетной обработки, или, возможно, стоит распараллелить? (в таком случае, прошу ткнуть меня носом в пример, так как в питоне я ещё, в общем-то, новичок.
Заранее спасибо
JOHN_16
Я бы рекомендовал Queue, высокоуровневая библиотека, проще разобраться будет. Вот моя статья на счет этого с кучкой примеров.
plusplus
1) С помощью threadpoolexecutor распараллелить.
2) Использовать grab.spider
3) Использовать Scrapy
o7412369815963
Вот пример асинхронного загрузчика на торнадо http://www.py-my.ru/post/4f278211bbddbd0322000000
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB