lorien
Сен. 2, 2011 13:52:00
Написал подробное руководство использованию grab. Grab это библиотека для парсинга сайтов, испльзующая силу pycurl и lxml библиотек.
Почитать можно на хабрахабре:
http://habrahabr.ru/blogs/python/127584/
Lexander
Сен. 3, 2011 13:55:38
Цитата:
Немного разные акценты у библиотек — скрапи — это реально паук такой, бегает по сети, тянет в тыщу потоков информацию. А grab — это скорее швейцарский нож, вы его берёте и начинает вдумчиво колупать сайт. Асинхронной многопоточности в grab нет, всё что вы можете — это создать несколько tread-объектов и в каждом работать с grab. Но лучше только скачивать, у меня были проблемы с использованием lxml-модуля в нескольких потоках. Т.е. скачиваем в несколько потоков, парсим HTML в одном потоке. В curl есть некий multicurl, дающий эту самую асинхронность, но за несколько лет у меня так и не возникло острой надобности разобраться с ним. Это у меня в планах.
lorien
Сен. 3, 2011 20:33:02
> Многопоточно работает?
Работает, запускаете несколько тредов и в каждом работает с объектом grab.