Найти - Пользователи
Полная версия: selenium
Начало » Data Mining » selenium
1
izuchaju_python
написал парсер с использованием селениума веб драйвера фаерфокс…ну очень дщолго так можно парсить…есть ли вариант ускорить это? чтобы не запускался браузер, а неявно это как-то делалось? или код выполнялся б в каком-то облаке?! что посоветуете?!
JOHN_16
requests + BeautifulSoup/lxml/Grab ?
izuchaju_python
JOHN_16
да там иконка показать телефон, суп не видит номера, номер появляется только после клика…
scidam
Если номер появляется после клика вполне возможно нужен интерпретатор javascript (т.е. браузер); существует безголовый (headless) браузер - PhantomJS, с ним Selenium вполне может работать.
mmm_corp
попробуйте фантом
nagellack5c
Привет, вот тут подробно всё рассказали: http://stackoverflow.com/questions/13287490/is-there-a-way-to-use-phantomjs-in-python
Если коротко - нужно установить Node.js и PhantomJS через его менеджер пакетов, потом скормить путь к PhantomJS селениуму.
Сам недавно сталкивался с такой проблемой, но в итоге обошёлся обычным Chrome Driver.
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB