Python-сообщество

izuchaju_python · Май 12, 2016 22:48:25

написал парсер с использованием селениума веб драйвера фаерфокс…ну очень дщолго так можно парсить…есть ли вариант ускорить это? чтобы не запускался браузер, а неявно это как-то делалось? или код выполнялся б в каком-то облаке?! что посоветуете?!

JOHN_16 · Май 12, 2016 23:02:54

requests + BeautifulSoup/lxml/Grab ?

_________________________________________________________________________________
полезный блог о python john16blog.blogspot.com

izuchaju_python · Май 12, 2016 23:11:29

JOHN_16
да там иконка показать телефон, суп не видит номера, номер появляется только после клика…

scidam · Июнь 24, 2016 06:56:50

Если номер появляется после клика вполне возможно нужен интерпретатор javascript (т.е. браузер); существует безголовый (headless) браузер - PhantomJS, с ним Selenium вполне может работать.

mmm_corp · Авг. 15, 2016 17:57:20

попробуйте фантом

nagellack5c · Фев. 16, 2017 14:24:51

Привет, вот тут подробно всё рассказали: http://stackoverflow.com/questions/13287490/is-there-a-way-to-use-phantomjs-in-python
Если коротко - нужно установить Node.js и PhantomJS через его менеджер пакетов, потом скормить путь к PhantomJS селениуму.
Сам недавно сталкивался с такой проблемой, но в итоге обошёлся обычным Chrome Driver.

Python-сообщество

Уведомления

#1 Май 12, 2016 22:48:25

selenium

#2 Май 12, 2016 23:02:54

selenium

#3 Май 12, 2016 23:11:29

selenium

#4 Июнь 24, 2016 06:56:50

selenium

#5 Авг. 15, 2016 17:57:20

selenium

#6 Фев. 16, 2017 14:24:51

selenium

Board footer