Latest posts on Инструменты для парсинга сайтов и анализа данных topichttp://python.su/forum/topic/23472/2022-06-28T04:46:15+03:00Общий :: Data Mining :: Инструменты для парсинга сайтов и анализа данных
2022-06-28T04:46:15+03:00work2crowd222820Большое спасибо за подборку
Общий :: Data Mining :: Инструменты для парсинга сайтов и анализа данных
2021-09-08T14:34:19+03:00pif-paf218166Помогите есть такая проблема как получить данные из <a href="http://www.instagram.com/direct/inbox" rel="nofollow">www.instagram.com/direct/inbox</a> у выбранного пользователя нужное слово я тут побывал и не могу заставить получить данные с поля сообщения<br/>слово Привет<br/><br/> browser.find_element_by_xpath(<br/> '//*/section/div/div/div/div/div/div/div/div/div/div/div').click()<br/> time.sleep(random.randrange(2,6))<br/><br/> url = browser.find_element_by_xpath('//*/section/div/div/div/div/div')<br/><br/> r = requests.get(url)<br/> soup = BeautifulSoup(r.content, ‘html.parser’)<br/> for x in (soup.find_all(string=re.compile('Привет', flags=re.I))):<br/> print(x)<br/>
Общий :: Data Mining :: Инструменты для парсинга сайтов и анализа данных
2015-08-12T23:51:24+03:00lorien149899Решил завести на github репозиторий со список web scraping библиотек для разных языков. Для начала перенёс туда список из этого топика.<br/>Репозиторий: <a href="https://github.com/lorien/web-scraping">https://github.com/lorien/web-scraping</a><br/>Список для python: <a href="https://github.com/lorien/web-scraping/blob/master/python.md">https://github.com/lorien/web-scraping/blob/master/python.md</a>
Общий :: Data Mining :: Инструменты для парсинга сайтов и анализа данных
2015-07-09T17:58:40+03:00pyhton148408<blockquote><em>lorien</em><br/>Где это может быть важно?<br/></blockquote>Там где чудаки на букву м не придумали установку бинарных зависимостей, XBMC, например.
Общий :: Data Mining :: Инструменты для парсинга сайтов и анализа данных
2015-07-09T17:57:24+03:00pyhton148407Главный инструмент - это наверно все-таки инспектор и консоль браузера. А питон - это то куда потом вставляешь полученные оттуда селекторы.
Общий :: Data Mining :: Инструменты для парсинга сайтов и анализа данных
2014-07-26T12:53:07+03:00lorien131110> однако pure python<br/><br/>Где это может быть важно?
Общий :: Data Mining :: Инструменты для парсинга сайтов и анализа данных
2014-07-26T10:12:43+03:00PanovSergey131105<blockquote><em>lorien</em><br/>> Есть еще py-dom-xpath> к сожалению про нее не знаю может кто юзал напишитеКакой в ней смысл, если можно использовать lxml для xpath?</blockquote>Не знаю давно не развивается, однако pure python<br/>
Общий :: Data Mining :: Инструменты для парсинга сайтов и анализа данных
2014-07-25T13:23:59+03:00lorien131070> Есть еще py-dom-xpath<br/>> к сожалению про нее не знаю может кто юзал напишите<br/><br/>Какой в ней смысл, если можно использовать lxml для xpath?
Общий :: Data Mining :: Инструменты для парсинга сайтов и анализа данных
2014-07-16T16:23:19+03:00PanovSergey130730Есть еще py-dom-xpath<br/>к сожалению про нее не знаю может кто юзал напишите<br/><a href="https://code.google.com/p/py-dom-xpath/">https://code.google.com/p/py-dom-xpath/</a>
Общий :: Data Mining :: Инструменты для парсинга сайтов и анализа данных
2014-05-24T19:20:09+03:00lorien128221Давайте краткое описание библиотек и я добавлю их в список.
Общий :: Data Mining :: Инструменты для парсинга сайтов и анализа данных
2014-05-20T13:40:24+03:00dvs128023в компанию <strong>Параллельная многозадачность</strong> просятся gevent и asyncio+aiohttp
Общий :: Data Mining :: Инструменты для парсинга сайтов и анализа данных
2014-02-27T12:07:07+02:00lorien124207Про splinter я знал, но не стал указывать пока его. Его кто-нить юзал?
Общий :: Data Mining :: Инструменты для парсинга сайтов и анализа данных
2014-02-26T16:56:08+02:00slav0nic124153<a href="https://pypi.python.org/pypi/bleach">https://pypi.python.org/pypi/bleach</a> HTML-sanitizer (не юзал икод не смотрел, но везде его стали тулить)<br/><a href="http://python-rq.org/">http://python-rq.org/</a> легковесная альтернатива celery под redis<br/>Сервисы<br/><a href="http://www.dominoup.com/">http://www.dominoup.com/</a><br/><a href="http://www.picloud.com/">http://www.picloud.com/</a><br/>из эмулей барузера, появился <a href="http://splinter.cobrateam.info/">http://splinter.cobrateam.info/</a> , правда он больше под тесты
Общий :: Data Mining :: Инструменты для парсинга сайтов и анализа данных
2014-02-21T17:44:50+02:00lorien123856Вообще не в той ветке :) Лучше создайте отдельный топик в этом разделе или в разделе offtopic, а потом я потру сообщения в этой ветке.
Общий :: Data Mining :: Инструменты для парсинга сайтов и анализа данных
2014-02-21T11:47:36+02:00juve123830Добрый день. Мне нужен разработчик на питоне удаленно, для доработки парсера сайтов и извлечения инфы определенной с ресурса. Я конечно может не в той ветке отписываюсь, но прошу простить меня. есть желающие помочь за вознаграждение?