Уведомления

Группа в Telegram: @pythonsu
  • Начало
  • » Data Mining
  • » Инструменты для парсинга сайтов и анализа данных [RSS Feed]

#1 Фев. 21, 2014 11:47:36

juve
Зарегистрирован: 2014-02-21
Сообщения: 2
Репутация: +  0  -
Профиль   Отправить e-mail  

Инструменты для парсинга сайтов и анализа данных

Добрый день. Мне нужен разработчик на питоне удаленно, для доработки парсера сайтов и извлечения инфы определенной с ресурса. Я конечно может не в той ветке отписываюсь, но прошу простить меня. есть желающие помочь за вознаграждение?

Офлайн

#2 Фев. 21, 2014 17:44:50

lorien
От:
Зарегистрирован: 2006-08-20
Сообщения: 755
Репутация: +  37  -
Профиль  

Инструменты для парсинга сайтов и анализа данных

Вообще не в той ветке :) Лучше создайте отдельный топик в этом разделе или в разделе offtopic, а потом я потру сообщения в этой ветке.

Офлайн

#3 Фев. 26, 2014 16:56:08

slav0nic
Команда
От: dp.ua
Зарегистрирован: 2006-05-07
Сообщения: 2260
Репутация: +  41  -
Профиль   Отправить e-mail  

Инструменты для парсинга сайтов и анализа данных

https://pypi.python.org/pypi/bleach HTML-sanitizer (не юзал икод не смотрел, но везде его стали тулить)
http://python-rq.org/ легковесная альтернатива celery под redis
Сервисы
http://www.dominoup.com/
http://www.picloud.com/
из эмулей барузера, появился http://splinter.cobrateam.info/ , правда он больше под тесты

Отредактировано slav0nic (Фев. 26, 2014 17:00:10)

Офлайн

#4 Фев. 27, 2014 12:07:07

lorien
От:
Зарегистрирован: 2006-08-20
Сообщения: 755
Репутация: +  37  -
Профиль  

Инструменты для парсинга сайтов и анализа данных

Про splinter я знал, но не стал указывать пока его. Его кто-нить юзал?

Офлайн

#5 Май 20, 2014 13:40:24

dvs
От:
Зарегистрирован: 2006-05-22
Сообщения: 176
Репутация: +  3  -
Профиль   Отправить e-mail  

Инструменты для парсинга сайтов и анализа данных

в компанию Параллельная многозадачность просятся gevent и asyncio+aiohttp



Офлайн

#6 Май 24, 2014 19:20:09

lorien
От:
Зарегистрирован: 2006-08-20
Сообщения: 755
Репутация: +  37  -
Профиль  

Инструменты для парсинга сайтов и анализа данных

Давайте краткое описание библиотек и я добавлю их в список.

Офлайн

#7 Июль 16, 2014 16:23:19

PanovSergey
От: Екатеринбург
Зарегистрирован: 2013-12-29
Сообщения: 269
Репутация: +  19  -
Профиль   Адрес электронной почты  

Инструменты для парсинга сайтов и анализа данных

Есть еще py-dom-xpath
к сожалению про нее не знаю может кто юзал напишите
https://code.google.com/p/py-dom-xpath/

Офлайн

#8 Июль 25, 2014 13:23:59

lorien
От:
Зарегистрирован: 2006-08-20
Сообщения: 755
Репутация: +  37  -
Профиль  

Инструменты для парсинга сайтов и анализа данных

> Есть еще py-dom-xpath
> к сожалению про нее не знаю может кто юзал напишите

Какой в ней смысл, если можно использовать lxml для xpath?

Офлайн

#9 Июль 26, 2014 10:12:43

PanovSergey
От: Екатеринбург
Зарегистрирован: 2013-12-29
Сообщения: 269
Репутация: +  19  -
Профиль   Адрес электронной почты  

Инструменты для парсинга сайтов и анализа данных

lorien
> Есть еще py-dom-xpath> к сожалению про нее не знаю может кто юзал напишитеКакой в ней смысл, если можно использовать lxml для xpath?
Не знаю давно не развивается, однако pure python

Офлайн

#10 Июль 26, 2014 12:53:07

lorien
От:
Зарегистрирован: 2006-08-20
Сообщения: 755
Репутация: +  37  -
Профиль  

Инструменты для парсинга сайтов и анализа данных

> однако pure python

Где это может быть важно?

Офлайн

  • Начало
  • » Data Mining
  • » Инструменты для парсинга сайтов и анализа данных[RSS Feed]

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version