Python-сообщество

Всем привет, если кто делал агрегаторы данных с разных источников прошу отзовитесь и направьте что читать и куда копать. Сам куда не знаю, но есть мало мальское математическое образование буду рад любой помощи заранее спасибо.

PanovSergey
а какой источник ? Веб-страницы, rss?
Для сбора данных scrapy или grab, для rss - feedparser мб что-то лучше есть.

Я думаю у тебя тут проблема машинного обучения, а именно кластеризация
Кстати на курсере курс об этом идет (о всем машинном обучении)

https://www.ibm.com/developerworks/ru/library/os-pythonnltk/

Вот еще https://pymorphy2.readthedocs.org/en/latest/ хз в тему он или нет

https://class.coursera.org/ml-005

Singularitty
Для сбора данных scrapy или grab, для rss - feedparser мб что-то лучше есть.

Парсить не проблема за ссылки спасибо.

PanovSergey
ты про задания подробней расскажи.
Интересно же

> Всем привет, если кто делал агрегаторы данных с разных источников

Что за агрегаторы, что за источники? Я делал агрегаторы, никакой математики не потребовалось :) Опишите подробно какие у вас проблемы, а иначе говорить не о чём.

Singularitty
ты про задания подробней расскажи

задача. пусть мы знаем что есть искомые данные, это текст. мы знаем классы к которым они могут относиться, однако данные могут быть представлены произвольно мы хотим определить к какому классу относятся данные и записать их в соответствующую таблицу, мне кажется стандартная задача дата майнинга.

Отредактировано PanovSergey (Апрель 6, 2014 19:12:13)

Могу лишь сказать посмотреть на анализ по Байесу или как-то так, сам я в этой области не работал.
Ещё вот книжка есть хорошая: http://www.books.ru/books/programmiruem-kollektivnyi-razum-586615/ - там даже примеры на питоне

PanovSergey
задача. пусть мы знаем что есть искомые данные, это текст

приведи конкретный пример

lorien
Что за агрегаторы, что за источники? Я делал агрегаторы, никакой математики не потребовалось :)

согласен
возможно, там и не нужна математика вообще

PanovSergey
однако данные могут быть представлены произвольно мы хотим определить к какому классу относятся данные

самое простое - это понять, как ты сам (твой мозг) классифицируешь эти данные
а потом это записать в виде программы

Отредактировано py.user.next (Апрель 6, 2014 23:10:03)

>> задача. пусть мы знаем что есть искомые данные, это текст
> приведи конкретный пример

Так это и есть конкретный пример

> самое простое - это понять, как ты сам (твой мозг) классифицируешь эти данные, а потом это записать в виде программы

Учитывая сложность задачи, ценность подобных советов стремится к нулю.