Уведомления

Группа в Telegram: @pythonsu

#1 Окт. 11, 2013 11:49:05

Singularity
Зарегистрирован: 2011-07-28
Сообщения: 1387
Репутация: +  75  -
Профиль   Отправить e-mail  

Загрузка и быстрая обработка нескольких миллионов строк

PooH
а где посмотреть журнал медленных запросов ?

Офлайн

#2 Окт. 11, 2013 11:53:51

Lexander
От:
Зарегистрирован: 2008-09-19
Сообщения: 1139
Репутация: +  33  -
Профиль   Отправить e-mail  

Загрузка и быстрая обработка нескольких миллионов строк

В какой СУБД?



Офлайн

#3 Окт. 11, 2013 11:54:43

Singularity
Зарегистрирован: 2011-07-28
Сообщения: 1387
Репутация: +  75  -
Профиль   Отправить e-mail  

Загрузка и быстрая обработка нескольких миллионов строк

Lexander
postgresql

Офлайн

#4 Окт. 11, 2013 12:07:07

Lexander
От:
Зарегистрирован: 2008-09-19
Сообщения: 1139
Репутация: +  33  -
Профиль   Отправить e-mail  

Загрузка и быстрая обработка нескольких миллионов строк

Офлайн

#5 Окт. 11, 2013 20:45:12

reclosedev
От: Н.Новгород
Зарегистрирован: 2012-03-29
Сообщения: 870
Репутация: +  173  -
Профиль   Отправить e-mail  

Загрузка и быстрая обработка нескольких миллионов строк

Офлайн

#6 Окт. 11, 2013 21:09:14

sergeek
Зарегистрирован: 2012-06-26
Сообщения: 470
Репутация: +  43  -
Профиль   Отправить e-mail  

Загрузка и быстрая обработка нескольких миллионов строк

reclosedev
http://pandas.pydata.org/ ?
кстати да, можно просто через
pandas.DataFrame.from_csv
но лучше его в какой-нибудь pickle перевести - csv долго читать будет

Офлайн

#7 Окт. 11, 2013 21:50:42

Vadimka
Зарегистрирован: 2013-10-09
Сообщения: 4
Репутация: +  0  -
Профиль   Отправить e-mail  

Загрузка и быстрая обработка нескольких миллионов строк

reclosedev
http://pandas.pydata.org/ ?
Да, пока делаю на pandas. Скорость и гибкость пока устраивают. Но всегда хочется большего.

Получу ли прирост производительности при переходе на СУБД?

Отредактировано Vadimka (Окт. 11, 2013 21:58:22)

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version