DjangoBB LoFi version

Найти - Пользователи

Полная версия: Загрузка и быстрая обработка нескольких миллионов строк

Начало » Python для новичков » Загрузка и быстрая обработка нескольких миллионов строк

1 2

Singularity

Окт. 11, 2013 11:49:05

PooH
а где посмотреть журнал медленных запросов ?

Lexander

Окт. 11, 2013 11:53:51

В какой СУБД?

Singularity

Окт. 11, 2013 11:54:43

Lexander
postgresql

Lexander

Окт. 11, 2013 12:07:07

http://wiki.postgresql.org/wiki/Logging_Difficult_Queries

reclosedev

Окт. 11, 2013 20:45:12

http://pandas.pydata.org/ ?

sergeek

Окт. 11, 2013 21:09:14

reclosedev
http://pandas.pydata.org/ ?

кстати да, можно просто через

pandas.DataFrame.from_csv

но лучше его в какой-нибудь pickle перевести - csv долго читать будет

Vadimka

Окт. 11, 2013 21:50:42

reclosedev
http://pandas.pydata.org/ ?

Да, пока делаю на pandas. Скорость и гибкость пока устраивают. Но всегда хочется большего.

Получу ли прирост производительности при переходе на СУБД?