Python-сообщество

proehidna · Апрель 17, 2022 18:37:09

Имеется программа, которая получает на вход базу данных, выполняет с ней манипуляции и сохраняет отредактированную БД с помощью функции

 df.to_csv(filename, index=False, mode='a', compression="gzip")
pbar.update()

После чего пытаюсь ее читать с помощью

 df = dd.read_csv("./genfiles/13_Apr_2022_17_18_04.gz")

Подключение к базе данных происходит через

 conn = sqlite3.connect('genfiles/13.6.2009.db')

Манипуляций с базой данных происходит слишком много и если кратко, то некоторые столбцы округляются, некоторые делятся на некоторые константы и сохраняются в новые столбцы
Основные функции по ссылке ниже:
https://pastebin.com/Yztwq7HE
Вопрос заключается в следующем: не могу понять, как можно научить даск читать датафрейм (больших объемов данных - порядка миллиона записей)?

Python-сообщество

Уведомления

#1 Апрель 17, 2022 18:37:09

Как сохранить базу данных, чтобы она была читаема для фрейма данных?

Board footer