Найти - Пользователи
Полная версия: Как правильно построчно записать данные в базу данных?
Начало » Базы данных » Как правильно построчно записать данные в базу данных?
1 2
PooH
Давайте вы опишите задачу целиком, а мы посмотрим пути решения. А то из кода что-то понять невозможно - он кривой как моя жизнь. И кстати, если у вас 11 миллионов данных и на каждый запрос на удаленный сервер, то даже если он занимает 1 секунду - это займет полгода.
Elka
Да, я уже поняла, что тот способ, который я выбрала не пойдет. Он работает, но по моим расчетам, это займет 127 дней.

Задача:
Есть база данных с 11 миллионами белков. Для каждого из них нужно получить данные по тому организму, которому принадлежит этот белок и записать в базу данных (ну еще по мелочи).
База данных белков у меня есть, данные по организмам можно получить с другого сервера, передав id белка. В-общем, ничего особо сложного.

Я сейчас думаю, что нужно создать несколько процессов, который будет запрашивать данные по части белков и записывать их в базу данных. Сейчас смотрю, как это делается. Если вы мне подскажите, что читать и как это лучше делается, я буду вам очень благодарна

А то из кода что-то понять невозможно - он кривой как моя жизнь.

Эххх, я только учусь.
PooH
А нет возможности утянуть с удаленного сервера всю базу? или хотя бы получать данные сразу диапазонами. Просто сетевая часть у вас - бутылочное горлышко, прежде все надо разбираться с ним.
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB