Уведомления

Группа в Telegram: @pythonsu

#1 Апрель 27, 2012 05:48:26

PooH
От:
Зарегистрирован: 2006-12-05
Сообщения: 1948
Репутация: +  72  -
Профиль   Отправить e-mail  

Как правильно построчно записать данные в базу данных?

Давайте вы опишите задачу целиком, а мы посмотрим пути решения. А то из кода что-то понять невозможно - он кривой как моя жизнь. И кстати, если у вас 11 миллионов данных и на каждый запрос на удаленный сервер, то даже если он занимает 1 секунду - это займет полгода.



Вот здесь один из первых отарков съел лаборанта. Это был такой умный отарк, что понимал даже теорию относительности. Он разговаривал с лаборантом, а потом бросился на него и загрыз…

Офлайн

#2 Май 1, 2012 21:45:45

Elka
Зарегистрирован: 2012-04-25
Сообщения: 11
Репутация: +  0  -
Профиль   Отправить e-mail  

Как правильно построчно записать данные в базу данных?

Да, я уже поняла, что тот способ, который я выбрала не пойдет. Он работает, но по моим расчетам, это займет 127 дней.

Задача:
Есть база данных с 11 миллионами белков. Для каждого из них нужно получить данные по тому организму, которому принадлежит этот белок и записать в базу данных (ну еще по мелочи).
База данных белков у меня есть, данные по организмам можно получить с другого сервера, передав id белка. В-общем, ничего особо сложного.

Я сейчас думаю, что нужно создать несколько процессов, который будет запрашивать данные по части белков и записывать их в базу данных. Сейчас смотрю, как это делается. Если вы мне подскажите, что читать и как это лучше делается, я буду вам очень благодарна

А то из кода что-то понять невозможно - он кривой как моя жизнь.

Эххх, я только учусь.

Офлайн

#3 Май 2, 2012 06:03:31

PooH
От:
Зарегистрирован: 2006-12-05
Сообщения: 1948
Репутация: +  72  -
Профиль   Отправить e-mail  

Как правильно построчно записать данные в базу данных?

А нет возможности утянуть с удаленного сервера всю базу? или хотя бы получать данные сразу диапазонами. Просто сетевая часть у вас - бутылочное горлышко, прежде все надо разбираться с ним.



Вот здесь один из первых отарков съел лаборанта. Это был такой умный отарк, что понимал даже теорию относительности. Он разговаривал с лаборантом, а потом бросился на него и загрыз…

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version