Форум сайта python.su
Давайте вы опишите задачу целиком, а мы посмотрим пути решения. А то из кода что-то понять невозможно - он кривой как моя жизнь. И кстати, если у вас 11 миллионов данных и на каждый запрос на удаленный сервер, то даже если он занимает 1 секунду - это займет полгода.
Офлайн
Да, я уже поняла, что тот способ, который я выбрала не пойдет. Он работает, но по моим расчетам, это займет 127 дней.
Задача:
Есть база данных с 11 миллионами белков. Для каждого из них нужно получить данные по тому организму, которому принадлежит этот белок и записать в базу данных (ну еще по мелочи).
База данных белков у меня есть, данные по организмам можно получить с другого сервера, передав id белка. В-общем, ничего особо сложного.
Я сейчас думаю, что нужно создать несколько процессов, который будет запрашивать данные по части белков и записывать их в базу данных. Сейчас смотрю, как это делается. Если вы мне подскажите, что читать и как это лучше делается, я буду вам очень благодарна
А то из кода что-то понять невозможно - он кривой как моя жизнь.
Офлайн
А нет возможности утянуть с удаленного сервера всю базу? или хотя бы получать данные сразу диапазонами. Просто сетевая часть у вас - бутылочное горлышко, прежде все надо разбираться с ним.
Офлайн