Python-сообщество

Всем привет, пожалуйста, подскажите, с чем может быть связан столь долгий коннект к базе.

import psycopg2
import psycopg2.extras as DBExtra
import psycopg2.extensions
from time import time

cursor_factory = DBExtra.DictCursor


class TimeProfiler():
    _started = []
    labels = {}

    def start(self, label):
        self._started.append(label)
        self.labels[label] = time()

    def stop(self, label):
        if self.labels.has_key(label):
            if label in self._started: self._started.remove(label)
            self.labels[label] = '%.4f' % (time() - self.labels[label])
        else: self.labels[label] = 0
        
    def get_list(self):
        labels = {}
        for key in self.labels.keys():
            if key not in self._started: labels[key] = self.labels[key]
        return labels

T = TimeProfiler()
T.start('connect')
c = psycopg2.connect('host=127.0.0.1 user=postgres dbname=shopmaker')
T.stop('connect')

print T.get_list()

 python /home/alex/test.py
{'connect': '0.1348'}

Chuck
с чем может быть связан столь долгий коннект к базе.

pgbouncer поставь или смени хостера В)

tg : https://t.me/slav0nic

slav0nic
pgbouncer поставь или смени хостера В)

Это для вебсайта.

Что вы имеете в виду? Для каждого нового пользователя я заново подключаюсь к базе. Не для каждого запроса в движке сайта, разумеется.

Chuck
Всем привет, пожалуйста, подскажите, с чем может быть связан столь долгий коннект к базе.

import psycopg2
import psycopg2.extras as DBExtra
import psycopg2.extensions
from time import time

cursor_factory = DBExtra.DictCursor


class TimeProfiler():
    _started = []
    labels = {}

    def start(self, label):
        self._started.append(label)
        self.labels[label] = time()

    def stop(self, label):
        if self.labels.has_key(label):
            if label in self._started: self._started.remove(label)
            self.labels[label] = '%.4f' % (time() - self.labels[label])
        else: self.labels[label] = 0
        
    def get_list(self):
        labels = {}
        for key in self.labels.keys():
            if key not in self._started: labels[key] = self.labels[key]
        return labels

T = TimeProfiler()
T.start('connect')
c = psycopg2.connect('host=127.0.0.1 user=postgres dbname=shopmaker')
T.stop('connect')

print T.get_list()

Время выполнения

 python /home/alex/test.py
{'connect': '0.1348'}

Chuck
Это для вебсайта.

Что вы имеете в виду? Для каждого нового пользователя я заново подключаюсь к базе. Не для каждого запроса в движке сайта, разумеется.

DcDr
У меня получается:

{'connect': ‘0.0920’}

{'connect': ‘0.0250’}

{'connect': ‘0.0250’}

То есть первый раз значительно дольше

DcDr

DcDr
У меня получается:

{'connect': ‘0.0920’}

{'connect': ‘0.0250’}

{'connect': ‘0.0250’}

То есть первый раз значительно дольше

Повторил спустя минут двадцать. Получил уже задержку 0.052, а последующие опять 0.026-0.026

Очевидно, что разница между первым и последующими запусками тестирующей утилиты - это кэширование на уровне операционной системы (файловой системы), PostgreSQL.

То есть psycopg2 и Python здесь не причем.

В принципе у Вас не такие уж большие задержки - я на весьма жирном железе свои замеры производил - если ваши замеры с реального хостинга, то довольно хорошие показатели.

Переделал на пулы:

Один запуск:

{'create pool': '0.1290'}
{'connect 1': '0.0000', 'create pool': '0.1290'}
{'connect 2': '0.0000', 'connect 1': '0.0000', 'create pool': '0.1290'}
{'connect 3': '0.0000', 'connect 2': '0.0000', 'connect 1': '0.0000', 'create pool': '0.1290'}

{'create pool': '0.1150'}
{'connect 1': '0.0000', 'create pool': '0.1150'}
{'connect 2': '0.0000', 'connect 1': '0.0000', 'create pool': '0.1150'}
{'connect 3': '0.0000', 'connect 2': '0.0000', 'connect 1': '0.0000', 'create pool': '0.1150'}

T.start('create pool')
#pool = psycopg2.pool.ThreadedConnectionPool(5, 10, 'host=127.0.0.1 user=test dbname=test password=test')
pool = psycopg2.pool.PersistentConnectionPool(5, 10, 'host=127.0.0.1 user=test dbname=test password=test')
T.stop('create pool')

print T.get_list()

T.start('connect 1')
c = pool.getconn()
T.stop('connect 1')

print T.get_list()


T.start('connect 2')
c = pool.getconn()
T.stop('connect 2')

print T.get_list()


T.start('connect 3')
c = pool.getconn()
T.stop('connect 3')

print T.get_list()