Ctrl →

Dr.Livsi · Июль 16, 2013 09:45:28

Собственно, есть задача примерно следующего содержания:
есть модель А с полями:

model A(models.Model):
    title = models.CharField()
    description = models.CharField() 
    identifiyer=models.CharField()


model Abstr(models.Model):
    data1= models.CharField()
    data2= models.CharField() 
    data3=models.CharField()

    class Meta:
        abstract = True

Предполагается, что при добавлении нового объекта в модель А, будет вызываться код, который:
1) создасть модель, с наименованием, a.identifiyer, унаследованную от класса Abstr
2) проведет синхронизацию с БД
3) позволит сразу, без перезагрузки кода приложения использовать во вьюхах обращение к свежесозданной модели (по этому пункту сильные сомнения)

Подозреваю, что здесь в любом случае необходимо будет писать бОльшую часть кода самому, без каких-либо сторонних библиотек. Но есть вопросы:
1) Приходилось ли кому-либо реализовывать похожий функционал?
2) С какими проблемами пришлось столкнуться?
3) есть ли какие-либо открытые приложения, на которые можно было бы посмотреть, дабы сократить время и варианты в своем велосипедостроении?

nnmware · Июль 16, 2013 11:08:27

Рекомендую
Используется код Django и South.
Не уверен что полностью подойдет для данной задачи, но глянуть стоит.

Rodegast · Июль 16, 2013 12:50:46

ИХМО Руки за такое отрывать надо.

С дураками и сектантами не спорю, истину не ищу.
Ели кому-то правда не нравится, то заранее извиняюсь.

4kpt · Июль 16, 2013 12:59:11

Rodegast
Поддерживаю. Потом такой код обалденно читать и править…

Dr.Livsi · Июль 16, 2013 15:45:29

Rodegast
4kpt
кроме эмоций будут какие-то доводы?

4kpt · Июль 16, 2013 16:01:35

Побойтесь бога, какие эмоции :)

Самый простой вопрос. Как по получившемуся коду можно будет понять (хоть приблизительно), какие таблицы существуют в БД?

Динамическое создание модели (соответсвенно и таблиц, прямо несвязанных с кодом модели), обновление базы без перезагрузки приложения - вас самого ничего не смущает в Вашем подходе?

Отредактировано 4kpt (Июль 16, 2013 16:08:48)

Dr.Livsi · Июль 16, 2013 16:05:10

а что с кодом не так? почему сложно читать и править?

Dr.Livsi · Июль 16, 2013 16:24:12

4kpt
Динамическое создание модели (соответсвенно и таблиц, прямо несвязанных с кодом модели), обновление базы без перезагрузки приложения - вас самого ничего не смущает в Вашем подходе?

Ну пока я не увидел доводов против.
Собственно, предполагается следующий алгоритм:
при добавлении записи в модель А, в файлик models какого-нибудь приложения dinamic, например, дописывается строчка вида:

class dinamic_id(Abstr):
    pass

который, как вы видите, унаследован от абстрактной модели.
Далее осуществляется синхронизация через south.

Собственно, можно было бы стандартным путем:

model A(models.Model):
    title = models.CharField()
    description = models.CharField() 
    identifiyer=models.CharField()

model B(models.Model):
    a=models.ForeignKey(A)
    data1= models.CharField()
    data2= models.CharField() 
    data3=models.CharField()

проблема в том, что предполагается очень серьезная нагрузка на одну эту таблицу (модель B): ежедневный инсерт нескольких десятков миллионов записей. Причем добавление записей не будет равномерно распределено по суткам: 99.9% процентов будут идти в течение получаса-максимум часа. Запись будет осуществляться из нескольких десятков источников. Не из одного.
В общем такая структура (которая выше, с отдельными таблицами) нужна для распараллеливания запросов на вставку данных, дабы не блокировать одну таблицу.
Впрочем, наверное, проблему можно решить организацией очереди на добавление данных.

Еще.
Предполагается создание от нескольких сотен таких моделей, до нескольких десятков тысяч (если проект будет развиваться).
Каждая таблица приблизительно может содержать от 40 до 100тыс. строк.
Т.е. количество строк данных составляет от десятка миллионов до нескольких миллиардов строк.

Отредактировано Dr.Livsi (Июль 16, 2013 16:39:37)

4kpt · Июль 16, 2013 16:47:10

Вы таким образом хотите снять нагрузку с базы?

Dr.Livsi · Июль 16, 2013 16:49:45

да

Python-сообщество

Уведомления

#1 Июль 16, 2013 09:45:28

Динамическое создание моделей

#2 Июль 16, 2013 11:08:27

Динамическое создание моделей

#3 Июль 16, 2013 12:50:46

Динамическое создание моделей

#4 Июль 16, 2013 12:59:11

Динамическое создание моделей

#5 Июль 16, 2013 15:45:29

Динамическое создание моделей

#6 Июль 16, 2013 16:01:35

Динамическое создание моделей

#7 Июль 16, 2013 16:05:10

Динамическое создание моделей

#8 Июль 16, 2013 16:24:12

Динамическое создание моделей

#9 Июль 16, 2013 16:47:10

Динамическое создание моделей

#10 Июль 16, 2013 16:49:45

Динамическое создание моделей

Board footer