Python-сообщество

Здравствуйте.

Есть такая задача:
нужно собирать статистику показов рекламы на сайте, чтобы не дергать на каждый показ базу решил держать джанговский объект в memcached, и сохранять в базу через каждые 1000 показов.

Вот тут и появляется проблема, процессов с джангой запущено несколько десятков, и при каких-то условиях (так и не понял при каких), на email приходит traceback с ошибкой при вызове save() для сохранения статистики в базу с сообщением “IntegrityError: duplicate key value violates unique constraint ”unique_together“”.

код следующий:

    bstat = cache.get(cache_key)
    if not bstat:
        # получаем/создаем объект статистики для данного баннера
        try:
            bstat = BannerStatistic.objects.get(year=year, month=month, day=day, banner=banner)
        except BannerStatistic.MultipleObjectsReturned:
            bstat = BannerStatistic.objects.filter(year=year, month=month, day=day, banner=banner).order_by('id')[0]
        except BannerStatistic.DoesNotExist:
            bstat = BannerStatistic()
            bstat.year, bstat.month, bstat.day = year, month, day
            bstat.banner = banner
            bstat.banner_clicks = 0
            bstat.banner_shows = 0
            bstat.banner_CTR = 0

    # обновляем статистику по кликам/показам
    if action == 'show':
        bstat.banner_shows += 1
    elif action == 'click':
        bstat.banner_clicks += 1
   
    # сохраняем в базу каждые N показов или при каждом клике, до этого держим в memcached
    if settings.DEBUG:
        SAVE_SHOWS_CONDITION_COUNT = 1
    else:
        SAVE_SHOWS_CONDITION_COUNT = 1000
    if (bstat.banner_shows % SAVE_SHOWS_CONDITION_COUNT == 0) or (action == 'click'):
        bstat.save()

Попробуйте использовать BannerStatistic.objects.get_or_create(year=year, month=month, day=day, banner=banner) вместо вашей доморощеной логики.
Дефолтные значения для banner_clicks, banner_shows и banner_CTR задайте на уровне модели. Exception BannerStatistic.MultipleObjectsReturned по идее не должно бросаться, ведь у вас по одной записи на день/баннер.

Ed
Попробуйте использовать BannerStatistic.objects.get_or_create(year=year, month=month, day=day, banner=banner) вместо вашей доморощеной логики.
Дефолтные значения для banner_clicks, banner_shows и banner_CTR задайте на уровне модели. Exception BannerStatistic.MultipleObjectsReturned по идее не должно бросаться, ведь у вас по одной записи на день/баннер.

Отредактировано (Янв. 24, 2011 10:22:57)

А вы попробуйте. Глядишь и без RabbitMQ как-нибудь обойдетесь :)

Насчет locking-а. Может как-нибудь так? http://djangosnippets.org/snippets/833/
Еще можно использовать IPC или fcntl локи, если у вас уних. Ну, на худой конец и mkdir сойдет. Но AMQP для этого я бы не стал городить.

Отредактировано (Янв. 24, 2011 21:29:21)

Ed
Насчет locking-а. Может как-нибудь так? http://djangosnippets.org/snippets/833/
Еще можно использовать IPC или fcntl локи, если у вас уних. Ну, на худой конец и mkdir сойдет. Но AMQP для этого я бы не стал городить.

Я тоже использовал и использую. Просто слишком это из пушки по воробьям. Подумайте сами - 5 строчек кода с fcntl.lockf или поднятие AMQP брокера, установка питоновых биндингов к нему и программирование вашего механизма локов поверх него.

Ed
Я тоже использовал и использую. Просто слишком это из пушки по воробьям. Подумайте сами - 5 строчек кода с fcntl.lockf или поднятие AMQP брокера, установка питоновых биндингов к нему и программирование вашего механизма локов поверх него.

Отредактировано (Янв. 25, 2011 15:12:48)

LestatCheb
а там получается что даже лочить не надо, просто задания встают в очередь и поочередно обновляют статистику

кстати а причем тут fcntl.lockf? он же файлы лочит.

LOCK TABLE можно в базе конечно делать, но тогда другой процесс (и пользователь вместе с ним) будет ждать пока этот лок снимется, т.о. сервак скорее выдаст timeout и пользователь ничего не получит :)
а с AMQP кинул задание асинхронное и отдавать дальше пользователю странички.

Хотя, подумавши, и лок подойдет. Вам же по идее нужно только вызов .save() залочить. Тогда если он залочен, то нужно просто ничего не делать - все уже сбрасывается в базу. Ничего ждать не нужно.
Ну и, естественно, воспользоваться get_or_create, иначе получите тот же конфликт при сохранении, что и сейчас.