Найти - Пользователи
Полная версия: srapy + Django ORM и/или SqlAlchemy
Начало » Django » srapy + Django ORM и/или SqlAlchemy
1
pood
Дано:
На первом сервере - django. Есть еще несколько серверов на которых будут запущены srcapy.

Нужно:
Результаты scrapy собирать в одну БД

Проблема:
Как организовать? т.е если для django использовать встроенный ORM, а для scrapy например SqlAlchemy - возникают проблемы идентичности создаваемых таблиц. Если modeles в django со временем изменится - нужно будет также менять model в SqlAlchemy. Прямой insert из scrapy имеет ту же проблему.

Может есть другой подход для синхронизации ? Возможно использовать несколько БД и синхронизировать их средствами самой БД ?
Singularity
pood
монго?

В джанго есть inspectdb, а в алхимии есть не только подобные решение, но и возможность подцепиться к существующей базе.
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB