DjangoBB LoFi version

Полная версия: Трудности выбора NoSQL-БД: Mongo, CouchDB или Hadoop.

Начало » Базы данных » Трудности выбора NoSQL-БД: Mongo, CouchDB или Hadoop.

1 2

doza_and

Янв. 2, 2012 21:14:02

Чем хороши ссылки в zodb? тем что они выглядят как поля объекта.
x=a.b.c
оставит не потребует от пользователя базы формирования запросов на получение ссылочных объектов b,c

вложенные коллекции:

class Tx(Persistent):
      def __init__(self):
           self.a=IOBTree()
some=IOBTree()
for i in 100000:
    some[i]=Tx()

И при этом конечно коллекции в смысле mongo плодятся как грибы. Хорошо это или плохо - это вопрос архитектуры. Монго такого не позволит. И такое часто приходится использовать чтобы ограничить поиск.

мне кажется что она позиционируется на не большие проекты - мне тоже так кажется.
С доками по поводу масштабирования репликации шардинга очень туго. :(
Можно поднять несколько серверов и сделать шардинг ручками. :)
Zope Replication Services (ZRS) - A commercial add-on

o7412369815963

Янв. 2, 2012 22:38:13

doza_and
Чем хороши ссылки в zodb? тем что они выглядят как поля объекта.
x=a.b.c
оставит не потребует от пользователя базы формирования запросов на получение ссылочных объектов b,c

в pymongo так же: http://www.py-my.ru/post/4bfb3c6b1d41c846bc0000d8
x=a
а вообще это зависит от оболочки над базой.

> вложенные коллекции:
да, в монге этого нет, но можно сделать список внутри документа или “подчиненные” документы писать в сам документ. можно использовать 1 коллекцию с параметром “владелец”.

doza_and

Янв. 3, 2012 15:08:45

Огромное спасибо за подсказки.

Еще вопрос возник. Какой софт посоветуете для администрирования.
Пока посмотрел в этом списке:
http://www.mongodb.org/display/DOCS/Admin+UIs.
При помощи замечательного инструмента MongoExplorer
довел базу до состояния когда JMongoBrowser и mongovision-standard.prudence
на ней просто падают (не могут получить доступа к коллекциям)

Fang of Mongo изначально ни к одной коллекции не может достучаться. :(

Желательно что-то написанное на питоне, чтобы при необходимости можно было допилить под себя.

o7412369815963

Янв. 3, 2012 20:43:07

может нет доступа из-за того что база превысила 4Гб на 32bit платформе?

я юзаю стандартную mongo-консоль, мне хватает.

doza_and

Янв. 4, 2012 14:05:02

o7412369815963
превысила 4Гб на 32bit платформе

может 32bit влияет. Уже понятно что под такой OS ее нельзя использовать.
У меня размерчики были смешные 3-4 записи несколько сот байтов. Я просто циклических ссылок понавставлял может это их смущает.

Из спортивного интереса понавставлял разных баз маленького размера (меньше 1Гб) но в сумме больше 2 Гб. Ожидал что если лишние базы не трогать, то и нормально будет работать. Ан нет. Волшебная пуля только Шардинг?

lorien

Янв. 5, 2012 06:15:10

Юзаю монгу для парсинга, скачиваю страницы в монгу, потом парсю их. Ни разу ещё не падало ничего, правда плотно монгу юзаю месяца два только. Максимум, что было в одной базе это лямов шесть объектов и 200гб данных.
Для полноценной работы однозначно ставить 64bit систему.
Для работы с данным тоже юзаю mongo консоль.

> может нет доступа из-за того что база превысила 4Гб на 32bit платформе?
Ограничение в 2.5 гигабайта: http://blog.mongodb.org/post/137788967/32-bit-limitations

doza_and

Янв. 5, 2012 10:31:09

Может непонятно выразился.
XP 32 бита
1 В рамках суммарного объема баз меньше 2 Гб претензий к mongodb нет. Выход за эти пределы посмотрел чтобы знать как она будет себя вести.
2 Посмотрел сторонний инструментарий. на мелких базах (надо ведь посмотреть инструментарий). Вот к ним претензии есть.
fangomongo - на все вопросы один ответ что-то типа module has no attribute binary не стал разбираться.
mViewer после обращения к таблице с циклическими ссылками на все запросы начинает говорить нет доступа к коллекциям
rockmongo-on-windows очень долго рендерит результат. К коллекции 50 документов по 50k коннект идет секунд 30 и запросы по столькоже. Работать просто невозможно.
MongoExplorer своим силверлайтом жутко жрет память и тормозит на больших документах то что в rockmongo 30 сек то в нем о зажрало 1.5Гб оперативки и отрисовывалось минут 5.
наиболее адекватный JmongoBrowser. Единственное - нет визуальной поддержки переходов по ссылкам.
Резюме - консоль надежнее и решает почти все задачи.

alexandre

Янв. 7, 2012 07:01:46

Также перешел на монго не жалуюсь. Couchdb хорошая база стабильная во всем плотно юзал примерно год. Но ряд ограничений и перетрубация проекта к сожалению заставили отказаться от него. Слишком негибкая система запросов, монго тут наверно на 3 головы выше. Главный разработчик отказался от коуча аргументировал тем что полностью сконцентрируется на проекте couchbase это симбиоз мембэйс и коуча но этот проект пока непонятен и не доделан. С хадобом как то возился создается впечатление что это скорее академический проект чем проект для массового использования.