Latest posts on организовать сохр\обход миллиона словарей topichttp://python.su/forum/topic/570/2007-03-24T16:41:09+02:00Общий :: Python для экспертов :: организовать сохр\обход миллиона словарей
2007-03-24T16:41:09+02:00tabajara4167Для зберігання <a href="http://www.zope.org/Products/ZODB3.6">http://www.zope.org/Products/ZODB3.6</a><br/>Для пошуку <a href="http://www.blazingthings.com/dev/zcatalog.html">http://www.blazingthings.com/dev/zcatalog.html</a>
Общий :: Python для экспертов :: организовать сохр\обход миллиона словарей
2007-03-19T06:10:54+02:00pythonwin3959взято из <a href="http://forum.vingrad.ru/topic-141788/0.html#entry1068851">http://forum.vingrad.ru/topic-141788/0.html#entry1068851</a><br/><blockquote><em>kulibinka</em><br/>Суть задачи: есть статьи. Их количество около 1 000 000.<br/><br/>Для каждой из них расчитывается куча данных, сохраненных в списках\словарях.<br/>Есть стандартная задача - пробежаться по всем этим данными и как-то их вместе обработать.<br/><br/>Раньше я для каждой из статей найденные данные через модуль маршал сохранял в файликах, и при необходимости подтягивал.<br/><br/>Но когда количество статей переваливает за несколько десятков тысяч начинаются проблемы (даже 10 000 файликов это уже довольно серьезная проблема smile ).<br/><br/>Само собой напрашивается использование базы данных, но для каждого поля сериализировать и при необходимости рассериализировать списки\словари каждый раз это никому не нужный и большущий расход ресурсов.<br/><br/>Пытался использовать pytables (которые в принципе создан для похожих задач), но он при сериализации коцает данные, и их после этого невозможно достать (да и сериализация затратная).<br/><br/>Возможно, есть базы данных типа pytables, но которые напрямую позволяют без проблем и прозрачно сохранять данные родных питоновских типов… А возможно нужно использовать какой-то кардинально другой способ…<br/><br/>Подскажите пожалуйста: как организовать сохранение и обход миллиона (или нескольких) списков\словарей на обычной машине?</blockquote>