Python-сообщество

вал информации с ARGO, ITP и др. дрейфующих буев в океане… глайдеры - самоходки по морям-океанам, забортные самописцы по ходу движения судов и кораблей… хотелось бы и историю работы с качеством данных хранить - то, что вчера-сегодня бракуем-удаляем как нефизичное - завтра окажется не замеченным ранее феноменом…

Понятно, времянные ряды непонятно только сколько (точно надо на кластере хранить?) и как будут анализироваться (т.е. типы запросов) И насколько велик вал? Один винчестер потянет по скорости сбора?. Сегодня особо нет времени, пишите в личку. Это спец отрасль две основные ссылки на вики :) http://en.wikipedia.org/wiki/Operational_Historian
http://en.wikipedia.org/wiki/Time_series_database
Знакомый работал с http://www.iconics.com/Home/Products/Historians/Hyper-Historian.aspx
По поводу качества - филосовский вопрос. В конечном итоге это приводит к использованию при компрессии данных мат моделей объекта и шумов регистрирующих устройств. При детектировании отклонений от этих моделей - надо писать данные as-is и маркировать для перекомпрессии. Однако фильтры в любом случае есть - дискретизация, сглаживание компрессия с потерей данных и т.п. Думаю что готовых инструментов в базах не найдете. Это скорее из области обработки сигналов. Если хватает скорости то мы архивы пишем в hdf5 и пока довольны.