nickleb
Фев. 18, 2014 10:39:59
вал информации с ARGO, ITP и др. дрейфующих буев в океане… глайдеры - самоходки по морям-океанам, забортные самописцы по ходу движения судов и кораблей… хотелось бы и историю работы с качеством данных хранить - то, что вчера-сегодня бракуем-удаляем как нефизичное - завтра окажется не замеченным ранее феноменом…
doza_and
Фев. 18, 2014 18:54:40
Понятно, времянные ряды непонятно только сколько (точно надо на кластере хранить?) и как будут анализироваться (т.е. типы запросов) И насколько велик вал? Один винчестер потянет по скорости сбора?. Сегодня особо нет времени, пишите в личку. Это спец отрасль две основные ссылки на вики :)
http://en.wikipedia.org/wiki/Operational_Historianhttp://en.wikipedia.org/wiki/Time_series_databaseЗнакомый работал с
http://www.iconics.com/Home/Products/Historians/Hyper-Historian.aspxПо поводу качества - филосовский вопрос. В конечном итоге это приводит к использованию при компрессии данных мат моделей объекта и шумов регистрирующих устройств. При детектировании отклонений от этих моделей - надо писать данные as-is и маркировать для перекомпрессии. Однако фильтры в любом случае есть - дискретизация, сглаживание компрессия с потерей данных и т.п. Думаю что готовых инструментов в базах не найдете. Это скорее из области обработки сигналов. Если хватает скорости то мы архивы пишем в hdf5 и пока довольны.