Найти - Пользователи
Полная версия: Как netCDF4.Variable разпарсить на массивы строк и в ASCII-файл записать?
Начало » Python для новичков » Как netCDF4.Variable разпарсить на массивы строк и в ASCII-файл записать?
1 2
nickleb
вал информации с ARGO, ITP и др. дрейфующих буев в океане… глайдеры - самоходки по морям-океанам, забортные самописцы по ходу движения судов и кораблей… хотелось бы и историю работы с качеством данных хранить - то, что вчера-сегодня бракуем-удаляем как нефизичное - завтра окажется не замеченным ранее феноменом…
doza_and
Понятно, времянные ряды непонятно только сколько (точно надо на кластере хранить?) и как будут анализироваться (т.е. типы запросов) И насколько велик вал? Один винчестер потянет по скорости сбора?. Сегодня особо нет времени, пишите в личку. Это спец отрасль две основные ссылки на вики :) http://en.wikipedia.org/wiki/Operational_Historian
http://en.wikipedia.org/wiki/Time_series_database
Знакомый работал с http://www.iconics.com/Home/Products/Historians/Hyper-Historian.aspx
По поводу качества - филосовский вопрос. В конечном итоге это приводит к использованию при компрессии данных мат моделей объекта и шумов регистрирующих устройств. При детектировании отклонений от этих моделей - надо писать данные as-is и маркировать для перекомпрессии. Однако фильтры в любом случае есть - дискретизация, сглаживание компрессия с потерей данных и т.п. Думаю что готовых инструментов в базах не найдете. Это скорее из области обработки сигналов. Если хватает скорости то мы архивы пишем в hdf5 и пока довольны.
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB