Найти - Пользователи
Полная версия: Как netCDF4.Variable разпарсить на массивы строк и в ASCII-файл записать?
Начало » Python для новичков » Как netCDF4.Variable разпарсить на массивы строк и в ASCII-файл записать?
1 2
nickleb
Как netCDF4.Variable разпарсить на массивы строк и в ASCII-файл записать?
PanovSergey
Не думаю что кто то здесь знает про это Слишком специфично. Придется вам самому.
гетаттр гетитем поддерживает что еще надо то???
doza_and
Отсюда не видно что у вас за файл. А это вам не помогло? https://pypi.python.org/pypi/netCDF4/0.8.2
Похоже что народ от этого формата отказывается. http://www.hdfgroup.org/projects/netCDF-4/ Возиться есть смысл если данные очень нужны и их много.

p.s.
по моему мнению писать из netcdf в текст все равно что пересесть с автомобиля на кобылу. Пишите в базу или тотже hdf5.
nickleb
Спасибо, doza_and, за конструктивный ответ. Да, NASA на этот формат данных “подсадило”… Да и не только климатические, но данные измерений экспедиционных сейчас в NetCDF дают… В spatialite собираюсь класть… А в ASCII походя для того, чтобы попривыкнуть да проверить… А чем hdf5 лучше?
nickleb
кроме всего прочего не знаю таких ГИС, ктр. бы сразу из NetCDF “кушали” данные напрямую… все через какие-то wizard'ы надо пошагово пройти… еще раз спасибо!
doza_and
nickleb
А чем hdf5 лучше?
Мне трудно сказать, пользовался я в основном hdf5. Скорее вопрос некорректен. Цитата от разработчиков.
“ This
 tutorial
 introduces
 HDF5
 and
 netCDF‐4,
 a
 new
 version
 of
 netCDF
 built
 on
 top
 of
 HDF5.

”. Т.е. hdf5 это сейчас один из внутренних слоев netCDF.
nickleb
Да, спасибо…
Цитата из книги http://shop.oreilly.com/product/0636920030249.do :
“Even the newest version of the competing NetCDF format, NetCDF4, is implemented using HDF5 groups, datasets, and attributes”
http://it-ebooks.info/book/3089/
Года два назад я “малёхо” с hdf5 работал… Разберусь…
doza_and
nickleb
А чем hdf5 лучше?
Маленькое замечание. У вас наклевывается решение http://www.gaia-gis.it/gaia-sins/. И сравнивать наверное надо с ним.
Это интересное решение. Однако замечу что те данные что были у нас, мы почти все вытащили из SQL баз и залили в hdf5.

У gaia-gis заявляются преимущества:
1 a single lightweight library implementing the full SQL engine
2 standard SQL implementation: almost complete SQL-92
3 no complex client/server architecture
4 a whole database simply corresponds to a single monolithic file (no size limits)
5 any DB-file can be safely exchanged across different platforms, because the internal architecture is universally portable
6 no installation, no configuration

В hdf5 нет SQL-92 (вместо него поддержка работы с многомерными массивами) остальные пункты он тоже обеспечивает.
Почему мы его используем:
1 Иерархическая-сетевая организация данных оказывается намного удобнее табличной.
2 hd5 НАМНОГО быстрее всех рассматривавшихся нами движков баз данных. (mysql,interbase, postgres) типичные данные - множество временных рядов, из которых надо вытаскивать интервалы по времени выигрыш по сравнению с interbase составлял 100-200 раз. Это конечно на обычном винчестере.
3 hdf5 легко сделать меньше по объему. Обычно 5-10 раз. Это внутренняя компрессия и отсутствие индексов.
4 На записи он тоже шустрый если объекты не пожатые компрессором. Для сжатия в настоящей реализации надо свое кеширование устраивать.

Недостатки -
1 однопользовательская запись. Можно компенсировать разбив файл на куски поскольку hdf5 допускает ссылки на внешние файлы.
2 Нет встроенных индексов(ну точнее они матричные и индексы датасетов). Тут я сторонник конструктора из запчастей. никто не мешает отдельно сделать sqlite с индексами. Есть коммерческие индексы для hdf5.
3 Нет сетевой раздачи (точнее есть MPI). Ну мы тут просто сайт поднимаем и раздаем данные кому что нужно в виде файликов.

Так что я советую 10 раз подумать. netcdf - hdf5 достаточно хороший и удобный формат.
Если не трудно - проведите сравнение со своей точки зрения и сообщите результаты.
nickleb
doza_and, спасибо… принял к сведению… хочу еще глянуть, что там Стоунбрейкер со SciDB придумал…
doza_and
nickleb
хочу еще глянуть
Да это интересный проект. Если не секрет и не долго объяснять то опишите подробнее задачу. Что и как собственно надо хранить? Может сообщество что и придумает. У SciDB и h5py совершенно разные задачи…
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB