Python-сообщество

Как netCDF4.Variable разпарсить на массивы строк и в ASCII-файл записать?

Не думаю что кто то здесь знает про это Слишком специфично. Придется вам самому.
гетаттр гетитем поддерживает что еще надо то???

Отредактировано PanovSergey (Фев. 15, 2014 15:02:22)

Отсюда не видно что у вас за файл. А это вам не помогло? https://pypi.python.org/pypi/netCDF4/0.8.2
Похоже что народ от этого формата отказывается. http://www.hdfgroup.org/projects/netCDF-4/ Возиться есть смысл если данные очень нужны и их много.

p.s.
по моему мнению писать из netcdf в текст все равно что пересесть с автомобиля на кобылу. Пишите в базу или тотже hdf5.

Отредактировано doza_and (Фев. 15, 2014 21:30:10)

Спасибо, doza_and, за конструктивный ответ. Да, NASA на этот формат данных “подсадило”… Да и не только климатические, но данные измерений экспедиционных сейчас в NetCDF дают… В spatialite собираюсь класть… А в ASCII походя для того, чтобы попривыкнуть да проверить… А чем hdf5 лучше?

кроме всего прочего не знаю таких ГИС, ктр. бы сразу из NetCDF “кушали” данные напрямую… все через какие-то wizard'ы надо пошагово пройти… еще раз спасибо!

nickleb
А чем hdf5 лучше?

Мне трудно сказать, пользовался я в основном hdf5. Скорее вопрос некорректен. Цитата от разработчиков.
“ This
 tutorial
 introduces
 HDF5
 and
 netCDF‐4,
 a
 new
 version
 of
 netCDF
 built
 on
 top
 of
 HDF5.

”. Т.е. hdf5 это сейчас один из внутренних слоев netCDF.

Отредактировано doza_and (Фев. 16, 2014 11:24:38)

Да, спасибо…
Цитата из книги http://shop.oreilly.com/product/0636920030249.do :
“Even the newest version of the competing NetCDF format, NetCDF4, is implemented using HDF5 groups, datasets, and attributes”
http://it-ebooks.info/book/3089/
Года два назад я “малёхо” с hdf5 работал… Разберусь…

nickleb
А чем hdf5 лучше?

Маленькое замечание. У вас наклевывается решение http://www.gaia-gis.it/gaia-sins/. И сравнивать наверное надо с ним.
Это интересное решение. Однако замечу что те данные что были у нас, мы почти все вытащили из SQL баз и залили в hdf5.

У gaia-gis заявляются преимущества:
1 a single lightweight library implementing the full SQL engine
2 standard SQL implementation: almost complete SQL-92
3 no complex client/server architecture
4 a whole database simply corresponds to a single monolithic file (no size limits)
5 any DB-file can be safely exchanged across different platforms, because the internal architecture is universally portable
6 no installation, no configuration

В hdf5 нет SQL-92 (вместо него поддержка работы с многомерными массивами) остальные пункты он тоже обеспечивает.
Почему мы его используем:
1 Иерархическая-сетевая организация данных оказывается намного удобнее табличной.
2 hd5 НАМНОГО быстрее всех рассматривавшихся нами движков баз данных. (mysql,interbase, postgres) типичные данные - множество временных рядов, из которых надо вытаскивать интервалы по времени выигрыш по сравнению с interbase составлял 100-200 раз. Это конечно на обычном винчестере.
3 hdf5 легко сделать меньше по объему. Обычно 5-10 раз. Это внутренняя компрессия и отсутствие индексов.
4 На записи он тоже шустрый если объекты не пожатые компрессором. Для сжатия в настоящей реализации надо свое кеширование устраивать.

Недостатки -
1 однопользовательская запись. Можно компенсировать разбив файл на куски поскольку hdf5 допускает ссылки на внешние файлы.
2 Нет встроенных индексов(ну точнее они матричные и индексы датасетов). Тут я сторонник конструктора из запчастей. никто не мешает отдельно сделать sqlite с индексами. Есть коммерческие индексы для hdf5.
3 Нет сетевой раздачи (точнее есть MPI). Ну мы тут просто сайт поднимаем и раздаем данные кому что нужно в виде файликов.

Так что я советую 10 раз подумать. netcdf - hdf5 достаточно хороший и удобный формат.
Если не трудно - проведите сравнение со своей точки зрения и сообщите результаты.

Отредактировано doza_and (Фев. 17, 2014 07:33:46)

doza_and, спасибо… принял к сведению… хочу еще глянуть, что там Стоунбрейкер со SciDB придумал…

nickleb
хочу еще глянуть

Да это интересный проект. Если не секрет и не долго объяснять то опишите подробнее задачу. Что и как собственно надо хранить? Может сообщество что и придумает. У SciDB и h5py совершенно разные задачи…

Отредактировано doza_and (Фев. 17, 2014 21:12:04)