Numpy dizilerini h5py'ye girin ve çıkarın

Çıktısı boyutlu bir matris olan ve girişlerinin tümü türden olan bir Python kodum var float. .datDosyayı uzantıyla kaydedersem dosya boyutu 500 MB olur. Kullanmanın h5pydosya boyutunu önemli ölçüde azalttığını okudum . Diyelim ki 2D numpy dizisine sahibim A. Bunu bir h5py dosyasına nasıl kaydederim? Ayrıca, aynı dosyayı nasıl okuyabilirim ve farklı bir koda uyuşmuş bir dizi olarak koyabilirim, çünkü dizi ile manipülasyonlar yapmam gerekir?

h5py, bir veri kümesi ve grup modeli sağlar . İlki temelde dizilerdir ve ikincisi dizinler olarak düşünebilirsiniz. Her biri adlandırılır. API belgelerine ve örneklere bakmalısınız:

http://docs.h5py.org/en/latest/quick.html

Tüm verileri önceden oluşturduğunuz ve sadece bir hdf5 dosyasına kaydetmek istediğiniz basit bir örnek şuna benzer:

In [1]: import numpy as np
In [2]: import h5py
In [3]: a = np.random.random(size=(100,20))
In [4]: h5f = h5py.File('data.h5', 'w')
In [5]: h5f.create_dataset('dataset_1', data=a)
Out[5]: <HDF5 dataset "dataset_1": shape (100, 20), type "<f8">

In [6]: h5f.close()

Daha sonra bu verileri kullanarak tekrar yükleyebilirsiniz: '

In [10]: h5f = h5py.File('data.h5','r')
In [11]: b = h5f['dataset_1'][:]
In [12]: h5f.close()

In [13]: np.allclose(a,b)
Out[13]: True

Kesinlikle dokümanlara göz atın:

http://docs.h5py.org

Hdf5 dosyasına yazma, h5py veya pytables'a bağlıdır (her biri, hdf5 dosya spesifikasyonunun üstüne oturan farklı bir python API'sine sahiptir). Ayrıca numpy tarafından yerel olarak sağlanan np.save, np.savezvb. Gibi diğer basit ikili biçimlere de göz atmalısınız :

http://docs.scipy.org/doc/numpy/reference/routines.io.html

Dosyayı açıp kapatmanın ve bellek sızıntılarını önlemenin daha temiz bir yolu :

Hazırlık:

import numpy as np
import h5py

data_to_write = np.random.random(size=(100,20)) # or some such

Yazmak:

with h5py.File('name-of-file.h5', 'w') as hf:
    hf.create_dataset("name-of-dataset",  data=data_to_write)

Oku:

with h5py.File('name-of-file.h5', 'r') as hf:
    data = hf['name-of-dataset'][:]