HDF5 Alternatifleri

Yıllardır HDF5 kullanıyorum, ancak veri kümesinin boyutu büyüdükçe burada listelenen aynı sorunları yaşamaya başlıyorum

http://cyrille.rossant.net/moving-away-hdf5/

Beni HDF5 gibi bir formata işaret edebilir misiniz - Paralel yazma için iyi destek - Büyük matrislerin yığınlanmış erişimi için destek

Tipik kullanım durumum 100k x 100k tamsayı bir matristir. Mantıksal bir bakış açısıyla bütün bir dosya olarak görmek istiyorum, ancak paralel çalışanlarla yığın tarafından yığın yazmam gerekiyor.

data-storage

— MG
kaynak

Lütfen ne tür veri kümelerini dışa aktarmanız gerektiğini açıklayabilir misiniz? Bu, sorunuzu cevaplamak isteyen kişilere yardımcı olabilir. HDF5 ve netcfd'yi düşündüm. Ancak bunlar belirli veri setlerine daha uygun olabilir.

— Charles

Sıkıştırılmış VTK, parçaları destekler. Paralel birçok dosyayı kaydedebilir ve PVD meta dosyasını kullanarak birleştirebilirsiniz. Veri kümenizin boyutu nedir?

— Krzysztof Bzowski

Düzenlemelerinizden sonra - yığın VTK iyi bir karar değil.

— Krzysztof Bzowski

Sonunda ne kullandın?

— aidan.plenert.macdonald

@ aidan.penert.macdonald HDF5 ile tuttum, MPI ile paralel yazılar kullandım. Ama Python'u terk etmek zorunda kaldım

— MG

HDF5 bir dereceye kadar kendi başına bir dosya sistemidir. B-Ağaçlarını tanıtarak ve blokları yönetme yöntemiyle bir dosya sisteminin işlevselliğini çoğaltır. Kodunuzu çalıştırırken, muhtemelen kanıtlanmış ve ölçeklenebilir bir dosya sistemine sahip bir işletim sisteminde çalıştırıyorsunuzdur. Bu nedenle, ham dosya erişimi veya MPI-IO kullanarak sayısal ham verilerinizi tek bir dosyaya yazmanızı ve meta verileri (endianess, boyut, nitelikler, vb.) Ayrı bir JSON veya XML dosyasına yazmanızı öneririm. Birden çok veri kümeniz varsa, bunları bir dizinde veya dizin hiyerarşisinde düzenleyebilirsiniz. Veri kümesini dağıtmak istediğinizde, onu bir ZIP dosyasına paketlemeniz yeterlidir.

Tek dezavantajı, Endianness ile başa çıkmak zorunda, ancak zor değil .

Bunun nasıl yapılabileceğinden ilham almak için bkz. Dragly, et. ark. "A. Deneysel Dizin Yapısı (Exdir): Yeni Bir Dosya Biçimi Getirmeden HDF5'e Alternatif" Front. Neuroinform., 2018,12 .

— H. Rittich
kaynak