«data-storage» etiketlenmiş sorular

Kayan nokta bilimsel verilerinin sıkıştırılması için özel olarak tasarlanmış araçlar var mı? Bir işlev düzgün ise, bu işlevi temsil eden sayılar arasında çok fazla korelasyon vardır, bu nedenle veriler iyi sıkıştırılmalıdır. İkili kayan nokta verilerini sıkıştırmak / gzipping yapmak o kadar iyi sıkıştırmaz. Kayan nokta verilerini sıkıştırmak için özel olarak …

26 data-storage 

Yıllardır HDF5 kullanıyorum, ancak veri kümesinin boyutu büyüdükçe burada listelenen aynı sorunları yaşamaya başlıyorum http://cyrille.rossant.net/moving-away-hdf5/ Beni HDF5 gibi bir formata işaret edebilir misiniz - Paralel yazma için iyi destek - Büyük matrislerin yığınlanmış erişimi için destek Tipik kullanım durumum 100k x 100k tamsayı bir matristir. Mantıksal bir bakış açısıyla bütün …

17 data-storage 

TP, DR Bilimsel hesaplama çevrelerinde, büyük miktarlarda hiyerarşik olarak yapılandırılmış verilerin depolanması için kabul edilen en iyi uygulama nedir? Örneğin, SQL büyük seyrek matrislerle iyi oynamaz. Bu tür verileri yapılandırmak, depolamak ve analiz etmek için iyi bir araç var mı? LHC'deki çocuklar ne kullanıyor? Vaka ayrıntılarını kullan Aşağıdaki hiyerarşiye göre …

13 data-management  data-storage  data-analysis 

HDF5'te kullanılan dosya biçimine aşina değilim, ancak HDF5 dosyalarının git (veya örneğin Mercurial veya Subversion) ile revizyon kontrolü için uygun olup olmadığını merak ediyorum? Ne demek istediğimi tahmin ediyorum: HDF5 dosyaları satır tabanlı diff'ing için uygun veya git bir HDF5 büyük bir ikili olarak tedavi etmek ve her revizyon için …

13 data-management  data-storage