1
Büyük dizi depolama için (düz ikili dosyalar yerine) HDF5 kullanmanın analiz hızı veya bellek kullanım avantajı var mı?
Çeşitli veri analizi yapmak için genellikle çeşitli şekillerde dilimlemem gereken büyük 3B dizileri işliyorum. Tipik bir "küp" ~ 100 GB olabilir (ve gelecekte büyük olasılıkla daha da büyüyecektir) Python'daki büyük veri kümeleri için önerilen tipik dosya biçiminin HDF5 (h5py veya pytables) kullanmak olduğu anlaşılıyor. Sorum şu: Bu küpleri depolamak ve …