«hdf5» etiketlenmiş sorular

16
Pandalar kullanarak “büyük veri” iş akışları
Panda öğrenirken aylarca bu sorunun cevabını bulmaya çalıştım. SAS'ı günlük işlerim için kullanıyorum ve çekirdek dışı desteği için harika. Bununla birlikte, SAS, başka birçok nedenden dolayı bir yazılım parçası olarak korkunçtur. Bir gün SAS kullanımımı python ve pandalarla değiştirmeyi umuyorum, ancak şu anda büyük veri kümeleri için çekirdek dışı bir …

1
Büyük dizi depolama için (düz ikili dosyalar yerine) HDF5 kullanmanın analiz hızı veya bellek kullanım avantajı var mı?
Çeşitli veri analizi yapmak için genellikle çeşitli şekillerde dilimlemem gereken büyük 3B dizileri işliyorum. Tipik bir "küp" ~ 100 GB olabilir (ve gelecekte büyük olasılıkla daha da büyüyecektir) Python'daki büyük veri kümeleri için önerilen tipik dosya biçiminin HDF5 (h5py veya pytables) kullanmak olduğu anlaşılıyor. Sorum şu: Bu küpleri depolamak ve …
97 python  numpy  hdf5  pytables  h5py 
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.