«dask» etiketlenmiş sorular

Ağustos 2017 itibarıyla, Pandas DataFame.apply () maalesef hala tek bir çekirdekle çalışmakla sınırlıdır, bu da çok çekirdekli bir makinenin çalıştırdığınızda işlem süresinin çoğunu boşa harcayacağı anlamına gelir df.apply(myfunc, axis=1). Uygulamayı paralel olarak bir dataframe üzerinde çalıştırmak için tüm çekirdeklerinizi nasıl kullanabilirsiniz?

105 pandas  dask 

Oldukça büyük Pandalar DataFrame ile uğraşıyorum - veri setim aşağıdaki dfdüzene benziyor : import pandas as pd import numpy as np #--------------------------------------------- SIZING PARAMETERS : R1 = 20 # .repeat( repeats = R1 ) R2 = 10 # .repeat( repeats = R2 ) R3 = 541680 # .repeat( repeats = …

9 python  pandas  apache-spark  parallel-processing  dask