«pandas» etiketlenmiş sorular

1996'dan beri SQL kullanıyorum, bu yüzden önyargılı olabilirim. MySQL ve SQLite 3'ü kapsamlı bir şekilde kullandım ancak Microsoft SQL Server ve Oracle'ı da kullandım. Pandalarla yaptığım işlemlerin büyük çoğunluğu SQL ile daha kolay yapılabilir. Bu, bir veri kümesini filtrelemeyi, görüntülenecek belirli sütunları seçmeyi, değerlere bir işlev uygulamayı vb. İçerir. SQL, …

69 pandas  sql 

Bir süredir pandaları kullanıyorum. Fakat pandalar arasındaki isna()ve isnull()arasındaki farkın ne olduğunu anlamadım . Ve, daha önemlisi, veri çerçevesindeki eksik değerleri belirlemek için hangisinin kullanılması gerektiği. Bir değerin nasıl ya nada olarak tespit edilmesinin temelinde yatan temel fark nedir null?

65 python  pandas  dataframe 

RandomForest modelini kullanarak test verilerini tahmin ederken ValueError aldım. Benim kod: clf = RandomForestClassifier(n_estimators=10, max_depth=6, n_jobs=1, verbose=2) clf.fit(X_fit, y_fit) df_test.fillna(df_test.mean()) X_test = df_test.values y_pred = clf.predict(X_test) Hata: ValueError: Input contains NaN, infinity or a value too large for dtype('float32'). Test veri setinde hatalı değerleri nasıl bulabilirim? Ayrıca, bu kayıtları bırakmak …

41 python  random-forest  pandas 

Birkaç girişi olan bir panda veri çerçevem ​​var ve bazı mağaza türlerinin geliri arasındaki ilişkiyi hesaplamak istiyorum. Gelir verileri, faaliyet alanlarının sınıflandırılması (tiyatro, giyim mağazaları, yiyecek ...) ve diğer veriler bulunan çok sayıda mağaza vardır. Yeni bir veri çerçevesi oluşturmaya ve aynı kategoriye ait tüm mağaza türlerinin geliri olan bir …

35 python  statistics  visualization  pandas 

Şu anda makine öğrenmesi amacıyla panda ve python içeren bir dosya açmaya çalışıyorum, hepsinin DataFrame'de olması benim için ideal. Şimdi dosya 18GB büyüklüğünde ve RAM'im 32 GB'dir ancak sürekli bellek hataları alıyorum. Tecrübelerinden mümkün mü? Eğer bu sorunu çözmenin daha iyi bir yolunu bilmiyorsanız? (kovan tablosu? RAM'imin boyutunu 64'e yükseltir? …

33 python  bigdata  pandas  anaconda 

Aşağıdakine benzeyen bir liste listesini Pandas Dataframe'e dönüştürmeye çalışıyorum [['New York Yankees ', '"Acevedo Juan" ', 900000, ' Pitcher\n'], ['New York Yankees ', '"Anderson Jason"', 300000, ' Pitcher\n'], ['New York Yankees ', '"Clemens Roger" ', 10100000, ' Pitcher\n'], ['New York Yankees ', '"Contreras Jose"', 5500000, ' Pitcher\n']] Temel olarak dizideki …

30 pandas 

100 sayısal özellikli 50k örneklerin üzerinde bir degrade yükseltme modeli yetiştirmeye çalışıyorum. XGBClassifieriken benim makinede 43 saniye içinde kolları 500 ağaçları, GradientBoostingClassifierkolları sadece 10 ağaç (!) 1 dakika ve 2 saniye :( Ben rahatsız etmedi o saat sürer olarak 500 ağaç büyümeye çalışan. Aynı kullanıyorum learning_rateve max_depthayarları , aşağıya bakınız. …

29 scikit-learn  xgboost  gbm  data-mining  classification  data-cleaning  machine-learning  reinforcement-learning  data-mining  bigdata  dataset  nlp  language-model  stanford-nlp  machine-learning  neural-network  deep-learning  randomized-algorithms  machine-learning  beginner  career  xgboost  loss-function  neural-network  software-recommendation  naive-bayes-classifier  classification  scikit-learn  feature-selection  r  random-forest  cross-validation  data-mining  python  scikit-learn  random-forest  churn  python  clustering  k-means  machine-learning  nlp  sentiment-analysis  machine-learning  programming  python  scikit-learn  nltk  gensim  visualization  data  csv  neural-network  deep-learning  descriptive-statistics  machine-learning  supervised-learning  text-mining  orange  data  parameter-estimation  python  pandas  scraping  r  clustering  k-means  unsupervised-learning 

DataFrame.isinBirkaç bin belirli sayfanın her biri için bireysel kullanıcıların kayıtlarını "beğenen" facebook listelerinde arama yaparak, pandaların işlevini yoğun kullanan bir modelleme ve puanlama programım var . Bu, programlamanın en zaman alan kısmı, modelleme veya puanlama parçalarından çok, sadece geri kalanı eşzamanlı olarak birkaç düzine çalıştırırken sadece bir çekirdekte çalıştığı için. …

25 performance  python  pandas  parallel 

Bir df'nin bir sütununu diğer df'lerle karşılaştırmak istiyorum. Sütunlar adlar ve soyadlar. Bir veri çerçevesindeki bir kişinin bir diğerinde olup olmadığını kontrol etmek istiyorum.

23 pandas  dataframe 

Böyle bir Pandas DataFrame var: df = pd.DataFrame({ 'Date': ['2017-1-1', '2017-1-1', '2017-1-2', '2017-1-2', '2017-1-3'], 'Groups': ['one', 'one', 'one', 'two', 'two'], 'data': range(1, 6)}) Date Groups data 0 2017-1-1 one 1 1 2017-1-1 one 2 2 2017-1-2 one 3 3 2017-1-2 two 4 4 2017-1-3 two 5 Bunun gibi yeni bir …

21 python  pandas  dataframe 

Üçüncü sütunun eksik değer içerdiği 5 * 3 veri çerçevem ​​olduğunu varsayalım 1 2 3 4 5 NaN 7 8 9 3 2 NaN 5 6 NaN Ben ilk ürün ikinci sütun eksik değer tabanlı kural için değer üretmek istiyoruz 1 2 3 4 5 20 <--4*5 7 8 9 …

19 pandas 

Bazı değişkenler sütunlar (Telstra ağ kesintisi) yerine satırlarla temsil edilen bir Kaggle meydan okuma üzerinde çalışıyorum. Şu anda R tidyr aracında bulunan gather (), separa () ve spread () 'nin eşdeğerini arıyorum.

18 r  python  dataset  data-cleaning  pandas 

https://github.com/Rdatatable/data.table/wiki/Benchmarks-%3A-Grouping Data.table kıyaslamaları 2014'ten beri güncellenmemiştir. PandasŞimdi daha hızlı bir yerde duydum data.table. Bu doğru mu? Herhangi bir kıyaslama yapan var mı? Daha önce hiç Python kullanmadım ama pandasyenebilirse geçiş yapmayı düşünürdüm data.table?

18 python  r  pandas  data  data.table 

corr()Orijinal bir df dışında bir df oluşturun . corr()Df 70 X 70 çıktı ve ısı haritası görselleştirmek mümkün değildir ... sns.heatmap(df). Göstermeye çalışırsam corr = df.corr(), tablo ekrana sığmaz ve tüm korelasyonları görebilirim. Boyutundan dfbağımsız olarak tümünü yazdırmanın veya ısı haritasının boyutunu kontrol etmenin bir yolu var mı ?

17 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

Panda veri çerçevesindeki her satırdaki eksik değer sayısını nasıl alabilirim? Dataframe, her satırda aynı sayıda eksik değere sahip farklı dataframlara bölmek istiyorum. Herhangi bir öneri?

17 python  pandas