İstatistikler ve Büyük Veri

CSV dosyasına sahip olduğumuzu varsayabiliriz ve tek bir arsa üzerinde birkaç satır ve basit bir açıklama içeren çok temel bir çizgi grafiği isteriz.

17 data-visualization 

Herhangi bir zaman serisini analiz edebilecek ve analiz edilen zaman serisi verileri için en iyi geleneksel / istatistiki tahmin yöntemini (ve parametrelerini) seçebilecek bir algoritma oluşturmak istiyorum. Böyle bir şey yapmak mümkün mü? Cevabınız evet ise, bana bu konuya nasıl yaklaşılacağı konusunda bazı ipuçları verebilir misiniz?

17 time-series  forecasting  python 

Zaman serisi tahmini için tekrarlayan sinir ağlarını kullanmayı düşünmek. Temel olarak doğrusal oto-regresyon kullanan ARMA ve ARIMA modellerine kıyasla bir çeşit genelleştirilmiş doğrusal olmayan oto-regresyon uygularlar. Doğrusal olmayan oto-regresyon gerçekleştiriyorsak, zaman serilerinin sabit olması hala gerekli midir ve ARIMA modellerinde yaptığımız gibi fark yaratmamız gerekir mi? Veya modelin doğrusal olmayan …

17 time-series  autoregressive  nonlinear  stationarity 

Sağlam PCA ( Candes ve ark 2009 veya daha iyisi henüz Netrepalli ve ark 2014 tarafından geliştirilen ), çok değişkenli aykırı değer tespiti için popüler bir yöntemdir , ancak Mahalanobis mesafesi , kovaryans matrisinin sağlam ve düzenli bir tahmini verildiğinde aykırı tespiti için de kullanılabilir . Bir yöntemi diğerine göre …

17 pca  outliers  covariance-matrix  robust  anomaly-detection 

Göreceli olarak düşük boyutlu bir ortamda (n >> p) özellik seçimi için Kement kullanıyorum. Bir Kement modelini taktıktan sonra, sıfır olmayan katsayıları olan değişkenleri, cezasız bir modele uyacak şekilde kullanmak istiyorum. Bunu yapıyorum çünkü Lasso'nun bana veremeyeceği tarafsız tahminler istiyorum. Ayrıca tarafsız tahmin için p-değerleri ve güven aralıkları istiyorum. Bu …

17 regression  feature-selection  lasso  unbiased-estimator 

LSTM sinir ağında aşağıdaki blogdan geçiyorum: http://machinelearningmastery.com/understanding-stateful-lstm-recurrent-neural-networks-python-keras/ Yazar, giriş vektörü X'i LSTM'lerin farklı konfigürasyonu için [örnekler, zaman adımları, özellikler] olarak yeniden şekillendirir. Yazar yazar Aslında, harf dizileri ayrı özelliklerin bir zaman basamağı yerine bir unsurun zaman basamaklarıdır. Ağa daha fazla bağlam verdik, ancak beklediğimizden daha fazla sıralama yapmadık Ne anlama …

17 neural-networks  lstm  rnn  tensorflow  tensor 

Birçok algoritma ile çalışıyorum: RandomForest, DecisionTrees, NaiveBayes, SVM (çekirdek = doğrusal ve rbf), KNN, LDA ve XGBoost. SVM dışında hepsi oldukça hızlıydı. O zaman daha hızlı çalışmak için özellik ölçeklendirmesi gerektiğini bilmeliyim. Sonra aynı şeyi diğer algoritmalar için de yapmam gerekip gerekmediğini merak etmeye başladım.

17 machine-learning  svm  random-forest  naive-bayes  xgboost 

İç içe çapraz doğrulama için aşağıdaki mesajları okudum ve hala iç içe çapraz doğrulama ile model seçimi ile ne yapacağım% 100 emin değilim: Model seçimi için iç içe çapraz doğrulama Model seçimi ve çapraz doğrulama: Doğru yol Karışıklığımı açıklamak için, adım adım iç içe çapraz doğrulama yöntemiyle model seçiminden geçmeye …

17 cross-validation  scikit-learn  hyperparameter 

İlk olarak, burada , burada , burada , burada , burada uzun süredir tartışılan bir soru yayınlamaktan dolayı özür dilerizve eski bir konuyu yeniden ısıtmak için. @DikranMarsupial'ın bu konu hakkında yazılarda ve dergi gazetelerinde uzun bir süre yazdığını biliyorum, ama hala kafam karıştı ve buradaki benzer yazıların sayısına bakılırsa, hala …

17 machine-learning  cross-validation  model-selection  glmnet  hyperparameter 

Taleb, 2016, Standart P-Değerlerinin Meta-Dağılımı'nda yapılan büyük resim iddiasını anlamaya çalışıyorum . İçinde Taleb, p-değerinin güvenilmezliği için aşağıdaki argümanı yapar (anladığım kadarıyla): Üzerine bir tahmin prosedürü çalışma bir dağıtım gelen veri noktaları X çıkışları p değeri. Bu dağıtımdan daha fazla nokta çizersek ve başka bir p değeri çıkarırsak, "gerçek p …

17 hypothesis-testing  statistical-significance  p-value 

Bir veri varsa ve çapraz doğrulama (diyelim ki 5 kat) ile bir sınıflandırma (bu veriler üzerinde rastgele orman diyelim) çalıştırırsanız, benim yöntemime fazla uygun olmadığı sonucuna varabilir miyim?

17 cross-validation  overfitting 

Supppse XXX ve YYY standart olarak [ 0 , 1 ] 'de eşit olarak dağılmıştır [0,1][0, 1]ve bağımsızdırlar, Z = Y / X'in PDF dosyası Z=Y/XZ = Y / Xnedir? Bazı olasılık teorisi ders kitabının cevabı f Z ( Z ) = { 1 / 2 , eğer 0 ≤ …

17 probability  derived-distributions 

Soru (lar): Yarı maksimum olabilirlik tahmininin (QMLE; sözde maksimum olabilirlik tahmini, PMLE olarak da bilinir) arkasındaki fikir ve sezgi nedir? Gerçek hata dağılımı varsayılan hata dağılımıyla eşleşmediğinde tahmincinin çalışmasını sağlayan nedir? Vikipedi sitesi QMLE için (noktaya kısa, sezgisel,) iyi, ama biraz daha sezgi ve ayrıntı, belki de bir çizim kullanabilirsiniz. …

17 maximum-likelihood  references  intuition  quasi-likelihood 

Belirtildiği gibi , bu sorunun, kovaryans matrisinin en sıralaması olan burada örnek boyutu ve bu yüzden kovaryans matrisi boyutu örnek büyüklüğü eşit ise, bu tekil olur. Neden kovaryans matrisinin maksimum rütbesinden çıkardığımızı anlayamıyorum .n 1 nn−1n−1n-1nnn111nnn

17 covariance-matrix  linear-algebra 

Bu yüzden bir P-değerini nasıl doğru yorumlayacağımız hakkında çok şey okudum ve okuduğumdan, p-değeri, sıfır hipotezinin doğru veya yanlış olma olasılığı hakkında HİÇBİR şey söylüyor. Ancak, aşağıdaki ifadeyi okurken: P - değeri, tip I hatası yapma veya doğru olduğunda sıfır hipotezini reddetme olasılığını temsil eder. P değeri ne kadar küçük …

17 hypothesis-testing  p-value