İstatistikler ve Büyük Veri

Öğrenme oranı parametresi ( ) Gradyan küçülür -typically her yeni baz model seri olarak bağlanır sığ tree katkısını Arttırılması de. Daha küçük adımlarda olduğu gibi anlaşılabilir olan test seti doğruluğunu önemli ölçüde arttırdığı gösterilmiştir, kayıp fonksiyonunun minimumuna daha hassas bir şekilde ulaşılabilir. ν∈ [ 0 , 1 ]ν∈[0,1]\nu \in [0,1] …

19 machine-learning  data-mining  predictive-models  boosting  overfitting 

Bu birçok kişi için basit bir soru olabilir, ama işte burada: Varyans neden değerlerin ortalamasıyla fark yerine birbirini izleyen her değer arasındaki fark olarak tanımlanmamıştır? Bu benim için daha mantıklı bir seçim olurdu, sanırım bazı dezavantajları gözetiyorum. Teşekkürler DÜZENLE: Mümkün olduğunca net bir şekilde yeniden ifade edeyim. Demek istediğim bu: …

19 variance 

Çok basit bir sorunum var ama bunu çözmek için doğru bir araç bulamıyorum. Aynı uzunlukta bazı vektörler dizilim var. Şimdi bu dizilerin tren örnek LSTM RYSA tren ve sonra uzunluğu vektörleri yeni dizisini tahmin yapmak isteyen birkaç göre hazırlama vektörleri.nnn Bunu yapacak basit bir uygulama bulamıyorum. Temel dilim Python, ancak …

19 neural-networks  python  lstm 

Rüzgar verilerini (0, 359) ve günün saatini (0, 23) kullanarak bir model yerleştirmeye çalışıyorum, ancak kendilerinin doğrusal parametreler olmadıkları için doğrusal bir regresyona zayıf bir şekilde sığacaklarından endişeliyim. Onları Python kullanarak dönüştürmek istiyorum. En azından rüzgar durumunda, bir sürü değil, derecelerin günahını ve cos'unu alarak bir vektörün hesaplanmasından bahsetmiştim. Yararlı …

19 regression  python  circular-statistics 

Temel bileşen analizinin (PCA) konu (ikili) alanda nasıl çalıştığını sezgisel bir şekilde anlamaya çalışıyorum . İki değişken, 2D veri kümesi düşünün ve ve veri noktası (veri matrisi isimli ve ortalanmış olduğu varsayılmaktadır). PCA'nın olağan sunumu, noktasını dikkate almamız , kovaryans matrisini yazmamız ve özvektörlerini ve özdeğerlerini bulmamızdır; ilk PC maksimum …

19 pca  linear-algebra  intuition  geometry 

Bu gönderi hızla değişen bir olayla ilgilidir. Çeşitli İstatistiksel Çalışmalar için R / Python'a alternatif olarak Julia hakkında çok iyi bir tartışma yaşayan 2012 sorusu ile karşılaştım. İşte 2012'den Julia'nın vaadiyle ilgili orijinal Soru yatıyor Ne yazık ki Julia o zamanlar çok yeniydi ve istatistiksel çalışma için gerekli araç takımları …

19 r  python  computing  julia 

CrossValidated'ın King ve Zeng (2001) tarafından yapılan nadir olay önyargı düzeltmesinin ne zaman ve nasıl uygulanacağı konusunda birkaç sorusu vardır . Ben farklı bir şey arıyorum: önyargı var minimal simülasyon tabanlı bir gösteri. Özellikle, Kral ve Zeng devleti “... nadir olay verilerinde olasılıklardaki yanlılıklar binlerce örneklem büyüklüğü ile büyük ölçüde …

19 r  logistic  simulation  bias  rare-events 

Önyargı düğümünün modern sinir ağlarının etkinliği için ne kadar önemli olduğunu merak ediyorum. Sadece birkaç girdi değişkeni olan sığ bir ağda önemli olabileceğini kolayca anlayabiliyorum. Bununla birlikte, derin öğrenme gibi modern sinir ağları, belirli bir nöronun tetiklenip tetiklenmediğine karar vermek için genellikle çok sayıda girdi değişkenine sahiptir. Bunları örneğin LeNet5 …

19 neural-networks  deep-learning  bias-node 

Bir korelasyon matrisi verildiğinde ilişkili rasgele değişkenleri simüle etmek için Cholesky ayrışmasını kullanıyorum. Mesele şu ki, sonuç asla korelasyon yapısını verildiği gibi yeniden üretmez. İşte Python'da durumu göstermek için küçük bir örnek. import numpy as np n_obs = 10000 means = [1, 2, 3] sds = [1, 2, 3] # …

19 correlation  random-generation  cholesky 

Görünüşe göre Pearson'un korelasyon katsayısı parametrik ve Spearman'ın rho parametrik olmadığı. Bunu anlamakta güçlük çekiyorum. Anladığım kadarıyla Pearson olarak hesaplanır ve Spearman aynı şekilde hesaplanır, ancak tüm değerleri değiştiririz.rxy=cov(X,Y)σxσyrxy=cov(X,Y)σxσy r_{xy} = \frac{cov(X,Y)}{\sigma_x\sigma_y} Wikipedia diyor Parametrik model ile parametrik olmayan model arasındaki fark, birincisinin sabit sayıda parametreye sahip olması, ikincisinin ise …

19 nonparametric  pearson-r  parametric  spearman-rho 

Aşağıda, r'de DV ve diğerleri ile öngörücü değişkenler olarak mtcarsayarlanmış verileri kullanan varsayılan alfa (1, dolayısıyla kement) bulunan glmnet'in çizimi verilmiştir mpg. glmnet(as.matrix(mtcars[-1]), mtcars[,1]) Ne özellikle, farklı değişkenlere ilişkin bu taslaktan sonuca varabiliriz am, cylve wt(kırmızı, siyah ve açık mavi çizgiler)? Bir rapordaki çıktıyı yayınlanması için nasıl ifade ederiz? Aşağıdakileri …

19 regression  feature-selection  lasso  glmnet 

2 normal, ilişkisiz rastgele değişkenimiz ise, formülle ilişkili 2 rasgele değişken oluşturabilirizX1,X2X1,X2X_1, X_2 Y=ρX1+1−ρ2−−−−−√X2Y=ρX1+1−ρ2X2Y=\rho X_1+ \sqrt{1-\rho^2} X_2 ve sonra bir korelasyon olacak ile .ρ X 1YYYρρ\rhoX1X1X_1 Birisi bu formülün nereden geldiğini açıklayabilir mi?

19 correlation  normal-distribution  covariance 

Benim anlayış , t-SNE ve Barnes-Hut yaklaşım tüm veri noktaları tüm kuvvet etkileşimleri aynı anda hesaplanabilir ve her nokta 2d ayarlanabilir (veya boyutsal alt) ilk böylece gerekli olmasıdır. Veri akışı ile etkin bir şekilde başa çıkabilen t-sne'nin herhangi bir sürümü var mı? Dolayısıyla, gözlemlerim birer birer geliyorsa, yeni gözlemi yerleştirmek …

19 data-visualization  dimensionality-reduction  multidimensional-scaling  tsne 

Öngörü büzülmesi / seçimi için elastik ağ prosedürüyle gerçekten ilgileniyorum. Çok güçlü görünüyor. Ancak bilimsel açıdan, katsayıları aldıktan sonra ne yapacağımı iyi bilmiyorum. Hangi soruyu cevaplıyorum? Bunlar sonucu en çok etkileyen değişkenlerdir ve bunlar validasyon sırasında en iyi varyans / yanlılık oranını veren katsayılardır? Bu elbette klasik p değer / …

19 hypothesis-testing  prediction  inference  lasso  elastic-net 

David Colquhoun'un bu büyük makalesini okudum: Yanlış keşif oranı ve p değerlerinin yanlış yorumlanması üzerine bir araştırma (2014). Özünde, ile tip I hatası kontrol etsek de yanlış keşif oranının (FDR) neden kadar yüksek olabileceğini açıklıyor .30%30%30\%α=0.05α=0.05\alpha=0.05 Bununla birlikte, çoklu test durumunda FDR kontrolünü uygularsam ne olacağı konusunda hala kafam karıştı. …

19 hypothesis-testing  statistical-significance  p-value  multiple-comparisons  false-discovery-rate