İstatistikler ve Büyük Veri

Zaman serilerini nasıl tespit ederim? Sadece ilk farkı alıp bir Dickey Fuller testi yapmanın bir sakıncası var mı? Ayrıca, Stata'da bunu yaparak zaman serilerini telafi edebileceğimi çevrimiçi buldum: reg lncredit time predict u_lncredit, residuals twoway line u_lncredit time dfuller u_lncredit, drift regress lags(0) Detrend zaman serilerine en iyi yaklaşım nedir?

14 regression  time-series  stata  stationarity 

MNIST basamak tanıma görevinin "permütasyon değişmez" terimini gördüm. Bu ne demek?

14 machine-learning  neural-networks  terminology  conv-neural-network  definition 

K-ortalama analizinden sonra ANOVA tablosundan sonraki bildirim, küme çözeltisi mesafeyi en üst düzeye çıkarmak için Öklid mesafesine göre türetildiğinden, önem seviyelerinin eşit araçların testi olarak görülmemesi gerektiğini gösterir. Kümeleme değişkenlerinin ortalamalarının kümeler arasında farklılık gösterip göstermediğini göstermek için hangi testi kullanmalıyım? Bu uyarıyı k-ortalamalarının çıktılarının ANOVA tablosunda gördüklerini gördüm, ancak …

14 anova  k-means 

Tavsiye sistemlerinde Faktorizasyon Makineleri terimiyle karşılaştım. Matris Faktorizasyonunun tavsiye sistemleri için ne olduğunu biliyorum, ancak Faktorizasyon Makinalarını hiç duymadım. Peki fark nedir?

14 machine-learning  data-mining  recommender-system 

Son zamanlarda iki değişkenli Poisson dağılımıyla karşılaştım, ancak nasıl türetilebileceği konusunda biraz kafam karıştı. Dağıtım: P(X=x,Y=y)=e−(θ1+θ2+θ0)θx1x!θy2y!∑i=0min(x,y)(xi)(yi)i!(θ0θ1θ2)iP(X=x,Y=y)=e−(θ1+θ2+θ0)θ1xx!θ2yy!∑i=0min(x,y)(xi)(yi)i!(θ0θ1θ2)iP(X = x, Y = y) = e^{-(\theta_{1}+\theta_{2}+\theta_{0})} \displaystyle\frac{\theta_{1}^{x}}{x!}\frac{\theta_{2}^{y}}{y!} \sum_{i=0}^{min(x,y)}\binom{x}{i}\binom{y}{i}i!\left(\frac{\theta_{0}}{\theta_{1}\theta_{2}}\right)^{i} Toplayabildiğim kadarıyla, \ theta_ {0}θ0θ0\theta_{0} terimi XXX ve Y arasındaki korelasyonun bir ölçüsüdür YYY; dolayısıyla, XXX ve YYY bağımsız olduğunda, θ0=0θ0=0\theta_{0} = 0 ve dağılım …

14 distributions  mathematical-statistics  multivariate-analysis  poisson-distribution  proof 

Genel anlayışım AIC , modelin uyum iyiliği ile modelin karmaşıklığı arasındaki dengeyi ele alıyor. AIC=2k−2ln(L)AIC=2k−2ln(L)AIC =2k -2ln(L) = modeldeki parametre sayısıkkk = olabilirlikLLL Bayes bilgi kriteri BIC , AIC ile yakından ilişkilidir.AIC, parametre sayısını BIC'den daha az cezalandırır. Bu ikisinin tarihsel olarak her yerde kullanıldığını görebiliyorum. Ancak genelleştirilmiş çapraz doğrulama …

14 cross-validation  lasso  aic  ridge-regression  bic 

Scikit Learn'ün Model Seçimi sayfasındaki iç içe çapraz doğrulamanın kullanıldığından bahsedilir: >>> clf = GridSearchCV(estimator=svc, param_grid=dict(gamma=gammas), ... n_jobs=-1) >>> cross_validation.cross_val_score(clf, X_digits, y_digits) İki çapraz doğrulama döngüsü paralel olarak gerçekleştirilir: biri GridSearchCV tahmincisi tarafından gama ayarlamak için, diğeri cross_val_score tarafından tahmincinin tahmin performansını ölçmek için. Elde edilen puanlar, yeni verilerdeki tahmin …

14 machine-learning  cross-validation  scikit-learn 

Şu anda parametrik bootstrap ile ilgili bazı şeyleri kafamda tutmaya çalışıyorum. Çoğu şey muhtemelen önemsiz ama yine de bir şeyleri özlemiş olabileceğimi düşünüyorum. Parametrik bir önyükleme yordamı kullanarak veriler için güven aralıkları almak istediğimi varsayalım. Bu örnek var ve normal dağılmış olduğunu varsayalım. Daha sonra varyans ve ortalama tahmin edeceğim …

14 nonparametric  bootstrap  simulation  monte-carlo  parametric 

Mikroekonomide kullanılan nedensellik (özellikle IV veya regresyon süreksizlik tasarımı) ve ayrıca zaman serisi ekonometrisinde kullanılan Granger nedenselliğini anlıyorum . Birini diğeriyle nasıl ilişkilendirebilirim? Örneğin, her iki yaklaşımın panel verileri için kullanıldığını gördüm (örneğin , ). Bu konudaki makalelere yapılan atıflar takdir edilecektir.T = 20N=30N=30N=30T=20T=20T=20

14 time-series  econometrics  causality  granger-causality 

Bartlett Testinin örneklerinizin eşit varyansa sahip popülasyonlardan olup olmadığını belirlemekle ilgilendiğini anlıyorum. Örnekler eşit varyansa sahip popülasyonlardan geliyorsa, testin sıfır hipotezini reddedemeyiz ve bu nedenle temel bir bileşen analizi uygun değildir. Bu durumla ilgili sorunun (homoskedastik veri kümesine sahip olması) nerede olduğundan emin değilim. Tüm verilerinizin temeldeki dağıtımının aynı olduğu …

14 variance  pca  heteroscedasticity 

Aslında, kısmi bağımlılık planıyla bir kişinin neyi gösterebileceğini anladığımı sanıyordum, ama çok basit bir varsayımsal örnek kullanarak oldukça şaşırdım. Aşağıdaki kod yığınında, üç bağımsız değişken ( a , b , c ) ve bir bağımlı değişken ( y ) ile c , y ile yakın bir doğrusal ilişki gösterirken, a …

14 r  random-forest  boosting  partial-plot 

Doğrusal regresyonda, genellikle birden fazla R ve R karesi alırız. Aralarındaki farklar nelerdir?

14 regression  r-squared 

Herkes bant genişliği seçimi için Scott ve Silverman'ın başparmak kuralları arasındaki farkı açık bir şekilde açıklayabilir mi? Özellikle biri ne zaman diğerinden daha iyi? Temeldeki dağıtım ile ilgili mi? Numune sayısı? PS : SciPy koduna atıfta bulunuyorum .

14 kernel-smoothing 

Nasıl hesaplanabileceği ile karakterize gibi görünen mesafe korelasyonu için wikipedia sayfasına bakıyorum . Hesaplamaları yapabilirken, hangi mesafe korelasyonunun ölçtüğünü ve hesaplamaların neden olduğu gibi görünmesini sağlamaya çalışıyorum . Mesafe korelasyonunun neyi ölçtüğümü anlamama yardımcı olabilecek (sezgisel) daha sezgisel bir karakterizasyonu var mı? Sezgi istemenin biraz belirsiz olduğunu anlıyorum, ama ne …

14 correlation  distance  intuition  distance-covariance 

DBSCAN, bazı literatürlere göre en çok atıf yapılan kümeleme algoritmasıdır ve yoğunluğa bağlı olarak rastgele şekil kümeleri bulabilir. İki parametre eps (mahalle yarıçapı olarak) ve minPts (bir noktayı çekirdek nokta olarak kabul etmek için minimum komşu olarak) yüksek oranda onlara bağlı olduğuna inanıyorum. Bu parametreleri seçmek için rutin veya yaygın …

14 clustering  dbscan