İstatistikler ve Büyük Veri

F ( s ) ∝ s yoğunluğuf( s ) ∝ ss + αe- s,s > 0f(s)∝ss+αe−s,s>0f(s)\propto \frac{s}{s+\alpha}e^{-s},\quad s > 0 buradaα ≥ 0α≥0\alpha \ge 0 olan bir parametre, üstel (arasında yaşayanα = 0α=0\alpha=0 ) veΓ(2,1)Γ(2,1)\Gamma(2,1) (α→∞α→∞\alpha \to \infty ) dağılımlar. Sadece bunun daha genel bir dağıtım ailesine örnek olup olmadığını …

10 distributions  gamma-distribution  distribution-identification 

Çözüm bu resmi bir matematiksel kanıtı var mıdır Alman tank Problem bir işlevidir sadece parametreleri k (gözlemlenen örnek sayısı) ve m (gözlenen örnekleri arasındaki maksimum değer)? Başka bir deyişle, çözümün maksimum değerin yanı sıra diğer örnek değerlerden bağımsız olduğunu kanıtlayabilir mi?

10 mathematical-statistics  sufficient-statistics 

Her ikisi ile lmve lmertekrarlanan önlemler (2x2x2) arasında birkaç etkileşim testi çoğaltmak çalışıyorum . Her iki yöntemi de karşılaştırmak istememin nedeni, tekrarlanan ölçümler için SPSS'nin GLM'sinin lmburada sunulan yaklaşımla tam olarak aynı sonuçları vermesidir , bu nedenle sonunda SPSS ile R-lmer'i karşılaştırmak istiyorum. Şimdiye kadar, bu etkileşimlerin sadece bir kısmını …

10 anova  mixed-model  lme4-nlme  repeated-measures  lm 

Birkaç yıl boyunca bir dakikalık aralıklarla örneklenen AUD / USD döviz kuru günlük fiyatları zaman serisine bir ARIMA (1,1,1) -GARCH (1,1) modeli ekledim. modeli tahmin etmek için milyon veri noktası. Veri kümesi burada mevcuttur . Açıklık getirmek gerekirse, bu, log fiyatlarının birinci dereceden entegrasyonu nedeniyle log iadelerine takılan bir ARMA-GARCH …

10 time-series  arima  simulation  garch  finance 

Diyelim ki pdf'ye sahip(X,Y)(X,Y)(X,Y) fθ(x,y)=e−(x/θ+θy)1x>0,y>0,θ>0fθ(x,y)=e−(x/θ+θy)1x>0,y>0,θ>0f_{\theta}(x,y)=e^{-(x/\theta+\theta y)}\mathbf1_{x>0,y>0}\quad,\,\theta>0 Bu nedenle bu popülasyondan alınan örneğin yoğunluğu(X,Y)=(Xi,Yi)1≤i≤n(X,Y)=(Xi,Yi)1≤i≤n(\mathbf X,\mathbf Y)=(X_i,Y_i)_{1\le i\le n} gθ( x , y )= ∏i = 1nfθ( xben, yben)= exp[ - ∑i = 1n( xbenθ+ θ yben) ] 1x1, … , Xn, y1, … , Yn> 0= exp[ - n x¯θ- θ …

10 maximum-likelihood  convergence  exponential  asymptotics  central-limit-theorem 

Bu yüzden binning neden her zaman kaçınılması gerektiği hakkında birkaç yazı okudum . Bu iddia için popüler bir referans bu bağlantıdır . Ana kaçamak, binleşme noktalarının (veya kesme noktalarının) ve sonuçta ortaya çıkan bilgi kaybının oldukça keyfi olması ve spline'ların tercih edilmesidir. Bununla birlikte, şu anda birçok özelliği için bir …

10 classification  categorical-data  continuous-data  splines  binning 

Bu teknik bir sorudan ziyade bir tarih sorusudur. `` Neyman-Pearson lemması '' neden bir Teorem değil, bir Lemmadır? wiki bağlantısı: https://en.wikipedia.org/wiki/Neyman%E2%80%93Pearson_lemma NB : sorudur değil ama Neyman-Pearson lemmasının tarihi hakkında bir lemma ve lemmaları bir teoremi ispatlamak için nasıl kullanıldığını konusunda. Bir teoremi kanıtlamak için kullanılmış mıydı ve sonra daha …

10 hypothesis-testing  terminology  history  neyman-pearson-lemma 

Bulanık mantık , ben grad okulundayken (2000'lerin başında) makine öğrenimi ve veri madenciliğinde aktif bir araştırma alanı gibi görünüyordu. Bulanık çıkarım sistemleri, bulanık c-ortalamalar, çeşitli sinir ağının bulanık versiyonları ve destek vektör makinesi mimarilerinin tümü grad derslerinde öğretilmiş ve konferanslarda tartışılmıştır. ML'ye tekrar dikkat etmeye başladığımdan beri (~ 2013), Fuzzy …

10 fuzzy  fuzzy-c-means-clustering 

Rastgele Projeksiyon algoritması Mevcut uygulamaları onları eşleyerek veri örnekleri boyutunu azaltmak üzere using izdüşüm matrisi Girişleri gelen, örneğin, uygun bir dağılım (dan iid ):R,dR,d\mathbb R^dR,kR,k\mathbb R^kd× kdxkd\times kR,R,RN-( 0 , 1 )N-(0,1)\mathcal N(0,1) x'= 1k√x Rx'=1kxR,x^\prime = \frac{1}{\sqrt k}xR Uygun olarak, bu eşlemenin yaklaşık olarak çift mesafeleri koruduğunu gösteren teorik …

10 terminology  dimensionality-reduction  linear-algebra  random-projection 

Doğrusal regresyondaki kapalı w formu şöyle yazılabilir: w^=(XTX)−1XTyw^=(XTX)−1XTy\hat{w}=(X^TX)^{-1}X^Ty Bu denklemdeki ' nin rolünü sezgisel olarak nasıl açıklayabiliriz ?(XTX)−1(XTX)−1(X^TX)^{-1}

10 regression  least-squares  matrix  intuition  matrix-inverse 

Olasılık yoğunluğu fonksiyonuna sahip genelleştirilmiş bir normal dağılım ( wikipedia girişi ) kullanarak bitki dağılımını modelleniyorum : b2aΓ(1/b)e−(da)bb2aΓ(1/b)e−(da)b \frac{b}{2a\Gamma(1/b)} e^{-(\frac{d}{a})^b} burada ddd kat edilen mesafedir, aaa bir ölçek parametresidir ve bbb şekil parametresidir. Ortalama kat edilen mesafe bu dağılımın standart sapması ile verilir: a2Γ(3/b)Γ(1/b)−−−−−−−−√a2Γ(3/b)Γ(1/b) \sqrt{\frac{a^2 \Gamma(3/b)}{\Gamma(1/b)}} Bu uygundur, çünkü b=1b=1b=1 …

10 distributions  bayesian  mcmc 

Matlab'ı sınırsız en küçük kareler (sıradan en küçük kareler) gerçekleştirmek için kullanıyorum ve otomatik olarak katsayıları, test istatistiklerini ve p-değerlerini çıkarıyor. Benim sorum, kısıtlı en küçük kareler (kesinlikle negatif olmayan katsayılar) gerçekleştirildikten sonra, test istatistikleri, p-değerleri OLMADAN sadece katsayıları çıkarır. Önem sağlamak için bu değerleri hesaplamak mümkün müdür? Ve neden …

10 regression  statistical-significance  least-squares  constrained-regression 

Amazon'da yeni işe alım skandalından esinlenerek sorularım var, burada işe alım süreçlerinde kadınlara karşı ayrımcılık yapmakla suçlanıyorlar. Daha fazla bilgi burada : Amazon.com Inc'in makine öğrenimi uzmanları büyük bir sorunu ortaya çıkardı: yeni işe alım motorları kadınları sevmedi. Ekip, 2014 yılından bu yana en iyi yetenek arayışını mekanize etmek için …

10 predictive-models  modeling  model 

Lojistik regresyon, bir olayın log olasılıklarını bazı öngörücüler olarak modeller. Yani, p (bir sonuç) olasılığı olan log (p / (1-p)). Bu nedenle, bazı değişkenler (x) için ham lojistik regresyon katsayılarının yorumlanması log olasılık ölçeğinde olmalıdır. Diğer bir deyişle, x = 5 katsayısı, x karşılık gelen 1 birim değişikliğin, sonucun ortaya …

10 regression  logistic  logit 

8: 00-8: 00 saatleri arasında yakındaki gölde balık tutmak istediğinizi varsayalım. Aşırı avlanma nedeniyle, günde sadece bir balık yakalayabileceğinizi söyleyen bir yasa çıkarılmıştır. Bir balık yakaladığınızda, onu tutmayı (ve böylece o balıkla eve gitmeyi) ya da göle geri atmayı ve balık tutmaya devam etmeyi seçebilirsiniz (ancak daha sonra daha küçük …

10 stochastic-processes  optimal-stopping