İstatistikler ve Büyük Veri

Sınıflandırma veya regresyon gerçekleştirmek için derin bir sinir ağı eğitmek istediğimi, ancak tahminin ne kadar emin olacağını bilmek istiyorum. Bunu nasıl başarabilirim? Benim fikrim, yukarıdaki nöral metrelerdeki tahmin performansına dayanarak, her eğitim verisi için çapraz entropiyi hesaplamaktır. Daha sonra, her bir referans noktasını girdi olarak alacak olan regresyon için ikinci …

9 machine-learning  neural-networks 

Soru şu başlıklı makaleye dayanmaktadır: Çift yönlü ışınım iletimi-difüzyon modeli kullanılarak dağınık optik tomografide görüntü rekonstrüksiyonu İndirme: {link Yazarlar EM ile Algoritma uygulamak bilinmeyen bir vektör kıtlık regularization bir resmin pikselleri tahmin etmek. Model tarafından verilirl1l1l_1μμ\mu y=Aμ+e(1)(1)y=Aμ+ey=A\mu + e \tag{1} Tahmin Denk. (8) 'de μ^=argmaxlnp(y|μ)+γlnp(μ)(2)(2)μ^=arg⁡maxln⁡p(y|μ)+γln⁡p(μ)\hat{\mu} = \arg max {\ln p(y|\mu) …

9 self-study  bayesian  maximum-likelihood  expectation-maximization  moving-average 

Cebirsel sınıflandırıcıları okudum : hızlı çapraz doğrulama, çevrimiçi eğitim ve paralel eğitim için genel bir yaklaşım ve türetilmiş algoritmaların performansına hayran kaldım . Bununla birlikte, Naive Bayes'in (ve GBM'lerin) ötesinde, çerçeveye uyarlanmış çok fazla algoritma olmadığı görülmektedir. Farklı sınıflandırıcılar üzerinde çalışan başka makaleler var mı? (SVM'ler, Rastgele Ormanlar)

9 cross-validation  references  random-forest  computational-statistics  naive-bayes 

Rasgele değişkenlerin bağımsızlığının sıfır korelasyonu olduğu, ancak sıfır korelasyonun bağımsızlık anlamına gelmediği iyi bilinmektedir. Sıfır korelasyona rağmen bağımlılığı gösteren pek çok matematiksel örnekle karşılaştım. Bu gerçeği destekleyen gerçek yaşam örnekleri var mı?

9 correlation  independence  intuition 

Bilgisayarlardaki Rasgele Sayı Üreticilerinin gerçek rasgele sayılar üretmediğini, bunun yerine sözde rasgele sayılar ürettiğini hepimiz biliyoruz. Ayrıca, bazı RNG'ler diğerlerinden daha iyidir ve bazıları diğerlerinden daha iyi uygulanır. Zayıf bir RNG kullanıldığında veya kötü bir şekilde uygulanmış bir RNG kullanıldığında ve bundan yararlanıldığında bazı örnekler nelerdir? Bulduğum örnekler: Ron Harris, …

9 random-generation  history 

Konvolüsyonun nasıl çalıştığını anlıyorum ama 1B konvolüsyonların 2D verilere nasıl uygulandığını anlamıyorum. Bu örnekte, 2B verilerde 2B dönüştürmeyi görebilirsiniz. Ama 1B evrimi olsaydı nasıl olurdu? Sadece 1D çekirdeği aynı şekilde mi kayar? Ve adım 2 olsaydı? Teşekkür ederim!

9 conv-neural-network 

ARMA-GARCH gibi zaman serisi modellerinde, modelin uygun gecikmesini veya sırasını seçmek için AIC, BIC, SIC vb. Gibi farklı bilgi kriteri kullanılır. Sorum çok basit, neden kullanmıyoruz ayarlanmış R2R2R^2uygun modeli seçmek için? Ayarlanmış daha yüksek değere yol açan modeli seçebilirizR2R2R^2. Çünkü ikisi de ayarlandıR2R2R^2 ve modeldeki ek regresörler için bilgi kriteri …

9 regression  time-series  model-selection  aic  bic 

R'deki son gözlemlere nasıl daha fazla ağırlık verebilirim? Bunu sıkça sorulan bir soru veya istek olarak kabul ediyorum, ancak bunun nasıl uygulanacağını bulmakta zorlanıyorum. Bunun için çok fazla aramaya çalıştım ama iyi bir pratik örnek bulamıyorum. Örneğimde zaman içinde büyük bir veri setim olacaktı. Daha yeni olan veri satırlarının üstel …

9 r  time-series  regression  random-forest 

Göre LeCun ve arkadaşları (1998) tarafından "Etkin Backprop" bunların ikinci türev en aralığında yaklaşık 0 ve yalan merkezli şekilde tüm girdilerin normalleştirmek için iyi bir uygulamadır. Örneğin, "Tanh" işlevi için [-0.5,0.5] kullanırdık. Bu, Hessian daha istikrarlı hale geldiğinden geri yayılmanın ilerlemesine yardımcı olmak içindir. Bununla birlikte, max (0, x) olan …

9 machine-learning  neural-networks  normalization  deep-learning  multidimensional-scaling 

Problem şu: Çapraz entropi kaybı ile giriş -> gizli, gizli -> çıkış için sigmoid kullanarak tek bir gizli katman sinir ağı için giriş katmanına göre degradeyi türetin. Zincir kuralını kullanarak türetmenin çoğunu geçebilirim ama onları nasıl "zincirleyeceğimiz" konusunda emin değilim. Bazı gösterimleri tanımlayın r=xW1+b1r=xW1+b1 r = xW_1+b_1 h=σ(r)h=σ(r) h = …

9 neural-networks  gradient 

Bazı verilerde R kullanarak ve verilerimin heterossedastik olup olmadığını görmeye çalışırken, Breusch-Pagan testi, bptest (paket lmtest) ve ncvTest (paket araba) olmak üzere iki uygulama buldum . Ancak, bunlar farklı sonuçlar doğurur. İkisi arasındaki fark nedir? Birini veya diğerini ne zaman kullanmayı seçmelisiniz? > model <- lm(y ~ x) > bp …

9 r  regression  heteroscedasticity  assumptions  breusch-pagan 

Diyelim ki -by- olan veri matrisine ve -by-one olan etiket vektörüne sahibiz . Burada, matrisin her satırı bir gözlemdir ve her sütun bir boyuta / değişkene karşılık gelir. ( olduğunu varsayın )XX\mathbf{X}nnnpppYYYnnnn > pn>pn>p Sonra ne mi data space, variable space, observation space, model spacedemek? Sütun vektörü tarafından yayılan boşluk, …

9 regression  multiple-regression  terminology  geometry  biplot 

Aşağıdaki problemde analitik ifadesini nasıl bulabilirim ?D ( n , l , L )D(n,l,L)D(n,l,L) Rastgele damla uzunluğu "çubuklar" bir aralık içinde . "Çubuklar" üst üste gelebilir. En az bir "bar" tarafından kullanılan aralığının ortalama toplam uzunluğu yi bulmak istiyorum .nnnlll[ 0 , L ][0,L][0,L]DDD[ 0 , L ][0,L][0,L] "Düşük yoğunluk" …

9 probability  distributions 

Bayesci istatistiksel analiz ve karar vermede önceki bilgi kavramını iyi kavradığımı düşünmekle birlikte, sık sık başımı başvurusunun etrafına sarmakta zorlanıyorum. Aklıma gelen mücadeleleri örnekleyen birkaç durum var ve şimdiye kadar okuduğum Bayesci istatistik ders kitaplarında doğru bir şekilde ele alınmadıklarını hissediyorum: Diyelim ki birkaç yıl önce insanların% 68'inin bir ACME …

9 bayesian  prior  rule-of-thumb  elicitation 

Lojistik modeller için gördüğüm tipik AIC değerleri binlerce, en az yüzlerce. örneğin http://www.r-bloggers.com/how-to-perform-a-logistic-regression-in-r/ adresinde AIC 727,39'dur. Her zaman AIC'nin sadece modelleri karşılaştırmak için kullanılması gerektiği söylenirken, belirli bir AIC değerinin ne anlama geldiğini anlamak istedim. Formüle göre A IC= - 2 günlük( L ) + 2 KAIC=−2log⁡(L)+2KAIC= -2 \log(L)+ 2K …

9 regression  model-selection  aic  accuracy