İstatistikler ve Büyük Veri

Kendimi takviye öğrenmeyi öğretiyorum ve indirimli ödül kavramını anlamaya çalışıyorum. Bu nedenle, sisteme hangi devlet-eylem çiftlerinin iyi, hangilerinin kötü olduğunu söylemek için ödül gereklidir. Fakat anlamadığım, neden indirimli ödülün gerekli olduğudur. Niçin iyi bir duruma, daha sonra değil, kısa sürede ulaşılması önemli olsun? Bunun bazı özel durumlarda konuyla ilgili olduğunu …

43 machine-learning  reinforcement-learning 

Geçenlerde bu kimliğe rastladım: E[E(Y|X,Z)|X]=E[Y|X]E[E(Y|X,Z)|X]=E[Y|X]E \left[ E \left(Y|X,Z \right) |X \right] =E \left[Y | X \right] Elbette bu kuralın basit versiyonunu biliyorum, yani ama bunun için gerekçe bulamadım genelleme.E[E(Y|X)]=E(Y)E[E(Y|X)]=E(Y)E \left[ E \left(Y|X \right) \right]=E \left(Y\right) Birisi beni bu konuda teknik olmayan bir referansı gösterebilirse veya daha da iyisi, bu önemli …

43 self-study  conditional-probability  conditional-expectation 

Bir zaman serisine göre "hareketli ortalama" okuduğumda, veya belki de ağırlıklı bir şey olduğunu düşünüyorum gibi ortalama . (Bunların aslında AR (3) modelleri olduğunu biliyorum, ancak bunlar beynimin atladığı şey.) Neden MA (q) modelleri hata terimleri veya "yenilikler" formülleri? Ne yok hareketli ortalama ilgisi var? Bazı açık sezgileri özlüyorum gibi …

43 time-series  arima  terminology  moving-average 

Tamam, bu beni geceleri ayakta tutan bir soru. Bootstrap prosedürü bazı Bayesian prosedürlerine yaklaşıyor olarak yorumlanabilir mi (Bayesian bootstrap hariç)? Gerçekten tutarlı ve anlaşılması kolay bulduğum istatistiklerin Bayesian "yorumunu" gerçekten seviyorum. Ancak, çok basit olan bootstrap prosedürü için de bir zayıflık var, ancak birçok durumda makul çıkarımlar var. Önyükleme işleminin …

43 bayesian  bootstrap 

2 sonucu olan bir deneme çalıştırdığımı ve 2 sonucun altında yatan "doğru" dağılımın ve : parametreleriyle binom bir dağılım olduğunu farz ediyorum .nnnpppBinomial(n,p)Binomial(n,p){\rm Binomial}(n, p) standart hatasını, varyansı biçiminden hesaplayabilirim : burada . Öyleyse,SEX=σXn√SEX=σXnSE_X = \frac{\sigma_X}{\sqrt{n}}Binomial(n,p)Binomial(n,p){\rm Binomial}(n, p)σ2X=npqσX2=npq \sigma^{2}_{X} = npqq=1−pq=1−pq = 1-pσX=npq−−−√σX=npq\sigma_X=\sqrt{npq} . Standart hata için alıyorum:SEX=pq−−√SEX=pqSE_X=\sqrt{pq} , fakat …

43 binomial  standard-error 

Veri madenciliğinde yeniyim ve dengesiz bir veri setine karşı bir karar ağacı yetiştirmeye çalışıyorum. Ancak, zayıf tahmin doğruluğu ile ilgili sorunlar yaşıyorum. Veriler ders okuyan öğrencilerden oluşur ve sınıf değişkeni iki değeri olan ders durumudur - Çekilmiş veya Akım. Yaş Etnik köken Cinsiyet Elbette ... Kurs Durumu Veri setinde, Akım …

43 classification  cart  unbalanced-classes  accuracy 

Ridge, Lasso, ElasticNet gibi yöntemler kullanılarak yapılan düzenlileştirme doğrusal regresyon için oldukça yaygındır. Aşağıdakileri bilmek istedim: Bu yöntemler lojistik regresyon için uygulanabilir mi? Öyleyse, lojistik regresyon için kullanılması gereken farklılıklar var mı? Bu yöntemler uygulanabilir değilse, lojistik regresyon nasıl düzenlenir?

42 regression  logistic  regularization 

Maksimum olabilirlik tahmini (MLE) ile en küçük kareler tahmini (LSE) arasındaki temel fark nedir? Neden lineer regresyonda değerlerini tahmin etmek için MLE'yi kullanamıyoruz ?yyy Bu konuda herhangi bir yardım çok takdir edilecektir.

42 regression  estimation  maximum-likelihood  least-squares 

Bir sinir ağındaki maxout birimlerinin ne yaptığını açıklayan var mı? Nasıl performans gösterirler ve geleneksel birimlerden nasıl farklıdırlar? Goodfellow ve arkadaşlarının 2013 "Maxout Network" belgesini okumaya çalıştım . (Profesör Yoshua Bengio'nun grubundan), ama tam olarak anlamadım.

42 machine-learning  neural-networks 

Kitabımda çoğunlukla "Gauss dağılımı" kullandım, ancak birileri "normal dağılım" a geçmemi önerdi. Yeni başlayanlar için hangi terim kullanılacak? Elbette iki terim eşanlamlıdır , bu nedenle bu madde ile ilgili bir soru değil, yalnızca terimi daha yaygın olarak kullanılan bir meseledir. Ve elbette her iki terimi de kullanıyorum. Fakat hangisi daha …

42 normal-distribution  terminology 

Eksik değerleri ele almamak için teorik sebepler nelerdir? Degrade artırma makineleri, regresyon ağaçları eksik değerleri ele alır. Neden Random Forest bunu yapmıyor?

42 random-forest  missing-data  gbm 

Şu anda birkaç çoklu regresyon analizi içeren bir makale yazıyorum. Tek değişkenli doğrusal regresyonun görselleştirilmesi, dağılım grafikleri ile kolaydır, çoklu doğrusal regresyonları görselleştirmek için iyi bir yol olup olmadığını merak ediyordum. Şu anda sadece bağımlı değişkene karşı 1. bağımsız değişken, daha sonra 2. bağımsız değişken vb. Gibi dağılım grafikleri çiziyorum. …

42 regression  data-visualization  multiple-regression 

Her önyükleme örneğinin (veya torbalı bir ağaç) gözlemlerin ortalama olarak yaklaşık / içereceği iddiasıyla çarpıştım .2/32/32/3 Ben şansı hiçbirinde seçildiği anlıyoruz dan çizer yerine geçer sahip örneklerin , yaklaşık ortaya eserler seçilen olmamanın şans.nnnnnn(1−1/n)n(1−1/n)n(1- 1/n)^n1/31/31/3 Bu formülün her zaman neden verdiğinin matematiksel açıklaması nedir ?≈1/3≈1/3\approx 1/3

42 bootstrap 

Sorum, yaygın olarak kullanılan bir yöntemi, yani Taylor Serisinin beklenen değerini alarak doğrulamaya çalışmakla ilgilidir. Olumlu ortalama ve varyans olan rastgele bir değişkenimiz olduğunu varsayalım . Ek olarak, gibi bir fonksiyonumuz var .XXXμμ\muσ2σ2\sigma^2log(x)log⁡(x)\log(x) in Taylor Expansion'ını ortalamanın etrafında yaparsak, burada, her zamanki gibi, st.logXlog⁡X\log XlogX=logμ+X−μμ−12(X−μ)2μ2+13(X−μ)3ξ3X,log⁡X=log⁡μ+X−μμ−12(X−μ)2μ2+13(X−μ)3ξX3, \log X = \log\mu + …

42 self-study  mathematical-statistics  expected-value 

Kısa özet Poisson regresyonunun aksine (göreceli risklerle), ikili sonuçlara sahip kohort çalışmalarında lojistik regresyonun (oran oranlarıyla) kullanılması neden daha yaygın? Arka fon Lisans ve lisansüstü istatistik ve epidemiyoloji kursları, benim deneyimlerime göre, genellikle risk oranları tahmin oranları olarak rapor edilen ikili tahminlerle verileri modellemek için lojistik regresyonun kullanılması gerektiğini öğretiyor. …

42 logistic  poisson-distribution  epidemiology  odds-ratio  relative-risk