İstatistikler ve Büyük Veri

Kısa soru: Cohen'in d'sinin bağımlı bir numune t testi için iki farklı yol hesapladığını gördüm (örneğin, bir ilacın ön / son zaman noktalarına sahip bir ilacın etkinliğini test eden örnek içi tasarım). Cohen'in denkleminin paydasında değişim puanının standart sapmasını kullanarak d. Cohen'in d. Denkleminin paydasında ön test puanının standart sapmasını …

10 t-test  effect-size 

İkili zaman serilerini modellemek için olağan yaklaşımlar nelerdir? Bunun ele alındığı bir kağıt veya ders kitabı var mı? Güçlü oto-korelasyonlu ikili bir süreç düşünüyorum. Sıfırdan başlayan bir AR (1) sürecinin işareti gibi bir şey. Ki ve beyaz gürültü ile . Sonra tarafından tanımlanan ikili zaman serileri , aşağıdaki kodla göstermek …

10 regression  time-series  logistic  binary-data  autoregressive 

Son zamanlarda Pareto'nun önemini belirten örnekleme bırakma-bir-arada çapraz-doğrulama (PSIS-LOO) kullanmaya başladım: Vehtari, A. ve Gelman, A. (2015). Pareto önem örneklemesini yumuşattı. arXiv ön baskı ( bağlantı ). Vehtari, A., Gelman, A. ve Gabry, J. (2016). Bir defaya mahsus çapraz doğrulama ve WAIC kullanılarak pratik Bayesci model değerlendirmesi. arXiv ön baskı …

10 machine-learning  cross-validation  mcmc  pareto-distribution  importance-sampling 

Let ortalama olan bir dağılımından bağımsız gözlemler ^ ı ve varyansı σ 2 &lt; ∞ , n → ∞ sonra,X1,...,XnX1,...,XnX_1,...,X_nμμ\muσ2&lt;∞σ2&lt;∞\sigma^2 < \inftyn→∞n→∞n \rightarrow \infty n−−√X¯n−μσ→N(0,1).nX¯n-μσ→N-(0,1).\sqrt{n}\frac{\bar{X}_n-\mu}{\sigma} \rightarrow N(0,1). Bu neden X¯n∼N(μ,σ2n)?X¯n~N-(μ,σ2n)?\bar{X}_n \sim N\left(\mu, \frac{\sigma^2}{n}\right)?

10 probability  central-limit-theorem 

Radyal tabanlı işlev çekirdeğine sahip Vektör Makinelerini Destekleyin , genel amaçlı denetimli bir sınıflandırıcıdır. Bu SVM'lerin teorik temellerini ve güçlü noktalarını bilsem de, tercih edilen yöntem oldukları durumların farkında değilim. Peki, RBF SVM'lerinin diğer ML tekniklerinden daha üstün olduğu bir sorun sınıfı var mı? (Ya skor, ya da diğer - …

10 machine-learning  logistic  classification  svm  random-forest 

Normal olarak dağıtılmış bir bağımlı değişkenin, yönlü dağıtılmış bir değişkenle ilişkili olup olmadığına dair bir hipotez testi var mı ? Örneğin, günün saati açıklayıcı değişkendir (vb alakasız haftanın günü, yılın ayının gibi şeyler varsayarak) -yani nasıl 11:00 22 saattir gerçeği hesaba olduğu önde 1 am arasında ve ayrıca 2 saat …

10 hypothesis-testing  modeling  circular-statistics 

Hangi koşucuların zorlu bir dayanıklılık yarışını bitireceğini tahmin etmek için lojistik bir regresyon eğitimi alıyorum. Çok az koşucu bu yarışı tamamlıyor, bu yüzden ciddi sınıf dengesizliği ve küçük bir başarı örneği var (belki birkaç düzine). Neredeyse bunu yapan düzinelerce koşucudan iyi bir "sinyal" alabileceğimi hissediyorum . (Eğitim verilerim sadece tamamlanmakla …

10 logistic  binary-data  continuous-data 

Çeşitli araştırma makalelerinde tip I hataların açıklandığı (alfa değeri ile gösterilir) birçok durum gördüm. Bir araştırmacının gücü veya tip II hatasını dikkate almasını nadir buldum. Tip II hataları büyük bir sorun olabilir mi? Yanlış olan alternatif hipotezi yanlışlıkla reddettik. Alfa değerleri neden beta değerleri yerine bu kadar vurgulanıyor? İlk yıl …

10 hypothesis-testing  type-i-and-ii-errors 

Rao-Blackwell Teoreminin belirtileri Let bir tahmin edici ile Tüm . için yeterli olduğunu varsayalım ve Sonra tüm , bir fonksiyonu olmadığı sürece eşitsizlik katıdırθ^θ^\hat{\theta}θθ\thetaE(θ^2)&lt;∞E(θ^2)&lt;∞\Bbb E (\hat{\theta}^2) < \inftyθθ\thetaTTTθθ\thetaθ∗=E(θ^|T)θ∗=E(θ^|T)\theta ^ * = \Bbb E (\hat{\theta}|T)θθ\thetaE(θ∗−θ)2≤E(θ^−θ)2E(θ∗−θ)2≤E(θ^−θ)2\Bbb E (\theta^* - \theta )^2 \leq \Bbb E (\hat{\theta} - \theta )^2θ^θ^\hat{\theta}TTT Doğru teoremi anlamak, yeterli …

10 rao-blackwell 

Bir sayı listesinin ortalama, medyan ve mod kavramını nasıl açıklarsınız ve sadece temel aritmetik becerileri olan biri için neden önemlidir? Çarpıklık, CLT, merkezi eğilim, istatistiksel özelliklerinden vb. Bahsetmeyelim. Birine, bir sayı listesini "özetlemek" için hızlı ve kirli bir yol olduğunu açıkladım. Ama geriye dönüp baktığımda, bu pek aydınlatıcı değil. Herhangi …

10 mean  descriptive-statistics  median  mode 

Sabermetriklerle ilgili bir kitap okuyorum, özellikle Wayne Winston'dan Mathletics ve ilk bölümde takımların kazanma oranını tahmin etmek için kullanılabilecek bir miktar tanıtıyor: ve o, o kazanma oranını tahmin etmek için kullanılabilir yarıya sezonu boyunca, yani ima görünüyor iyi daha sezonun ilk yarısının kazanma oranı. Formülü genelleştirir; burada , atılan puanların …

10 maximum-likelihood  inference 

Bu tür arsalara ne denir ve bunları R'de oluşturmak mümkün mü? EDIT: çok teşekkürler hepsi - çok yararlı. Şimdiye kadarki en iyi başlık: nicelenmiş keman grafikleri!

10 r  data-visualization 

Lojistik Regresyon kullandım. Altı özelliğim var, bu sınıflandırıcıdaki sonucu diğer özelliklerden daha fazla etkileyen önemli özellikleri bilmek istiyorum. Bilgi Kazancı kullandım ama kullanılan sınıflandırıcıya bağlı olmadığı anlaşılıyor. Özellikleri belirli sınıflandırıcıya (Lojistik Regresyon gibi) göre önemlerine göre sıralamak için herhangi bir yöntem var mı? herhangi bir yardım çok takdir edilecektir.

10 logistic  feature-selection  ranking  regression-strategies 

Bayes doğrusal regresyon gerçekleştirirken, eğim ve kesişme b için bir önceliğin atanması gerekir . Yana b konum parametresi olan bir düzgün önce atamak için mantıklı; ancak bana öyle geliyor ki a bir ölçek parametresine benziyor ve öncesinde bir üniforma atamak doğal değil.aaabbbbbbaaa Öte yandan, normal bir bilgilendirici Jeffrey'yi ( ) …

10 regression  bayesian  uninformative-prior 

Wikidata'da olasılık dağılımlarını (diğer her şey gibi) bir ontolojiye bağlamak mümkündür, örneğin, t-dağılımının merkezi olmayan t-dağılımının bir alt sınıfı olduğu, bkz. https://angryloki.github.io/wikidata-graph-builder/?property=P279&amp;item=Q209675&amp;iterations=3&amp;limit=3 Çeşitli sınırlayıcı durumlar vardır, örneğin, t-dağılımındaki serbestlik derecesi sonsuza gittiğinde veya varyans normal dağılım için sıfıra yaklaştığında (Gauss dağılımı). İkinci durumda, dağıtım Dirac'ın delta fonksiyonuna doğru gidecektir. İngilizce …

10 distributions  normal-distribution  dirac-delta