İstatistikler ve Büyük Veri

Herkes bana Clopper-Pearson CI'nin ötesindeki sezgiyi oranlar için açıklayabilir mi diye merak ediyordum. Bildiğim kadarıyla, her CI içinde bir varyans içerir. Bununla birlikte, oranlar için, oranım 0 veya 1 olsa bile (% 0 veya% 100), Clopper-Pearson CI hesaplanabilir. Formüllere bakmayı denedim ve Binom dağılımının yüzdelikleri ile bir şey olduğunu anlıyorum …

12 confidence-interval  proportion 

Bir anket geliştiriyorum. Güvenilirliğini ve geçerliliğini artırmak için istatistiksel yöntemler kullanmak istiyorum. Cevapları hep aynı olan soruları ortadan kaldırmak istiyorum. Bu, neredeyse tüm katılımcıların bu sorulara aynı cevapları verdiği anlamına gelir. Şimdi sorularım: Kullanım bağlamından bağımsız olarak cevapları her zaman aynı olan bu işe yaramaz soruların teknik terimi nedir? Bu …

12 survey  reliability  psychometrics  validity 

Tek boyutlu verileri görselleştirirken, yanlış seçilmiş çöp gözlerini hesaba katmak için Çekirdek Yoğunluğu Tahmini tekniğini kullanmak yaygındır. Tek boyutlu veri kümemde ölçüm belirsizlikleri olduğunda, bu bilgileri dahil etmenin standart bir yolu var mı? Örneğin (ve anlayışım safsa beni affet) KDE, Gauss profilini, gözlemlerin delta fonksiyonları ile birleştirir. Bu Gauss çekirdeği …

12 uncertainty  kde  kernel-smoothing 

Yalnız arı bolluğu ile ilgili çok küçük bir veri setim var, analiz etmekte zorlanıyorum. Sayım verileri ve neredeyse tüm sayımlar bir tedavide, diğer tedavide sıfırların çoğu ile. Ayrıca çok yüksek birkaç değer vardır (altı alanın ikisinde birer tane), bu nedenle sayımların dağılımı son derece uzun bir kuyruğa sahiptir. R'de çalışıyorum. …

12 count-data  negative-binomial  mixed-model  zero-inflation  lme4-nlme 

Şu anda, temel gerçeği olmayan bir metin belgesi veri kümesini analiz etmeye çalışıyorum. Farklı kümeleme yöntemlerini karşılaştırmak için k-kat çapraz doğrulamayı kullanabileceğiniz söylendi. Ancak, geçmişte gördüğüm örnekler temel bir hakikat kullanır. Sonuçlarımı doğrulamak için bu veri kümesinde k-katlama araçlarını kullanmanın bir yolu var mı?

12 machine-learning  clustering  cross-validation  unsupervised-learning 

ABD'de şarap satışlarına ilişkin büyük bir toplam pazar verilerim var ve bazı yüksek kaliteli şaraplara olan talebi tahmin etmek istiyorum. Bu pazar payları temel olarak X'in gözlemlendiği dahil olduğu biçiminde rastgele bir yarar modelinden türetilmiştir. ürün özellikleri, p ürün fiyatlarını gösterir, ξUijt=X′jtβ−αpjt+ξjt+ϵijt≡δjt+ϵjtUijt=Xjt′β−αpjt+ξjt+ϵijt≡δjt+ϵjtU_{ijt} = X’_{jt}\beta - \alpha p_{jt} + \xi_{jt} + …

12 logistic  estimation  multiple-regression  categorical-data 

NY Times web sitesine kısa bir giriş ABD'de pizza tüketiminin Gerçekleri ve Rakamları sağlar . Genel kitlelere bilgi sağlamak için istatistiklerin nasıl kullanıldığına (veya kötüye kullanıldığına) dair geçici bir ilgim var ve sunulan istatistiklere dayanarak birkaç soru ortaya çıktı: 8 Amerikalıdan 1'i bugün pizza yiyecekse, bu ortalama Amerikalıların her 8 …

12 interpretation  descriptive-statistics 

Ben tarafından optimize edilmiş işlevi için genelleştirilmiş doğrusal olmayan en küçük kareler regresyonu için günlük olasılığını hesaplamaya çalışıyorum R paketin fonksiyon , (Brown hareketi varsayarak aa filogenetik ağaç mesafe tarafından meydana varyans kovaryans matrisi kullanılarak gelen paket). Aşağıdaki yeniden üretilebilir R kodu, gnls modeline x, y verileri ve 9 taksonlu …

12 r  maximum-likelihood  least-squares  nonlinear-regression  mixed-model 

Dağılım varsayımını hatalara neden koymak gerekir? ϵ i ∼ N ( 0 , σ 2 )yi=Xβ+ϵiyi=Xβ+ϵiy_i = X\beta + \epsilon_{i} , .ϵi∼N(0,σ2)ϵi∼N(0,σ2)\epsilon_{i} \sim \mathcal{N}(0,\sigma^{2}) Neden yazmıyorsun y ı ~ N ( X, β , σ 2 )yi=Xβ+ϵiyi=Xβ+ϵiy_i = X\beta + \epsilon_{i} , ,yi∼N(Xβ^,σ2)yi∼N(Xβ^,σ2)y_i \sim \mathcal{N}(X\hat{\beta},\sigma^{2}) burada her iki durumda da …

12 regression  normal-distribution  residuals  assumptions  notation 

Benim için açık ve birden fazla sitede, şapka matrisinin diyagonalindeki değerlerin doğrusal regresyon için verdiği bilgileri açıklıyor. Lojistik regresyon modelinin şapka matrisi bana daha az açık. Lineer regresyon uygulayarak şapka matrisinden aldığınız bilgilerle aynı mı? Bu, başka bir CV konusunda (kaynak 1) bulduğum şapka matrisinin tanımıdır: H=VX(X′VX)−1X′VH=VX(X′VX)−1X′VH=VX ( X'V X)^-1 …

12 regression  logistic 

Kullandığım terminolojilerden herhangi biri yanlışsa önceden özür dileriz. Herhangi bir düzeltmeyi memnuniyetle karşılarım. "Kesim" olarak tanımladığım şey farklı bir isme sahipse, bana bildirin ve soruyu güncelleyebilirim. İlgilendiğim durum şu: bağımsız değişkenleriniz var ve tek bağımlı değişken . Bunu belirsiz bırakacağım, ancak bu değişkenler için iyi bir regresyon modeli almanın nispeten …

12 regression  modeling  survival  censoring 

Basıklık, bir dağılımın dorukluğunu ve düzlüğünü ölçmektir. Varsa, dağılımın yoğunluk fonksiyonu bir eğri olarak görülebilir ve şekliyle ilgili geometrik özelliklere (eğrilik, dışbükeylik, ...) sahiptir. Bir dağılımın basıklığının, kurtozun geometrik anlamını açıklayabilen yoğunluk fonksiyonunun bazı geometrik özellikleri ile ilişkili olup olmadığını merak ediyorum.

12 kurtosis  geometry 

Y= μ + σG,Y=μ+σGY=\mu+\sigma Gμμ\muWWWG,GGR,nRn\mathbb{R}^nFFFH0:{μ∈U}H0:{μ∈U}H_0\colon\{\mu \in U\}U⊂WU⊂WU \subset Wf=ϕ(2logsupμ∈W,σ>0L(μ,σ|y)supμ∈U,σ>0L(μ,σ|y)).f=ϕ(2log⁡supμ∈W,σ>0L(μ,σ|y)supμ∈U,σ>0L(μ,σ|y)).f=\phi\left( 2\log \frac{\sup_{\mu \in W, \sigma>0} L(\mu, \sigma | y)}{\sup_{\mu \in U, \sigma>0} L(\mu, \sigma | y)} \right). Bu istatistiğin için en güçlü testi sağladığını nasıl (belki de olağandışı özel durumlar sonra)? Bu Neyman-Pearson teoreminden kaynaklanmaz, çünkü bu teorem, olasılık oranı testinin …

12 hypothesis-testing  normal-distribution  linear-model  power  likelihood-ratio 

Diyelim ki normalliğe dönüştürmek istediğim leptokurtik bir değişkenim var. Bu görevi hangi dönüşümler yapabilir? Verilerin dönüştürülmesinin her zaman arzu edilmeyebileceğinin farkındayım, ancak akademik bir uğraş olarak, verileri normalliğe "çekmek" istediğimi varsayalım. Ayrıca, çizimden de anlayabileceğiniz gibi, tüm değerler kesinlikle pozitiftir. Çeşitli dönüşümler denedim ( , vb. olmak üzere daha önce …

12 normal-distribution  data-transformation  kurtosis  qq-plot 

[0,1] 'de verilen bir derecelendirme seti için bir beta dağılımı düşünün. Ortalamayı hesapladıktan sonra: μ = αα + βμ=αα+β \mu = \frac{\alpha}{\alpha+\beta} Bu ortalama etrafında güven aralığı sağlamanın bir yolu var mı?

12 mean  beta-distribution