İstatistikler ve Büyük Veri

Sorun: Bayes meta-analizinde öncelikler ve veriler olarak kullanılacak dağılımları parametrelendiriyorum. Veriler literatürde neredeyse sadece normal olarak dağıtıldığı varsayılan özet istatistikler olarak verilmektedir (değişkenlerin hiçbiri <0 olmamasına rağmen, bazıları oranlardır, bazıları kütle vb.). Çözümü olmayan iki davaya rastladım. Bazen ilgili parametre, verilerin tersi veya iki değişkenin oranıdır. Örnekler: normal olarak dağılmış …

12 distributions  bayesian  variance  random-variable  meta-analysis 

IRLS algoritmasını kullanarak bir lojistik regresyon programladım . Doğru özellikleri otomatik olarak seçmek için bir LASSO cezası uygulamak istiyorum . Her yinelemede aşağıdakiler çözülür: (XTWX)δβ^=XT(y−p)(XTWX)δβ^=XT(y−p)\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)} Let negatif olmayan reel sayı. The Elements bölümünde önerildiği gibi kesmeyi cezalandırmıyorum . İstatistiksel Öğrenme . Zaten sıfır katsayıları için aynen. Aksi takdirde, sağ …

12 logistic  generalized-linear-model  feature-selection  lasso  convex 

Herkesin tıbbi literatürde parametrik olan yöntemler kullanarak örnek boyutu hesaplaması yapma ortak uygulamasını desteklemek için belirli bir referansı (metin veya dergi makalesi) olup olmadığını bilmek isterim (yani normal bir dağılım ve belirli bir ölçüm varyasyonu varsayarak) birincil deneme sonucunun analizinin parametrik olmayan yöntemler kullanılarak ne zaman yapılacağı. Bir örnek: birincil …

12 nonparametric  sample-size 

Sorum, sınıflandırıcı / model eğitimi / uydurma sırasında eksik verilerle başa çıkmak için tekniklere yöneliyor. Örneğin, birkaç yüz satırlı bir veri kümesinde, her satırın diyelim ki beş boyut ve son öğe olarak bir sınıf etiketi vardır, çoğu veri noktası şöyle görünür: [0.74, 0.39, 0.14, 0.33, 0.34, 0] Bazıları şöyle görünebilir: …

12 missing-data 

Klasik (frekansçı) istatistikler için standart referans olarak kabul edilen bazı kitaplar önerilebilir mi? IE, oldukça kapsamlı ve ayrıca bir süredir formüllerdeki yazım hataları ve hataların kontrol edilme ve düzeltilme şansı buldu.

12 references  mathematical-statistics 

Temel istatistik metinlerini, makaleleri veya diğer referansları açıklamak ve alıntılamak için yardıma ihtiyacım var. Bir örnek: A adayı, ankette yer alan seçmen için A anketinde yüzde yüzde hata payı elde ediyor .39 - 3139-3139 - 31% 4,54.5%4.5 \%500500500 Arkadaşım bunun gibi nedenleri: İstatistiksel modellemenin karmaşıklığı nedeniyle, hata payı A'nın gerçek …

12 polling 

Bazı küme analizleriyle araştırmak istediğim küçük bir metin grubu üzerinde çalışıyorum. Bu konuda hangi kitapları veya makaleleri önerirsiniz?

12 machine-learning  references  clustering 

Bazı ölçümlerin bir sonuç üzerindeki tahmin yeteneğini belirlemek için ne zaman diğer bazı testlerde ROC eğrilerini kullanmaya eğilimlisiniz? Ayrık sonuçlarla (canlı / ölü, şimdiki / yok) uğraşırken, ROC eğrilerini ki-kare gibi bir şeyden daha fazla veya daha az güçlü yapan nedir?

12 regression  roc 

Üç gruptan oluşan bir veri setim var, onlara G1, G2 ve G3 diyelim. Bu öğelerin belirli özelliklerini analiz ettim ve bunları 3 tip "davranış" T1, T2 ve T3'e böldüm (bunu yapmak için küme analizini kullandım). Şimdi, üç gruptaki elemanların sayılarına göre bölünmüş şekilde 3 x 3 olasılık tablosuna sahibim: | …

12 contingency-tables 

Ağırlıkları dikkate alan Fisher's Exact Test'in varyasyonunu bilen var mı? Örneğin, örnekleme ağırlıkları . Dolayısıyla, her zamanki 2x2 çapraz tablo yerine, her veri noktası noktayı tartan bir "kütle" veya "boyut" değerine sahiptir. Örnek veriler: A B weight N N 1 N N 3 Y N 1 Y N 2 N …

12 hypothesis-testing 

Plain English'te kişi Bland-Altman grafiğini nasıl yorumlar? Bland-Altman grafiğini iki farklı ölçüm yöntemini karşılaştırmanın diğer yöntemlerine göre avantajları nelerdir?

12 data-visualization  bland-altman-plot 

Sorum şu kadar basit: ortak tahmin nedir? Ve regresyon analizi bağlamında ne anlama geliyor? Nasıl oldu? Çok uzun süre güçlü internette dolaştım ama bu soruların cevaplarını bulamadım.

12 regression  estimation  terminology 

Varsayalım ki (ölçülebilir ve uygun şekilde iyi davranmış) bir set , burada kompakttır. Ayrıca, Lebesgue ölçüsü ile üzerinden eşit dağılımdan örnekler çizebildiğimizi ve ölçüsünü bildiğimizi varsayalım . Örneğin, , içeren bir kutudur .S⊆B⊂RnS⊆B⊂RnS\subseteq B\subset\mathbb R^nBBBBBBλ(⋅)λ(⋅)\lambda(\cdot)λ(B)λ(B)\lambda(B)BBB[−c,c]n[−c,c]n[-c,c]^nSSS Sabit , yı noktaları eşit olarak örnekleyerek ve mi yoksa dışında mı olduğunu kontrol etmenin …

12 probability  monte-carlo  unbiased-estimator  measure-theory 

Modelimi taktım ve bunun iyi olup olmadığını anlamaya çalışıyorum. Değerlendirmek için önerilen metrikleri hesapladım ( / AUC / doğruluk / tahmin hatası / vb) ancak bunları nasıl yorumlayacağımı bilmiyorum. Kısacası, modelimin metriğe göre iyi olup olmadığını nasıl anlarım? BirR2R2R^2R2R2R^2 yeterli (örneğin) 0,6 beni çıkarımlar veya baz bilimsel / iş kararları …

12 goodness-of-fit  r-squared  accuracy  auc  diagnostic 

Kevin Murphy'nin Konjugat Bayesci'nin Gauss dağılımını incelemesinde , posterior tahmin dağılımının p(x∣D)=∫p(x∣θ)p(θ∣D)dθp(x∣D)=∫p(x∣θ)p(θ∣D)dθ p(x \mid D) = \int p(x \mid \theta) p(\theta \mid D) d \theta burada , modelin uygun olduğu ve görünmeyen veriler olduğu verilerdir. Anlamadığım şey , integralde ilk dönemde bağımlılığın neden ortadan kalktığı. Temel olasılık kurallarını kullanarak şunu …

12 bayesian  predictive-models  inference  posterior