İstatistikler ve Büyük Veri

Güçlü kümelenmenin olduğu verilerle kullanılacak uygun önyükleme tekniği ile ilgili bir sorum var. Modelin hangi bakım bölümlerinin en yüksek seans sıklığını içerdiğini (üst kısım) ne kadar iyi tahmin ettiğini belirlemek için, mevcut temel modeli daha yeni talep verileri üzerinde puanlayarak sigorta talep verileri üzerindeki çok değişkenli karışık etkileri öngörme modelini …

16 bootstrap  random-effects-model  mixed-model 

Dengesiz bir test veri setim var. Pozitif grup 100 vakadan, negatif grup 1500 vakadan oluşur. Antrenman tarafında ise daha büyük bir aday havuzum var: Pozitif antrenman setinin 1200 vakası ve negatif antrenman setinin 12000 vakası var. Bu tür bir senaryo için birkaç seçeneğim var: 1) Tüm eğitim seti için ağırlıklı …

16 machine-learning  classification  data-mining  svm  bioinformatics 

Zayıf tutarlı maksimum olabilirlik tahmin edicisinde (MLE) değerlendirilen gözlemlenen bilgi matrisinin, beklenen bilgi matrisinin zayıf tutarlı bir tahmincisi olduğunu kanıtlamaya çalışıyorum. Bu yaygın olarak alıntılanan bir sonuçtur ancak kimse bir referans veya kanıt vermez (Bence google sonuçlarının ve istatistiklerimin ders kitaplarının ilk 20 sayfasını bitirdim)! Zayıf şekilde tutarlı bir MLE …

16 maximum-likelihood  expected-value  asymptotics  information  fisher-information 

CART modelleri oluşturmak için rpart () yordamında, ağacınızı budamak istediğiniz karmaşıklık parametresini belirtirsiniz. Karmaşıklık parametresini seçmek için iki farklı öneri gördüm: Mümkün olan minimum çapraz doğrulanmış hatayla ilişkili karmaşıklık parametresini seçin. Bu yöntem Quick-R ve HSAUR tarafından önerilir. Tahmini çapraz doğrulanmış hatası hala olası en düşük çapraz doğrulanmış hatanın SE'sinde …

16 r  cart  rpart 

Yaygın olarak alıntılanmış makalesinde Hiyerarşik modellerde varyans parametreleri için önceki dağılımlar (Google Akademik'te şu ana kadar 916 alıntı) Gelman, hiyerarşik bir Bayes modelindeki varyans için iyi bilgilendirici olmayan önceki dağılımların düzgün dağılım ve yarım t dağılım olduğunu önermektedir. Bir şeyleri doğru anlarsam, bu konum parametresi (örneğin ortalama) ana ilgi alanı …

16 bayesian  variance  prior  jags  hierarchical-bayesian 

Durdurma kuralları, P-değerleri ile kararlarla ilişkili hata oranları arasındaki ilişkiyi etkiler. Simmons ve ark. 2011 sikke vadeli serbestlik araştırmacı dereceleri onlar tekrarlanabilir olduğu tespit edilmiştir psikoloji literatüründe raporların çoğunu sorumlu olarak gördüğünü ortaya davranışların bir koleksiyon açıklamak için. Bu davranışlardan, isteğe bağlı durdurma kuralları veya bildirilmemiş ara analizler şu anda …

16 references  type-i-and-ii-errors  optimal-stopping 

Yani, ML alanında bir acemi oldum ve biraz sınıflandırma yapmaya çalışıyorum. Amacım bir spor etkinliğinin sonucunu tahmin etmektir. Bazı tarihsel veriler topladım ve şimdi bir sınıflandırıcı yetiştirmeye çalıştım. Yaklaşık 1200 örnek aldım, bunlardan 0.2 tanesi test amaçlı olarak ayırdım, diğerleri farklı sınıflandırıcılar ile ızgara aramasına (çapraz doğrulama dahil) koydum. Şu …

16 classification  svm  feature-selection  random-forest 

Pek çok dağıtımda "köken mitleri" veya iyi tanımladıkları fiziksel süreç örnekleri vardır: Merkezi Limit Teoremi aracılığıyla ilişkisiz hataların toplamından normal olarak dağıtılmış veriler alabilirsiniz Bağımsız madeni para çevirmelerinden veya Poisson tarafından dağıtılan değişkenlerden bu işlemin bir sınırından binom olarak dağıtılmış veriler alabilirsiniz Sabit bir bozulma oranı altında bekleme sürelerinden katlanarak …

16 distributions  laplace-distribution 

Negatif binom dağılımı biyoenformatikte sayım verileri için (özellikle belirli bir deneyden belirli bir genomun belirli bir bölgesinde okunan sıralı okuma sayısı) popüler bir model haline gelmiştir. Açıklamalar değişiklik gösterir: Bazıları bunu Poisson dağılımı gibi çalışan ancak ek bir parametreye sahip, gerçek dağılımı modellemek için daha fazla özgürlüğe izin veren ve …

16 poisson-distribution  negative-binomial  bioinformatics  sequence-analysis 

Poisson dağılımı birim zaman başına olayları ölçebilir ve parametre . Üstel dağılım, parametresi ile bir sonraki olaya kadar geçen süreyi ölçer . Olayları veya zamanları modellemenin daha kolay olmasına bağlı olarak, bir dağıtım diğerine dönüştürülebilir.λλ\lambda1λ1λ\frac{1}{\lambda} Şimdi, bir gama-poisson, daha büyük bir varyansa sahip "gerilmiş" bir zehirdir. Weibull dağılımı, daha büyük …

16 poisson-distribution  negative-binomial  gamma-distribution  exponential-family 

Diyelim ki simüle edebileceğim ve gibi iki tek değişkenli marjinal dağılımım var . Şimdi, adlandırılan bir Gauss kopula kullanarak ortak dağıtımlarını oluşturun . Tüm parametreler bilinir.G C ( F , G ; Σ )FFFGGGC(F,G;Σ)C(F,G;Σ)C(F,G;\Sigma) Bu kopuladan benzetim yapmak için MCMC olmayan bir yöntem var mı?

16 normal-distribution  simulation  copula 

Farzedelim ki , üzerinde desteklenen, numune çizebileceğimiz rastgele bir değişkenimiz var . medyanının tarafsız bir tahminini nasıl bulabiliriz ?XXX[0,1][0,1][0,1]XXX Tabii ki, bazı örnekler üretebilir ve örnek medyanını alabiliriz, ancak bunun genel olarak tarafsız olmayacağını anlıyorum. Not: Bu soru son sorumla özdeş değil, aynı değil , bu durumda sadece yaklaşık olarak …

16 sampling 

4 durum oluşan tam bir dizi dizilim (tam olarak 432 gözlem) var A−DA−DA-D: ör. Y=⎛⎝⎜⎜⎜⎜AB⋮BCA⋮CDA⋮ADC⋮DBA⋮AA−⋮BC−⋮A⎞⎠⎟⎟⎟⎟Y=(ACDDBACBAACA−−⋮⋮⋮⋮⋮⋮⋮BCADABA)Y=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&- &-\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & A\\ \end{array}\right) DÜZENLEME : Gözlem dizileri …

16 r  matlab  markov-process 

Bir avuç sitelerden "kırık sopa" aylık vaka sayıları oluşan bir veri kümesi var. İki farklı teknikten tek bir özet tahmin almaya çalışıyorum: Teknik 1: 0/1 gösterge değişkenli bir Poisson GLM ile ve zamandaki eğilimleri kontrol etmek için bir zaman ve zaman ^ 2 değişkeni kullanarak bir "kırık çubuk" takın. Bu …

16 time-series  mixed-model 

Aşağıdaki formun işlevlerini en aza indirmek için yinelenen yeniden ağırlıklandırılmış en küçük kareleri (IRLS) kullanıyorum, J(m)=∑Ni=1ρ(|xi−m|)J(m)=∑i=1Nρ(|xi−m|)J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right) burada NNN , örneklerinin sayısıdır xi∈Rxi∈Rx_i \in \mathbb{R}, m∈Rm∈Rm \in \mathbb{R} istediğim sağlam tahmindir ve ρρ\rho uygun bir sağlam ceza fonksiyonudur. Diyelim ki dışbükey (kesinlikle olmasa …

16 estimation  least-squares  robust  irls