İstatistikler ve Büyük Veri

Birkaç lojistik regresyon sorununa bakıyorum. ("normal" ve "koşullu"). İdeal olarak, giriş vakalarının her birini ağırlıklandırmak istiyorum, böylece glm daha yüksek ağırlıklı vakaları muhtemelen daha düşük ağırlıklı vakaları yanlış sınıflandırma pahasına doğru tahmin etmeye odaklanacaktır. Elbette bu daha önce yapıldı. Herkes beni ilgili bazı literatüre yönlendirebilir mi (Veya muhtemelen değiştirilmiş bir …

9 logistic 

N öğesi arasında bir metrik olmayan bir mesafe tanımladığımızı varsayalım . Bu mesafeye dayanarak daha sonra Aglomeratif hiyerarşik bir kümeleme kullanıyoruz . Anlamlı sonuçlar elde etmek için bilinen algoritmaların her birini (tek / maksimum / avaerage bağlantısı vb.) Kullanabilir miyiz? Veya farklı bir deyişle, mesafe bir metrik değilse bunları kullanmayla …

9 clustering  multilevel-analysis  metric  hierarchical-clustering 

Bu soru normal dağılımı ele aldı, ancak keyfi bir dağılımdan alınan bir n boyutundaki bir örneğin standart sapmasının dağılımı hakkında bilineni merak ediyorum . Özellikle, standart sapmanın standart sapması nedir? Normal dağılım için sd'nin sd değeri σ2 n√σ2n\sigma \over{\sqrt{2n}}. Bu rastgele bir dağıtım için yaklaşık olarak doğru mu?n → ∞n→∞n …

9 standard-deviation 

Regresyon sırtında yeniyim. Doğrusal sırt regresyonunu uyguladığımda, aşağıdaki sonuçları aldım: >myridge = lm.ridge(y ~ ma + sa + lka + cb + ltb , temp, lamda = seq(0,0.1,0.001)) > select(myridge) modified HKB estimator is 0.5010689 modified L-W estimator is 0.3718668 smallest value of GCV at 0 Sorular: İçin sıfır almak …

9 ridge-regression 

R'yi birkaç yıldır kullanıyorum, ancak her zaman Tinn-R, JGR ve en son R-Studio gibi bir GUI kullandım. R-Studio'nun arayüzünü sevmeme rağmen, çok az grafik içeren / hiç grafik içermeyen daha uzun programlar için Emacs gibi daha temel bir metin editörü tarafından sunulan kısayollardan yararlanarak daha verimli kod yazabileceğimi hissediyorum. Emacs …

9 r  software 

Ben R tek bir grafikte 20 dağılım çizmek gerekir ve boxwex = 0.3 ile bile düzenli boxplot (20 kutu) ile bana iyi (dağınık) görünmüyor. Bana 20 dağıtım için R'de bir tür boxplot çizebilir miyim, aşağıdaki gibi medyan noktaları ve kutu yerine sadece bir çizgi çizebilir misiniz? Ayrıca, özellikle tek bir …

9 r  boxplot 

Ben kullandım rpart.controliçin minsplit=2ve aşağıdaki sonuçlar aldık rpart()fonksiyonu. Verilerin fazla sığmasını önlemek için bölme 3 veya bölme 7 kullanmam gerekir mi? Bölmeleri 7 kullanmamalı mıyım? Lütfen bana haber ver. Ağaç yapımında kullanılan değişkenler: [1] ct_a ct_b usr_a Root node error: 23205/60 = 386.75 n= 60 CP nsplit rel error xerror …

9 r  cart  rpart 

Bir özelliği asimetrik mesafe ölçümü ile nasıl kümelendirirsiniz? Örneğin, bir veri kümesini bir özellik olarak haftanın günleri ile kümelediğinizi varsayalım - Pazartesi ile Cuma arasındaki mesafe, Cuma ile Pazartesi arasındaki mesafeyle aynı değildir. Bunu kümeleme algoritmasının mesafe ölçüsüne nasıl dahil edersiniz?

9 clustering  distance 

Biraz daha fazla bilgi; farz et ki önceden kaç değişken seçeceğinizi ve LARS prosedüründe karmaşıklık cezasını tam olarak 0 katsayısı olmayan birçok değişkene sahip olacak şekilde ayarladığınızı biliyorsunuz, hesaplama maliyetleri bir mesele değildir (toplam değişken sayısı, örneğin 50'dir), tüm değişkenlerin (y, x) süreklidir. Hangi ortamda LARS modeli (yani, LARS uyumunda …

9 regression  model-selection 

İki farklı dağılımı takip eden ve farklı standart sapmalara sahip iki değişkenim varsa ... İki değişkeni nasıl dönüştürmeliyim ki toplamı aldığımda iki sonuç daha uçucu olan tarafından "sürülmez". Örneğin ... Değişken A, değişken B'den (0 ila 3000 arasında değişir) daha az uçucudur ve değişken B ileri gider. 300 ila 350. …

9 distributions 

Bir posterior hesaplamak için Bayes teoremini nasıl kullanacağımı anlamaya çalışıyorum, ancak hesaplama yaklaşımına takılı kalıyorum, örneğin, aşağıdaki durumda, önceki ve olasılığın ürününü nasıl alacağımı ve sonra posterior: Bu örnekte, arka olasılığını hesaplamakla ilgileniyorum ve öncesinde standart bir normal kullanıyorum , ancak bilmek istiyorum MCMC zinciri tarafından temsil edilen bir önceki …

9 bayesian  simulation  computational-statistics 

Tekrarlanan ölçümler ANOVA bağlamında çoklu karşılaştırmalar için mevcut düzeltmelerin aşırı derecede muhafazakar olduğuna dikkat çekiyor. Aslında durum böyle mi? Öyleyse, bu noktayı desteklemek ve daha fazla bilgi edinmek için kullanabileceğim bazı alıntılar nelerdir?

9 anova  repeated-measures  multiple-comparisons 

Umarım bu çok öznel değildir ... Ben bir müzikal tarzı ne olursa olsun, bir şarkının farklı "parçalarını" tespit çabalarında bir yön arıyorum. Nereye bakacağım hakkında hiçbir fikrim yok, ancak diğer StackOverflow sitelerinin gücüne güvenerek, burada birisinin yönü işaret etmeye yardımcı olabileceğini düşündüm. Çoğu temel terimde, bir şarkının farklı bölümlerini sadece …

9 signal-detection 

John Rice'ın "Matematiksel İstatistik ve Veri Analizi" adlı bir metnini okuyorum. Rasgele değişkenin beklenen değerini ve varyansını tahmin etmekle ilgileniyoruzYYY. Rasgele değişkenin beklenen değerini ve varyansını hesaplayabilirizXXX ve ilişkiyi biliyoruz Y=g(X)Y=g(X)Y = g(X). Bu nedenle, beklenen değeri ve varyansı yaklaşık olarak tahmin etmek mümkündür.YYY Taylor serisi genişlemesini kullanarak ggg hakkında …

9 self-study  mathematical-statistics  error 

Bir panel veri etüdünden eksik verilerin ithalatı ile ilgili bir sorunu ele almaya çalışıyorum ('panel veri etüdünü' doğru bir şekilde kullanıp kullanmadığımı bilmiyorum - bugün öğrendiğim gibi.) 2003 yılı için toplam ölüm sayısı verilerim var 2009 yılına kadar tüm aylar, kadın ve erkek, 8 farklı bölge ve 4 yaş grubu …

9 r  time-series  panel-data  data-imputation