İstatistikler ve Büyük Veri

Burada 'kısalma' rastgele sayıların hassasiyetini azaltmayı ve rastgele sayı serilerini kısaltmamayı ifade eder. Örneğin, rasgele bir hassasiyetle gerçekten rasgele sayılarım (herhangi bir dağılımdan, örneğin normal, üniforma vb.) Çekilmiş ve tüm sayıları keserim, böylece sonunda her biri tam olarak bir n sayı kümesi ile bitiririm Ondalıktan sonra 2 basamak. Bu yeni …

18 random-generation  measurement-error  truncation 

Son zamanlarda çok boyutlu ölçeklendirme ile karşılaştım. Bu aracı ve modern istatistikteki rolünü daha iyi anlamaya çalışıyorum. İşte birkaç yol gösterici soru: Hangi sorulara cevap veriyor? Hangi araştırmacılar genellikle onu kullanmakla ilgileniyor? Benzer işlevleri yerine getiren başka istatistiksel teknikler var mı? Etrafında hangi teori geliştirildi? "MDS" ile "SSA" arasında nasıl …

18 multidimensional-scaling 

Nedir R bir coxph modelinin özetinde verilen değeri? Örneğin,R2R2R^2 Rsquare= 0.186 (max possible= 0.991 ) Aptalca bir değeri olarak bir el yazması ekledim ve gözden geçiren R 2'nin bir analogunun farkında olmadığını söyleyerek üzerine atladı.R2R2R^2R2R2R^2 , Cox modeli için geliştirilen klasik lineer regresyondan istatistiğinin ve eğer varsa lütfen referans. Herhangi …

18 r  survival  r-squared  cox-model 

Veri görselleştirme uzmanları genellikle gösterge grafiklerini onaylamıyor gibi görünüyor (buraya bakın: İğne yüzdesini gösteren yarım pasta grafiğe benzeyen bir grafiğe ne diyorsunuz? ). Birincil neden, gösterge grafiğinin veri-mürekkep oranının düşük olmasıdır. Bu kavramlara (birkaç Tufte kitabı) maruz kaldığımdan beri, genellikle onlarla anlaştım, ama bugün bana merak ettiler: göstergeler bilgi iletişiminde …

18 data-visualization 

Üstel rasgele değişkenlerin toplamının Gamma dağılımını takip ettiğini öğrendim. Ama okuduğum her yerde parametreler farklı. Örneğin, Wiki ilişkiyi açıklar, ancak parametrelerinin gerçekte ne anlama geldiğini söylemiyor musunuz? Şekil, ölçek, oran, 1 / oran? Üstel dağılım: xxx ~ exp(λ)exp(λ)exp(\lambda) f(x|λ)=λe−λxf(x|λ)=λe−λxf(x|\lambda )=\lambda {{e}^{-\lambda x}} E[x]=1/λE[x]=1/λE[x]=1/ \lambda var(x)=1/λ2var(x)=1/λ2var(x)=1/{{\lambda}^2} Gama dağılımı: Γ(shape=α,scale=β)Γ(shape=α,scale=β)\Gamma(\text{shape}=\alpha, \text{scale}=\beta) f(x|α,β)=1βα1Γ(α)xα−1e−xβf(x|α,β)=1βα1Γ(α)xα−1e−xβf(x|\alpha …

18 distributions  probability  gamma-distribution 

Gelişmekte olan ülkede kullanılması planlanan bir açık sağlık anketi uygulaması üzerinde çalışıyorum. Temel fikir, anket görüşmelerinin kitlesel kaynaklı olması - mobil cihazlarını kullanarak yaptıkları görüşmelerin form verilerini gönderen örgütlenmemiş gönüllüler tarafından gerçekleştirilmektedir ve her ankete görüşme yerinin GPS verileri eşlik etmektedir. Devlet kurumları tarafından derlenen geleneksel anketler genellikle bazı standart …

18 sampling 

Bazı Gauss olmayan dağıtılmış değişkenim var ve 5 farklı grupta bu değişkenin değerleri arasında önemli farklılıklar olup olmadığını kontrol etmem gerekiyor. Kruskal-Wallis'in tek yönlü varyans analizini yaptım (ki bu önemli geldi) ve bundan sonra hangi grupların önemli ölçüde farklı olduğunu kontrol etmek zorunda kaldım. Gruplar bir çeşit sıralandığından (birinci gruptaki …

18 hypothesis-testing  post-hoc  wilcoxon-mann-whitney  kruskal-wallis  dunn-test 

Benden iki ilgili soru. Bir sütunda (aralık 10-17 hasta) çok sayıda hasta ve o gün bir olayın olup olmadığını gösteren 0 ve 1'leri içeren bir veri çerçevem ​​var. Hasta sayısındaki olayın olasılığını azaltmak için bir binom modeli kullanıyorum. Bununla birlikte, daha fazla hasta olduğunda, kaçınılmaz olarak daha fazla olay olacağı …

18 binomial  generalized-linear-model  offset 

Şu anda olduğu gibi, bu soru Soru-Cevap formatımıza uygun değil. Yanıtların gerçekler, referanslar veya uzmanlık tarafından desteklenmesini bekliyoruz, ancak bu soru muhtemelen tartışma, tartışma, oylama veya genişletilmiş tartışma talep edecektir. Bu sorunun çözülebileceğini ve muhtemelen yeniden açılabileceğini düşünüyorsanız, yardım için yardım merkezini ziyaret edin . 7 yıl önce kapalı . …

18 machine-learning  text-mining  natural-language 

"İstatistiksel Öğrenmenin Unsurları" sayfa 91'den kelimeler var: P-boyutlu giriş uzayındaki K sentroidleri çoğu K-1 boyutlu alt uzayda uzanır ve p, K'den çok daha büyükse, bu boyutta önemli bir düşüş olacaktır. İki sorum var: Neden p-boyutlu girdi uzayındaki K sentroidleri en çok K-1 boyutlu altuzada yayılır? K sentroidleri nasıl bulunur? Kitapta …

18 machine-learning  discriminant-analysis 

R ile bir ANOVA yaptım ve önemli farklılıklar gördüm. Ancak Tukey prosedürünü kullanarak hangi çiftlerin önemli ölçüde farklı olduğunu kontrol ederken hiçbirini alamadım. Bu nasıl mümkün olabilir? İşte kod: fit5_snow<- lm(Response ~ Stimulus, data=audio_snow) anova(fit5_snow) > anova(fit5_snow) Analysis of Variance Table Response: Response Df Sum Sq Mean Sq F value …

18 anova  post-hoc  tukey-hsd 

Gizli Dirichlet Tahsisi (LDA) yaparken bir sınırlama örneğinin şaşkınlığını nasıl hesaplayacağım konusunda kafam karıştı. Konuyla ilgili yazılar, bana belirgin bir şeyi kaçırdığımı düşündürüyor ... Şaşkınlık, LDA için iyi bir performans ölçüsü olarak görülmektedir. Fikir, bir ayırma örneği tutmanız, LDA'nızı verilerin geri kalanında eğitmeniz ve ardından ayırmanın şaşkınlığını hesaplamanızdır. Şaşkınlık şu …

18 text-mining  topic-models 

"Hata payı", "standart hata" ile aynı mıdır? Farkı göstermek için (basit) bir örnek harika olurdu!

18 definition 

Çeşitli sağlam korelasyon tekniklerinin performansını farklı dağılımlarla (eğrilmiş, aykırı değerlerle vb.) Karşılaştırdığımda bir simülasyon çalışması yapmayı planlıyorum. İle sağlam , I) çarpık dağılımlar, b) aykırı ve c) ağır kuyrukları bir karşı sağlam olmanın ideal durumu anlamına gelir. Bir temel olarak Pearson korelasyonunun yanı sıra, aşağıdaki daha sağlam önlemleri de dahil …

18 r  correlation  robust  spearman-rho  winsorizing 

Metin verilerim üzerinde sınıflandırma yapmak istiyorum. 300 classesSınıf başına 200 eğitim dokümanım var 60000 documents in totalve bu muhtemelen çok yüksek boyutlu verilerle sonuçlanacaktır ( 1 milyondan fazla boyutu inceliyor olabiliriz ). Boru hattında aşağıdaki adımları gerçekleştirmek istiyorum (sadece gereksinimlerimin ne olduğu hakkında bir fikir vermek için): Her belgeyi özellik …

18 machine-learning  classification  text-mining