İstatistikler ve Büyük Veri

Giriş seviyesi istatistik ders kitabı okuyordum. Binom dağılımlı verilerde başarı oranının maksimum olasılık tahmini hakkındaki bölümde, bir güven aralığını hesaplamak için bir formül verdi ve daha sonra dikkatsizce bahsedildi Gerçek kapsama olasılığını, yani yöntemin gerçek parametre değerini yakalayan bir aralık üretme olasılığını göz önünde bulundurun. Bu, nominal değerden biraz daha …

10 confidence-interval  terminology  coverage-probability 

Örnek bir örnek: 10.000 maddelik bir nüfusa sahibim. Her öğenin benzersiz bir kimliği vardır. 100 öğe rastgele seçiyorum ve kimlikleri kaydediyorum 100 eşyayı tekrar nüfusa koydum 100 öğeyi tekrar rastgele seçiyorum, kimlikleri kaydediyorum ve değiştiriyorum. Toplamda, bu rastgele örneklemeyi 5 kez tekrar ediyorum 5 rasgele örneklemede sayısının öğe görülme olasılığı …

10 probability  hypergeometric 

Robert Kabacoff en düşük Hızlı-R Ben # Bootstrap 95% CI for regression coefficients library(boot) # function to obtain regression weights bs <- function(formula, data, indices) { d <- data[indices,] # allows boot to select sample fit <- lm(formula, data=d) return(coef(fit)) } # bootstrapping with 1000 replications results <- boot(data=mtcars, statistic=bs, …

10 r  regression  p-value  bootstrap 

ESL bölüm 2.4, lineer regresyonu "model tabanlı" olarak sınıflandırmaktadır, çünküf( x ) ≈ x ⋅ βf(x)≈x⋅βf(x) \approx x\cdot\betabuna karşılık, k yakın komşuları için benzer bir yaklaşım belirtilmemiştir. Ancak her iki yöntem def( x )f(x)f(x)? Daha sonra 2.4'te şöyle diyor: En küçük kareler varsayılır f( x )f(x)f(x) küresel olarak doğrusal bir …

10 machine-learning  model  k-nearest-neighbour 

İki örnek oranlarının karşılaştırılması, örnek büyüklüğü tahmini: R ve Stata Örnek boyutları için aşağıdaki gibi farklı sonuçlar aldım: içinde R power.prop.test(p1 = 0.70, p2 = 0.85, power = 0.90, sig.level = 0.05) Sonuç: n = 160.7777n=160.7777n = 160.7777 (yani 161) her grup için. In Stata sampsi 0.70 0.85, power(0.90) alpha(0.05) …

10 r  stata  sample-size  power-analysis  jmp 

Ben onları denemek düşündüm bu yüzden vb MNIST, cifar, STL-10, Rastgele Ormanları uygulanması ile ilgili herhangi literatürü bulamadı permütasyon değişmeyen MNIST kendim. İçinde R , I güvenilir: randomForest(train$x, factor(train$y), test$x, factor(test$y), ntree=500) Bu 2 saat sürdü ve% 2.8 test hatası aldı. Ben de denedim scikit-öğrenme ile, RandomForestClassifier(n_estimators=2000, max_features="auto", max_depth=None) 70 …

10 r  machine-learning  classification  random-forest  scikit-learn 

Doygun bir modelin ne olduğunu anlamaya çalışıyorum. AFAIK, gözlemler kadar çok özelliğiniz olduğunda. Doymuş bir modelin aşırı donanımlı bir modelin özel bir durumu olduğunu söyleyebilir miyiz?

10 overfitting 

Temel bir istatistik dersi veriyorum ve bugün iki kategori için ki-kare bağımsızlık testini ve homojenlik testini ele alacağım. Bu iki senaryo kavramsal olarak farklıdır, ancak aynı test istatistiği ve dağılımını kullanabilir. Bir homojenlik testinde, kategorilerden biri için marjinal toplamların tasarımın bir parçası olduğu varsayılır - her deney grubu için seçilen …

10 chi-squared  independence  heteroscedasticity  teaching 

Basit bir sınıflandırmada iki sınıfımız vardır: sınıf-0 ve sınıf-1. Bazı verilerde yalnızca sınıf-1 için değerler var, bu nedenle sınıf-0 için hiçbiri yok. Şimdi sınıf-1'in verilerini modellemek için bir model yapmayı düşünüyorum. Dolayısıyla, yeni veriler geldiğinde, bu model yeni verilere uygulanır ve yeni verilerin bu modele ne kadar uygun olduğunu belirten …

10 machine-learning  one-class 

My da t a s e t :My dataset:My \ \ dataset: 1 : A , B , C, E1:A,B,C,E1: A,B,C,E 2 : A , C, D , E2:A,C,D,E2:A,C,D,E 3 : B , C , E3: B,C,E3:\ \ \ \ \ B,C,E 4 : A , C, D , E4:A,C,D,E4:A,C,D,E …

10 data-mining  dataset  association-rules 

Bu soru / konu bir meslektaşı ile bir tartışma geldi ve ben bu konuda bazı fikirler arıyordum: Bazı verileri rastgele etkiler lojistik regresyonu, daha kesin olarak rastgele bir kesme lojistik regresyonu kullanarak modelleniyorum. Sabit etkiler için ilgi çekici ve dikkate alınan 9 değişkenim var. Önemli değişkenleri bulmak ve “en iyi” …

10 mixed-model  model-selection  aic  glmm  stepwise-regression 

Önceden zayıf bilgilendirici bir tanım var mı? Geniş destek ile öznel bir öncekinden farkı nedir?

10 bayesian  prior 

Çekirdek yöntemleri birçok denetimli sınıflandırma görevinde çok etkilidir. Peki, çekirdek yöntemlerinin sınırlamaları nelerdir ve çekirdek yöntemlerinin ne zaman kullanılması gerekir? Özellikle büyük ölçekli veri döneminde, çekirdek yöntemlerinin ilerlemeleri nelerdir? Çekirdek yöntemleri ile çoklu örnek öğrenme arasındaki fark nedir? Veri ise 500x10000, 500numunelerin sayısı ve 10000biz çekirdek yöntemlerini kullanabilirsiniz, bu durum …

10 machine-learning  kernel-trick 

Belirli bir DNA hasar ajanına hücresel duyarlılığı test etmek için bir deney yaptım. İlaca özel olarak duyarlı 270 gen bulduk ve analiz edilen toplam gen sayısı 3668 idi. 270 hassas genin 38'i "DNA onarım genleri" olarak sınıflandırıldı. Genomda bulunan "DNA onarım genleri" sayısı 112 ise ve genomdaki toplam gen sayısı …

10 biostatistics 

Aşağıdaki kodda glm ve "elle" mle2 kullanarak gruplandırılmış veriler üzerinde lojistik regresyon gerçekleştiriyorum. Neden R'deki logLik işlevi bana bir günlük olasılığı verir logLik (fit.glm) = - 2.336 birinden farklı logLik (fit.ml) = - 5.514 Elle alıyorum? library(bbmle) #successes in first column, failures in second Y <- matrix(c(1,2,4,3,2,0),3,2) #predictor X <- …

10 r  self-study  generalized-linear-model