İstatistikler ve Büyük Veri

5000 civarında veri setim var. Bu veriler için ilk önce özellik seçimi için Chi Square testini kullandım; Bundan sonra, cevap değişkeni ile anlamlılık ilişkisi gösteren yaklaşık 1500 değişkenim oldu. Şimdi bunun üzerine lojistik gerilemeye uymalıyım. R için glmulti paket kullanıyorum (glmulti paket vlm için verimli alt küme seçimi sağlar) ancak …

9 r  logistic  generalized-linear-model  modeling  regression-strategies 

Sayım verileri üzerinde metin modelleme hakkında bir sorum var, özellikle özellikleri lassoazaltmak için tekniği nasıl kullanabilirim . N çevrimiçi makalem ve her makale için sayfa görüntüleme sayısı olduğunu varsayalım. Her makale için 1 gram ve 2 gram çıkardım ve 1,2 gram üzerinde bir gerileme yapmak istedim. Özellikler (1,2 gram) gözlem …

9 poisson-distribution  lasso  glmnet  overdispersion  penalized 

İki bağımsız değişken arasında bir etkileşim olduğunda etkileşim grafiklerini yorumlamakta zorlanıyorum. Aşağıdaki grafikler bu siteden: Burada ve bağımsız değişkenler ve bağımlı değişkendir.birbirABBBD VDVDV Soru: etkileşimi ve ana etkisi vardır , ancak ana etkisi yokturbirbirABBB değeri ne kadar yüksek olursa , B'nin olması şartıyla değeri de o kadar yüksek olur, aksi …

9 data-visualization  interaction  interpretation 

Bağımsız değişken (x) sabit bir ölçüm hatası ve bağımlı değişken (y) sinyale bağlı hatası olan bir veri için en uygun doğrusal regresyon algoritması arıyorum. Yukarıdaki görüntü sorumu açıklıyor.

9 regression  linear-model  measurement-error  measurement 

Bir web kullanıcısı için ortalama bekleme süresi döndüren bir işlevi var. Yani, kelime cinsinden web kaynak uzunluğu göz önüne alındığında, ortalama bir kullanıcının bir web sayfasında kalabileceği ortalama süreyi verir. Bu işlevi (ve sonuçta elde edilen ortalamayı), web'de gezen bir 'ortalama web kullanıcısı' modellemek için bir dağıtımla birlikte kullanmak istiyorum. …

9 distributions 

Monte Carlo entegrasyonunun nasıl çalıştığını anladığımdan oldukça eminim ama Pi'yi tahmin etmek için nasıl kullanıldığının formülasyonunu anlamıyorum. Bu sunumun 5. slaydında belirtilen prosedüre gidiyorum http://homepages.inf.ed.ac.uk/imurray2/teaching/09mlss/slides.pdf Ön adımları anlıyorum. Pi birim çemberin dörtte birinin alanının 4 katıdır. Ve birim çemberin sağ üst çeyreğinin (0,0) merkezli alanı, birim çemberin sağ üst çeyreği …

9 monte-carlo  indicator-function 

terimi ve onun kare (yordayıcı değişkenler) bir regresyon içine dahil etmek istiyorum çünkü düşük değerlerin bağımlı değişken üzerinde olumlu bir etkisi ve yüksek değerlerin olumsuz bir etkisi vardır. yüksek değerlere etkisini yakalamak gerekir. Bu nedenle, katsayısının pozitif ve katsayısının negatif olacağını umuyorum. yanı sıra diğer öngörücü değişkenleri de dahil ediyorum.xxxx2x2x^2xxxx2x2x^2xxxx2x2x^2xxx …

9 regression  multiple-regression  polynomial  centering 

ICA uygulamadan önce PCA (fastICA paketi kullanarak) uygulanmasını söyleyen uygulama tabanlı bir makaleyi gözden geçirdim. Sorum şu: ICA (fastICA) önce PCA'nın çalıştırılmasını gerektiriyor mu? Bu yazı , ... ayrıca, PCA'nın ön-uygulamasının, (1) beyazlatmadan önce küçük arkadan gelen özdeğerleri atarak ve (2) çift-bağımlı bağımlılıkları en aza indirerek hesaplama karmaşıklığını azaltarak ICA …

9 pca  dimensionality-reduction  pattern-recognition  ica 

Varsayılan olarak glm, R'de bir işlev kullandığımızda , parametrelerin maksimum olasılık tahminini bulmak için yinelemeli olarak yeniden ağırlıklandırılmış en küçük kareler (IWLS) yöntemini kullanır. Şimdi iki sorum var. IWLS tahminleri olabilirlik fonksiyonunun küresel maksimumunu garanti ediyor mu? Bu sunumdaki son slayda dayanarak, öyle olmadığını düşünüyorum! Sadece bundan emin olmak istedim. …

9 r  estimation  generalized-linear-model  maximum-likelihood  optimization 

Bu veriler var: set.seed(1) predictor <- rnorm(20) set.seed(1) counts <- c(sample(1:1000, 20)) df <- data.frame(counts, predictor) Poisson regresyonu yaptım poisson_counts <- glm(counts ~ predictor, data = df, family = "poisson") Ve olumsuz bir binom regresyonu: require(MASS) nb_counts <- glm.nb(counts ~ predictor, data = df) Sonra poisson regresyonu için dağılım istatistiklerini …

9 generalized-linear-model  residuals  negative-binomial  poisson-regression  dispersion 

Bu bir ara sınav için pratik bir problemdir. Sorun bir EM algoritması örneğidir. (F) kısmı ile sorun yaşıyorum. Tamamlanması için (a) - (e) bölümlerini listelerim ve daha önce bir hata yapmam durumunda. İzin Vermek X1,…,XnX1,…,XnX_1,\ldots,X_n oranlı bağımsız üstel rasgele değişkenler olmak θθ\theta. Ne yazık ki, gerçekXXX değerlere uyulmaz ve yalnızca …

9 self-study  maximum-likelihood  latent-variable  expectation-maximization 

Hakimlerin kararlara ulaşabilmeleri için gereken zamana bakıyorum. Her yargıç birkaç başvuranı değerlendirir ve başvuruyu onaylayabilir veya onaylayamaz. Yargıç, duruşmadan bir süre sonra raporunu hazırladığında dava kesinleşir. Çalışma süresinin sonunda bazı vakalar hala açıktı. Vakaların sistemde dolaşabilmesi için gereken ortalama süreyi tahmin etmek istiyorum. Ayrıca, reddedilen davaların onaylanan davalardan daha uzun …

9 survival 

Bir 2B nokta veri kümesine sahip olduğumu ve verilerdeki tüm yerel maksimum varyansların yönlerini tespit etmek istediğimizi varsayalım: PCA bu durumda yardımcı olmaz çünkü dik bir ayrışmadır ve bu nedenle her iki çizgiyi de mavi renkte algılayamaz, bunun yerine çıktısı yeşil çizgilerle gösterilene benzeyebilir. Lütfen bu amaç için uygun olabilecek …

9 pca  dimensionality-reduction 

Zaman (yani,Y= A X+ εY=AX+εY = AX + \varepsilonYYY doğrusal regresyon modelinden gelir), ε∼N(0,σ2I)⇒e^=(I−H)Y∼N(0,(I−H)σ2)ε∼N(0,σ2I)⇒e^=(I−H)Y∼N(0,(I−H)σ2)\varepsilon \sim \mathcal{N}(0, \sigma^2 I) \hspace{1em} \Rightarrow \hspace{1em} \hat{e} = (I - H) Y \sim \mathcal{N}(0, (I - H) \sigma^2_{}) ve bu durumda artıklar e^1, … ,e^ne^1,…,e^n\hat{e}_1, \ldots, \hat{e}_nbirbiriyle ilişkilidir ve bağımsız değildir. Ancak regresyon teşhisi yaptığımızda …

9 regression  residuals  non-independent 

Birisinin satın alacağı eşya gruplarını tahmin ediyorum ... yani, birden fazla, doğrusal doğrusal bağımlı değişkenim var. Birinin 7 maddenin her birini satın alma olasılığını tahmin etmek için 7 veya daha fazla bağımsız model oluşturmak ve ardından sonuçları birleştirmek yerine, 7 ilgili bağımlı değişken arasındaki ilişkileri açıklayan bir modele sahip olmak …

9 r  machine-learning  multivariate-analysis