İstatistikler ve Büyük Veri

Aşağıdaki kod ile R 'lars' paketini kullanıyorum: > library(lars) > set.seed(3) > n <- 1000 > x1 <- rnorm(n) > x2 <- x1+rnorm(n)*0.5 > x3 <- rnorm(n) > x4 <- rnorm(n) > x5 <- rexp(n) > y <- 5*x1 + 4*x2 + 2*x3 + 7*x4 + rnorm(n) > x <- …

13 correlation  feature-selection  lasso  regularization  ridge-regression 

Bu temel bir soru olabilir, ancak bir regresyon modelindeki bir değerinin neden açıklanmış bir varyans figürü vermek için karesi alınabileceğini merak ediyordum ?RRR katsayısının bir ilişkinin gücünü verebileceğini anlıyorum , ancak bu değerin karesinin ne kadar basit bir şekilde açıklanmış bir varyans ölçüsü verdiğini anlamıyorum.RRR Bunun kolay bir açıklaması var …

13 regression  correlation  r-squared 

Özellik değerlerine sahip proteinler listem var. Örnek bir tablo şöyle görünür: ...............Feature1...Feature2...Feature3...Feature4 Protein1 Protein2 Protein3 Protein4 Satırlar proteinlerdir ve sütunlar özelliklerdir. Ayrıca etkileşime giren proteinler listem var; Örneğin Protein3, Protein4 Protein1, Protein2 Protein4, Protein1 Sorun : Bir ön analiz için protein etkileşimlerinde hangi özelliklerin en çok katkıda bulunduğunu bilmek istiyorum. …

13 machine-learning  statistical-significance  feature-selection  networks 

Şu anda Kruschke'nin mükemmel "Bayesian Veri Analizi Yapıyor" kitabını okuyorum. Bununla birlikte, hiyerarşik lojistik regresyon (Bölüm 20) bölümü biraz kafa karıştırıcıdır. Şekil 20.2, Bernoulli parametresinin bir sigmoid fonksiyon aracılığıyla dönüştürülen katsayılar üzerinde doğrusal bir fonksiyon olarak tanımlandığı hiyerarşik bir lojistik regresyonu tarif eder. Bu, çevrimiçi olarak diğer kaynaklarda da gördüğüm …

13 regression  bayesian  logistic  multilevel-analysis 

Önceki bir sorudaki bir cevaptan, düzgün bir şekilde eşit bir örnek alan kaplayan bir vektör kümesi oluşturmak için Halton dizisine doğru yönlendirildim. Ancak wikipedia sayfası , özellikle yüksek primerlerin genellikle serinin başlarında yüksek derecede ilişkili olduğunu belirtmektedir. Göreceli olarak kısa bir örnekleme büyüklüğüne sahip herhangi bir yüksek primer çifti için …

13 sampling  small-sample  quasi-monte-carlo 

Üst üste binen iki sınıflı bir veri setim var, her sınıfta yedi nokta, iki boyutlu uzayda noktalar var. R, ve ben bu sınıflar için ayrı bir köprü oluşturmak svmiçin e1071paketten çalışıyorum . Aşağıdaki komutu kullanıyorum: svm(x, y, scale = FALSE, type = 'C-classification', kernel = 'linear', cost = 50000) burada …

13 r  machine-learning  svm  libsvm  e1071 

Örneğin, ev fiyatlarını tahmin etmek ve evin uzunluğunu ve genişliğini iki girdi özelliğine sahip olmak ister. Bazen, alan gibi uzunluk * genişlik olan 'türetilmiş' polinom girdi özellikleri de bulunur. 1) Türetilmiş özellikleri dahil etmenin anlamı nedir? Bir sinir ağı eğitim sırasında uzunluk, genişlik ve fiyat arasındaki bağlantıyı öğrenmemeli midir? Üçüncü …

13 machine-learning  neural-networks 

Ben bu sitede okumak görünüşe Kinect kullandığı rasgele ormanlar Algoritma bir şekilde makine öğrenme için. Herkes rastgele ormanları ne için kullandığını ve yaklaşımlarının nasıl çalıştığını açıklayabilir mi?

13 machine-learning  random-forest  application 

Bazı modellerim için kantil regresyon kullanmakla ilgileniyorum, ancak bu metodolojiyi kullanarak neyi başarabileceğim konusunda bazı açıklamalar yapmak istiyorum. IV / DV ilişkisinin daha güçlü bir analizini elde edebileceğimi anlıyorum . Özellikle, daha karmaşık doğrusal olmayan modellere, hatta parçalı doğrusal regresyona başvurmadan modellerimin uyumluluğunu iyileştirmekle ilgileniyorum. Tahminlerde, öngörücülerin değerine bağlı olarak …

13 predictive-models  quantile-regression 

Tavsiye sistemi geliştirmeye uygulanabilecek iyi bilgilere sahip bir kitap önerebilir misiniz?

13 machine-learning  references  recommender-system 

Örnekleme sürecini öğrenirken, aşağıdaki iki ifadeyi karşılarım: 1) Örnekleme hatası çoğunlukla değişkenliğe neden olur, örneklemesiz hatalar yanlılığa neden olur. 2) Örnekleme hatası nedeniyle, bir numune genellikle bir CENSUS'tan daha doğrudur. Bu iki ifadeyi nasıl anlayacağımı bilmiyorum. Bu iki ifadeyi almanın altında yatan mantık nedir?

13 estimation  sampling  survey  bias 

16 farklı bitki türü üzerindeki ortalama tırtıl sayısı (normal olmayan, Tweedie dağılımı kullanarak) farklılıklarına bakmak için SPSS'de genelleştirilmiş doğrusal bir model kullanıyorum. Birden fazla karşılaştırma yapmak istiyorum ancak bir Sidak veya Bonferroni düzeltme testi kullanmam gerekip gerekmediğinden emin değilim. İki test arasındaki fark nedir? Biri diğerinden daha iyi mi?

13 multiple-comparisons  post-hoc  bonferroni 

Wikipedia'da bir Spearman sıra korelasyonunun Fisher dönüşümü yaklaşık z-skoruna sahiptir. Belki de z-puanı sıfır hipotezinden farktır (sıralama korelasyonu 0)? Bu sayfa aşağıdaki örneğe sahiptir: 4, 10, 3, 1, 9, 2, 6, 7, 8, 5 5, 8, 6, 2, 10, 3, 9, 4, 7, 1 rank correlation 0.684848 "95% CI for …

13 correlation  spearman-rho 

Benim görevim 6 değişkenli kovaryans matrisinde değişiklik olup olmadığını test etmektir. 6 değişkenin değerleri aynı deneklerden iki kez ölçülür (ölçümler arasında 3 yıl). Bunu nasıl yapabilirim? İşlerimin çoğunu SAS kullanarak yapıyorum.

13 hypothesis-testing  repeated-measures  multivariate-analysis  covariance-matrix 

Lme4, nlme, baysian regresyon paketi veya mevcut olan herhangi bir modeli kullanarak karma modele uymak istiyorum. Asreml-R kodlama kurallarında karma model spesifikasyonlara girmeden önce, ASREML kodlarına aşina olmayanlar için asreml-R sözleşmeleri hakkında ayrıntılı bilgi edinmek isteyebiliriz. y = Xτ + Zu + e ........................(1) ; olağan karışık model, y, x …

13 r