İstatistikler ve Büyük Veri

Çapraz doğrulama yerine verinin marjinal geçiciliğini en üst düzeye çıkararak birçok parametreli bir ARD çekirdeği ile bir Gauss süreci eğitimi alıyorum. Aşırı uyduğundan şüpheleniyorum. Bu şüpheyi Bayes bağlamında nasıl test edebilirim?

12 machine-learning  cross-validation  gaussian-process 

Makine öğreniminde yeniyim. Aynı veri kümesine lojistik regresyon ve rastgele orman uyguladım. Bu yüzden değişken önem kazanıyorum (lojistik regresyon için mutlak katsayı ve rastgele orman için değişken önem). Son bir değişken önemi elde etmek için ikisini birleştirmeyi düşünüyorum. Deneyimini herkes paylaşabilir mi? Torbalamayı, güçlendirmeyi, topluluk modellemesini kontrol ettim, ama ihtiyacım …

12 machine-learning  logistic  random-forest 

Bir mRNA'nın zaman içinde iki farklı koşulda bozunma hızlarını temsil eden iki doğrusal regresyon modelini karşılaştırmak istiyorum. Her model için veriler bağımsız olarak toplanmıştır. İşte veri seti. Zaman (saat) günlüğü (Tedavi A) günlüğü (tedavi B) 0 2.02 1.97 0 2.04 2.06 0 1.93 1.96 2 2.02 1.91 2 2.00 1.95 …

12 regression  model-comparison 

Ben çekirdeklerde yeniyim ve kNN'yi çekirdeklemeye çalışırken bir engelle karşılaştım. Hazırlıklar Bir polinom çekirdek kullanıyorum: K( X , y ) = ( 1 + ⟨ x , y ⟩ )dK(x,y)=(1+⟨x,y⟩)dK(\mathbf{x},\mathbf{y}) = (1 + \langle \mathbf{x},\mathbf{y} \rangle)^d Tipik Öklid kNN'niz aşağıdaki mesafe metriğini kullanır: d( x , y ) = | …

12 machine-learning  kernel-trick  k-nearest-neighbour 

Düzenli bir logit regresyonu yapmaya çalışıyorum. Modeli böyle çalıştırıyorum (sadece piyasadaki firma sayısını gelir ve nüfus ölçütlerinden tahmin eden aptal küçük bir model). Benim sorum tahminlerle ilgili. nfirm.opr<-polr(y~pop0+inc0, Hess = TRUE) pr_out<-predict(nfirm.opr) Tahmin çalıştırdığımda (tahmin edilen y'yi almak için kullanmaya çalışıyorum), çıktılar 0, 3 veya 27'dir, bu da hiçbir şekilde …

12 r  econometrics  logit  ordered-logit 

PCA'yı belirli bir veri kümesinde çalıştırdığımda, çözüm bana benzersiz mi? Yani, interpoint mesafelerine göre bir dizi 2d koordinat elde ederim. Bu kısıtlamaları karşılayacak noktalardan en az bir tane daha düzenleme bulmak mümkün müdür? Cevabınız evet ise, bu kadar farklı bir çözümü nasıl bulabilirim?

12 pca 

Bu soru bu yazı ile yakından ilgili Rastgele bir değişkenim var ve tanımlıyorum . olasılık yoğunluk fonksiyonunu bulmak istiyorum .Y = log ( X ) YX∼ Gama ( k , θ )X~Gama(k,θ)X \sim \text{Gamma}(k, \theta)Y= günlük( X)Y=günlük⁡(X)Y = \log(X)YYY Başlangıçta sadece kümülatif dağılım fonksiyonu X'i tanımlayacağımı, bir değişken değişikliği yapacağımı …

12 pdf  gamma-distribution 

Birkaç bin özellikli verilerim var ve bilgilendirici olmayanları kaldırmak için özyinelemeli özellik seçimi (RFE) yapmak istiyorum. Bunu caret ve RFE ile yapıyorum . Ancak, en iyi regresyon uyumunu elde etmek istiyorsam (örneğin rastgele orman), ne zaman parametre ayarlamayı ( mtryRF için) yapmalıyım diye düşünmeye başladım. Yani, anladığım kadarıyla, caret trenleri …

12 regression  feature-selection  random-forest  caret 

Yani, yaklaşık 60 x 1000 matrisim var. 1000 özellikli 60 nesne olarak bakıyorum; 60 nesne 3 sınıfa ayrılır (a, b, c). Her sınıfta 20 nesne ve gerçek sınıflandırmayı biliyoruz. Bu 60 eğitim örneği seti üzerinde denetimli öğrenme yapmak istiyorum ve hem sınıflandırıcı doğruluğu (ve ilgili metrikler) hem de 1000 özellikte …

12 machine-learning  classification  multilevel-analysis  random-forest  stratification 

Son zamanlarda seyrek temsiller hakkında çok sayıda makale görüyorum ve çoğu ℓpℓp\ell_p normu kullanıyor ve biraz küçülüyor. Sorum şu: ℓpℓp\ell_p normu ve ℓp,qℓp,q\ell_{p, q} karma normu nedir? Düzenleme ile nasıl ilgili? Teşekkürler

12 machine-learning  regularization  sparse 

Verilerin üstel veya normal dağılımları takip edip etmediğini görmek için standart istatistiksel testler nelerdir?

12 distributions  hypothesis-testing  normal-distribution 

Birisi aşağıdaki gibi bir açıklama yaparsa: "Genel olarak, çevresel dumana maruz kalan sigara içmeyenlerin, dumansız sigara içmeyenlere kıyasla 1,25 (yüzde 95 güven aralığı, 1,17 ila 1,32) koroner kalp hastalığı riski vardı." Bir bütün olarak nüfus için göreceli risk nedir? Koroner kalp hastalığı ile kaç şey bağlantılı? Test edilebilen çok sayıda …

12 probability  statistical-significance  confidence-interval  conditional-probability  philosophical 

Lütfen iki değişken doğrusal veya doğrusal olarak ilişkili ise arasındaki farkın ne olduğunu açıklayın . Vikipedi makalesine baktım ama uygun bir örnek alamadım. Lütfen örnekle açıklayınız.

12 correlation  non-independent 

Bu metin gösterimi modelleri arasındaki farklar nelerdir: Kelime grubu ve vektör uzay modeli?

12 machine-learning  text-mining 

Regresyon üzerine bir ders kitabı okurken aşağıdaki paragrafla karşılaştım: Bir doğrusal regresyon katsayıları ( ) vektörünün en küçük kareler tahminiββ\beta β^= ( XtX)- 1Xtyβ^=(XtX)−1Xty \hat{\beta} = (X^{t}X)^{-1}{X^t}y ki bu, verisinin bir fonksiyonu olarak görüldüğünde ( yordayıcılarını sabit olarak dikkate alarak ), verilerin doğrusal bir kombinasyonudur. Merkezi Limit Teoremini kullanarak, örnek …

12 multiple-regression