İstatistikler ve Büyük Veri

Ben gelen temel bileşenler analizinin temelleri hakkında okumak tutorial1 , link1 ve LINK2 . 100 değişkenlik veri setim var (çıkış değişkeni Y dahil), PCA ile değişkenleri 40'a düşürmek ve sonra bu 40 değişkenleri kullanarak değişken Y'yi tahmin etmek istiyorum. Sorun 1: Temel bileşenleri aldıktan ve ilk 40 bileşeni seçtikten sonra, …

9 regression  pca 

Seviye 1'de (bireysel seviye) bir açıklama değişkeni ve seviye 2'de (grup seviyesi) bir açıklama değişkeni olan aşağıdaki çok seviyeli lojistik modeli: logit (pben j) =π0 j+π1 jxben j… ( 1 )lojit(pbenj)=π0j+π1jxbenj...(1)\text{logit}(p_{ij})=\pi_{0j}+\pi_{1j}x_{ij}\ldots (1) π0 j=γ00+γ01zj+u0 j... ( 2 )π0j=γ00+γ01zj+u0j...(2)\pi_{0j}=\gamma_{00}+\gamma_{01}z_j+u_{0j}\ldots (2) π1 j=γ10+γ11zj+u1 j… ( 3 )π1j=γ10+γ11zj+u1j...(3)\pi_{1j}=\gamma_{10}+\gamma_{11}z_j+u_{1j}\ldots (3) burada, ve grup düzeyinde …

9 r  logistic  generalized-linear-model  simulation  multilevel-analysis 

Birden çok sonucu olan bazı makaleler içeren çok seviyeli bir meta-analiz yapıyorum. Bu nedenle rma.mv()işlevi kullanıyorum . Örnek kod: test.main = rma.mv(yi,vi,random = ~1|ID, data = data) İki sorum var: Bir önceki sorguda kullanırken rma.mv(), ranktest()huni arsa asimetrisinin güvenilir bir test olmadığını okudum . Bununla birlikte, orijinal modele moderatör olarak …

9 meta-analysis  sensitivity-analysis  publication-bias  funnel-plot 

Scikit-learn'daki StandardScaler nesnesinin belgelerine göre : Örneğin, bir öğrenme algoritmasının objektif işlevinde kullanılan birçok öğe (Destek Vektör Makinelerinin RBF çekirdeği veya doğrusal modellerin L1 ve L2 düzenleyicileri gibi) tüm özelliklerin 0 etrafında ortalandığını ve aynı sırayla varyansa sahip olduğunu varsayar. Bir özellik, diğerlerinden daha büyük büyüklük sıralarına sahip bir varyansa …

9 machine-learning  svm  standard-deviation  mean  references 

Aşırı takmaya neden olmaz mı? Analizin bir parçası olarak bir jack-knife veya bootstrap prosedürü eklersem sonuçlarım daha güvenilir olur mu?

9 multiple-regression  bootstrap  reliability  overfitting  jackknife 

Standart sapmaları rapor etmeyen bir dizi çalışmayı kapsayan rastgele etkiler meta analizi üzerinde çalışıyorum; tüm çalışmalar örneklem büyüklüğünü bildirmektedir. SD eksik verilere yaklaşık veya dolaylı neden olabileceğine inanmıyorum. Tüm çalışmalarda standart sapmalar mevcut olmadığında, etki büyüklüğü olarak ham (standartlaştırılmamış) ortalama farklılıkları kullanan bir meta analiz nasıl ağırlıklandırılmalıdır? Tabii ki hala …

9 stata  missing-data  meta-analysis  meta-regression 

anovaİki modeli karşılaştırırken sonucu nasıl anlamalıyım ? Misal: Res.Df RSS Df Sum of Sq F Pr(>F) 1 9 54.032 2 7 4.632 2 49.4 37.329 0.0001844 *** Manpage şunu belirtir: "Bir veya daha fazla takılmış model nesnesi için varyans (veya sapma) tablolarının hesaplama analizi." Bununla birlikte, profesör model karşılaştırması için …

9 r  regression  anova 

Sorular: Arttırılmış regresyon ağaçları (BRT) ve genelleştirilmiş arttırılmış modeller (GBM) arasındaki farklar nelerdir? Bunlar birbirinin yerine kullanılabilir mi? Biri diğerinin belirli bir şekli mi? Ridgeway neden Friedman'ın daha önce "Gradient Boosting Machine" (GBM) olarak önerdiğini tanımlamak için "Genelleştirilmiş Artırılmış Regresyon Modelleri" (GBM) ifadesini kullandı? Bu iki kısaltma aynıdır, aynı şeyi …

9 machine-learning  boosting  gbm 

Rastgele Orman'da her ağaç, verilerin benzersiz bir takviye örneğine paralel olarak büyütülür. Her takviye örneğinin benzersiz gözlemlerin yaklaşık% 63'ünü içermesi beklendiğinden, bu, ağacın test edilmesi için kullanılabilecek gözlemlerin yaklaşık% 37'sini dışarıda bırakır. Şimdi, Stokastik Degrade benzer bir tahmini var gibi görünüyor :OOBerrorOOBerrorOOB_{error} Bag.fraction 0 değerinden daha büyük olarak ayarlanırsa (0,5 …

9 machine-learning  cross-validation  data-mining  random-forest  boosting 

Performansını geri test etmek istediğim bazı öngörülü modellerim var (yani, veri setimi al, önceki bir noktaya "geri sar" ve modelin prospektif olarak nasıl performans göstereceğini görüyorum). Sorun şu ki, bazı modellerim etkileşimli bir süreçle oluşturuldu. Örneğin, Frank Harrell'in Regresyon Modelleme Stratejilerindeki tavsiyeyi takiben, bir modelde, özellikler ve yanıt arasındaki olası …

9 cross-validation  modeling  outliers  splines  overfitting 

Kümeleme için kullanabileceğim benzerlik ölçümüm için ağırlıklarını öğrenmek (çıkarmak) istiyorum. Bazı örnekler vardır (aynı kümedeki olmalıdır) "içindeki", hem de bazı örnekler olarak nesnelerin çiftlerinin "benzemeyen" nesnelerin çiftlerinin (olmamalıdır aynı kümede olması). Her nesnenin birtakım nitelikleri vardır: İsterseniz, her bir nesneyi , her özelliğin negatif olmayan bir tamsayı olduğu, boyutlu bir …

9 clustering  similarities  supervised-learning  semi-supervised 

Her biri bir emici duruma ve bilinen bir başlangıç ​​pozisyonuna sahip iki farklı Markov zincirim var. Zincir 1'in zincir 2'den daha az adımda emici bir duruma ulaşma olasılığını belirlemek istiyorum. Sanırım n adımdan sonra belirli bir zincirde emici bir duruma ulaşma olasılığını hesaplayabilirim: bir geçiş matrisi verildiğinde , adımdan sonra …

9 probability  markov-chain  transition-matrix 

Sürekli değişken ve ikili hedef değişken (0 ve 1) ile bir veri kümesi var. Sürekli değişkenleri (lojistik regresyon için) hedef değişkene göre ayırmak ve her aralıktaki gözlem sıklığının dengelenmesi gerekir. Chi Merge, karar ağaçları gibi makine öğrenme algoritmalarını denedim. Chi merge bana her aralıkta çok dengesiz sayılarla aralıklar verdi (3 …

9 r  machine-learning  chi-squared  discrete-data  supervised-learning 

verilmiş 404040 akciğer kanseri olan ve 404040eşleştirilmiş kontroller (akciğer kanseri olmadan) (yaş, cinsiyet vb. Sigaranın akciğer kanseri üzerindeki etkisi arasında kanıt bulmaya çalışmak için Fisher'in kesin testini beklenmedik durum tablosunda kullandım. Ancak bu, kontrollerin ve vakaların eşleştiğini dikkate almadı. Bu yüzden iki grup arasındaki eşleşmeyi dikkate alan Fisher'ın kesin testini …

9 contingency-tables  fishers-exact  paired-data  mcnemar-test 

Bu makale , CART'ta, her adımda tek bir ortak değişken üzerinde ikili bir bölünme gerçekleştirildiğinden, tüm bölünmelerin dik olduğunu ve bu nedenle ortak değişkenler arasındaki etkileşimlerin dikkate alınmadığını iddia etmektedir. Bununla birlikte, birçok ciddi referans, aksine, bir ağacın hiyerarşik yapısının, öngörücüler arasındaki etkileşimlerin otomatik olarak modellenmesini (örneğin, bu makale ve …

9 machine-learning  classification  data-mining  cart