İstatistikler ve Büyük Veri

K-araçlarında ikili değişkenleri (0 ve 1 değerleri) kullanmam gerekiyor. Ancak k-aracı sadece sürekli değişkenlerle çalışır. Bazı insanların hala bu ikili değişkenleri k-araçlarında k-araçlarının sadece sürekli değişkenler için tasarlandığı gerçeğini göz ardı ederek kullandığını biliyorum. Bu benim için kabul edilemez. Sorular: Öyleyse, k-means / hiyerarşik kümelemede ikili değişkenleri kullanmanın istatistiksel / …

27 r  clustering  binary-data  k-means  mixed-type-data 

Sonlu bir popülasyondaki nadir olayları incelemek istiyorum. Hangi stratejinin en uygun olduğu konusunda emin olamadığım için, bu konuyla ilgili ipuçlarını ve referansları takdir ediyorum, ancak bunun büyük ölçüde kapsandığının farkındayım. Sadece nereden başlayacağımı bilemiyorum. Benim sorunum siyasal bilimlerden biri ve ben 515,843 kayıttan oluşan sınırlı bir nüfusa sahibim. Bunlar 513,334 …

27 logistic  rare-events 

Bugün Naive Bayes Sınıflandırması'nı okuyordum. Parametre Tahmini başlığı altında, 1 yumuşatma ile birlikte okudum : yapalımccc (örneğin, pozitif veya negatif olarak) bir sınıfını ifade ve izin www bir belirteç ya da kelime bakın. İçin maksimum olabilirlik tahmin P(w|c)P(w|c)P(w|c) olduğucount(w,c)count(c)=counts w in class ccounts of words in class c.count(w,c)count(c)=counts w in …

27 machine-learning  classification  text-mining  naive-bayes  laplace-smoothing 

Buradaki sorumu takiben aykırı noktaları saptamak için standart sapmanın kullanımına karşı veya bunun karşısında güçlü görüşler olup olmadığını merak ediyorum (örneğin, 2 standart sapmadan daha fazlası olan herhangi bir veri noktası bir aykırıdır). Bunun çalışmanın bağlamına bağlı olduğunu biliyorum, örneğin, 48 kg veri noktası, bebeklerin kilolarının incelenmesinde kesinlikle bir aykırı …

27 outliers 

Rastgele orman algoritmasında, Breiman (yazar) benzerlik matrisini şu şekilde oluşturur: Tüm öğrenim örneklerini ormandaki her ağaçtan aşağıya gönderin Eğer iki örnek aynı yaprakta topraklanırsa, benzerlik matrisindeki karşılık gelen eleman 1 ile artarsa Ağaç sayısını matrisle normalize et Diyor: N ve k vakaları arasındaki yakınlıklar bir matris oluşturur {prox (n, k)}. …

27 random-forest  distance  similarities  euclidean 

Eğer ve iki bağımsız rasgele birim vektörlerdir kendi sayısal ürün (nokta ürün) dağılımı ne (homojen bir birim küre üzerinde dağıtılmaktadır), ?y Ar D x ⋅ yxx\mathbf{x}yy\mathbf{y}RDRD\mathbb{R}^Dx⋅yx⋅y\mathbf x \cdot \mathbf y Gibi tahmin hızlı bir şekilde dağılımı büyür (?), Sıfır ortalama ve daha yüksek boyutlarda azalan varyans normal olur ancak için …

27 mathematical-statistics  linear-algebra  beta-distribution 

Makine öğrenme algoritmaları için ortak bir ön işleme adımı verilerin beyazlatılmasıdır. Verileri birbirinden ayırdığı için modellemeyi basitleştirdiği için beyazlatma yapmak her zaman iyidir. Beyazlatma ne zaman önerilmemektedir? Not: Verilerin ilişkisizleştirilmesine atıfta bulunuyorum.

27 data-transformation 

K-katlama çapraz doğrulama, verilen bir sınıflandırıcının genelleme kapasitesini tahmin etmek için kullanılabilir. Ayrıca varyansı hakkında daha iyi bir tahminde bulunmak için tüm doğrulama işlemlerinden havuzlanmış bir varyansı hesaplayabilir miyim? Değilse neden? Çapraz doğrulama işlemlerinde havuzlanmış standart sapmayı kullanan kağıtlar buldum . Açıkça , validasyon varyansı için evrensel bir tahmin edici …

27 machine-learning  cross-validation 

Bir logit bağlantısı kullanarak 3 seviyeli dengesiz verilerde GEE kullanıyorum. Bu, karışık efektli (GLMM) ve logit linkli bir GLM'den ne kadar farklıdır (çizebileceğim sonuçlar ve katsayıların anlamı açısından) açısından? Daha fazla ayrıntı: Gözlemler tek bernoulli denemeleridir. Sınıflar ve okullar halinde gruplandırılmıştır. R. kullanarak NA'ların Casewise ihmali. 6 öngörücüleri de etkileşim …

27 logistic  mixed-model  generalized-linear-model  interpretation  gee 

Bir for döngüsü kullanarak değişkenlerin bir listesini yapmanın ve değerini vermenin basit bir yolu olup olmadığını merak ediyorum. for(i in 1:3) { noquote(paste("a",i,sep=""))=i } Yukarıdaki kodda, oluşturmak deneyin a1, a2, a3, 1, 2, 3. Bununla birlikte, R, bir hata mesajı verir değerlerine olan atama. Yardımın için teşekkürler.

27 r 

Ham veriler üzerinde değil de artıklarında normalliği test etmem gerektiğini öğrendim. Artıkları hesaplamalı mıyım ve sonra Shapiro-Wilk'ün W testi yapmalı mıyım? Artıklar şu şekilde hesaplanıyor mu: ?Xben- demekXben-anlamına gelmekX_i - \text{mean} Lütfen verilerim ve tasarım için bu önceki soruya bakınız .

27 normality-assumption  residuals  assumptions 

Yüzde 99, veya yüzde 100 Bunlar sayı grupları mı, ayırma çizgileri mi, yoksa bireysel sayılara işaretçiler mi? Sanırım aynı soru, çeyreklik veya herhangi bir miktar için de geçerlidir. Belirli bir yüzdelik (p) 'deki bir sayı indeksinin n maddelerinin verildiğini okudum. i = (p / 100) * n Bu bana 100 …

27 quantiles 

Bunun daha önce sorulmadığına şaşırdım, ancak soruyu stats.stackexchange'te bulamıyorum. Normalde dağıtılmış bir örneğin varyansını hesaplamak için kullanılan formül: Σ ( X- X¯)2n - 1Σ(X-X¯)2n-1\frac{\sum(X - \bar{X}) ^2}{n-1} Basit bir doğrusal regresyonda gözlemlerin ortalama kare hatasını hesaplayan formül: ∑ ( yben- y^ben)2n - 2Σ(yben-y^ben)2n-2\frac{\sum(y_i - \hat{y}_i) ^2}{n-2} Bu iki formül arasındaki …

27 variance  error 

Biri bana denetimli bir makine öğrenme modelinin fazla uyuşup uyuşmadığını yargılayabilir mi? Harici bir doğrulama veri setim yoksa, fazla takmayı açıklamak için 10 kat çapraz doğrulama ROC'sunu kullanıp kullanamayacağımı bilmek istiyorum. Harici bir doğrulama veri kümem varsa, sonra ne yapmam gerekir?

27 machine-learning 

Kwiatkowski – Phillips – Schmidt – Shin (KPSS) testi ile artırılmış Dickey-Fuller (ADF) testi arasındaki fark nedir? Aynı şeyi mi test ediyorlar? Yoksa bunları farklı durumlarda mı kullanmamız gerekiyor?

27 time-series  stationarity  unit-root  augmented-dickey-fuller  kpss-test