verileri etkileyen veya kapalı verileri bulmak için komşu bilgileri kullanma (R'de)

En yakın komşuların en iyi yordayıcılar olduğu varsayımıyla veri kümem var. Görselleştirilmiş iki yönlü eğimin mükemmel bir örneği

Birkaç değerin eksik olduğu bir vakamız olduğunu varsayalım, komşulara ve eğilime göre kolayca tahmin edebiliriz.

R'de karşılık gelen veri matrisi (egzersiz için kukla örnek):

miss.mat <- matrix (c(5:11, 6:10, NA,12, 7:13, 8:14, 9:12, NA, 14:15, 10:16),ncol=7, byrow = TRUE)
miss.mat 
    [,1] [,2] [,3] [,4] [,5] [,6] [,7]
[1,]    5    6    7    8    9   10   11
[2,]    6    7    8    9   10   NA   12
[3,]    7    8    9   10   11   12   13
[4,]    8    9   10   11   12   13   14
[5,]    9   10   11   12   NA   14   15
[6,]   10   11   12   13   14   15   16

Notlar: (1) Eksik değerlerin özelliğinin rastgele olduğu varsayılır , her yerde olabilir.

(2) Tüm veri noktaları tek değişkenlidir, ancak değerlerinin kendilerine neighborsbitişik satır ve sütundan etkilendiği varsayılmaktadır . Bu nedenle matristeki konum önemlidir ve diğer değişken olarak kabul edilebilir.

Umudum bazı durumlarda bazı off-değerleri tahmin edebilir (hatalar olabilir) ve önyargıları düzeltebilirim (sadece örnek, kukla verilerde böyle bir hata oluşturmanızı sağlar):

> mat2 <- matrix (c(4:10, 5, 16, 7, 11, 9:11, 6:12, 7:13, 8:14, 9:13, 4,15, 10:11, 2, 13:16),ncol=7, byrow = TRUE)
> mat2

    [,1] [,2] [,3] [,4] [,5] [,6] [,7]
[1,]    4    5    6    7    8    9   10
[2,]    5   16    7   11    9   10   11
[3,]    6    7    8    9   10   11   12
[4,]    7    8    9   10   11   12   13
[5,]    8    9   10   11   12   13   14
[6,]    9   10   11   12   13    4   15
[7,]   10   11    2   13   14   15   16

Yukarıdaki örnekler sadece açıklama amaçlıdır (görsel olarak cevaplanabilir), ancak gerçek örnek daha kafa karıştırıcı olabilir. Böyle bir analiz yapmak için sağlam bir yöntem olup olmadığına bakıyorum. Bence bu mümkün olmalı. Bu tür bir analizi gerçekleştirmek için uygun yöntem ne olabilir? herhangi bir R programı / paket bu tür analiz yapmak için öneriler?

Soru, en yakın komşuları , yerelleştirilmiş aykırı değerleri tanımlamak ve düzeltmek için sağlam bir şekilde kullanma yollarını soruyor . Neden tam olarak bunu yapmıyorsunuz?

Prosedür, sağlam bir yerel pürüzsüz hesaplamak, kalıntıları değerlendirmek ve çok büyük olanları sıfırlamaktır. Bu, tüm gereksinimleri doğrudan karşılar ve farklı uygulamalara uyum sağlayacak kadar esnektir, çünkü biri yerel mahallenin boyutunu ve aykırı değerleri tanımlamak için eşiği değiştirebilir.

(Esneklik neden bu kadar önemlidir? Çünkü böyle bir prosedür belirli lokal davranışları "dış" olarak tanımlamak için iyi bir şanstır. Bu nedenle, bu tür tüm prosedürler daha düzleştirici olarak kabul edilebilir . tutma ayrıntısı ile yerel aykırı değerlerin algılanamaması arasındaki denge üzerinde biraz kontrole ihtiyaç duyar.)

Bu prosedürün bir başka avantajı, dikdörtgen bir değer matrisi gerektirmemesidir. Aslında, bu tür veriler için uygun bir yerel pürüzsüz kullanarak düzensiz verilere bile uygulanabilir .

Rloess$79$$49$$4000$$5\%$$1/20$

( RKurallara göre) matris satırlarının dikey şeritler olarak çizildiğine dikkat edin. Kalanlar hariç tüm görüntüler, değerlerinde küçük farklılıklar gösterilmesine yardımcı olmak için tepe şeklinde düzenlenmiştir. Bu olmadan, neredeyse tüm yerel aykırılıklar görünmez olurdu!

$(0,79)$$(49, 30)$

"Artıklar" grafiğindeki benekler belirgin izole yerel aykırı değerleri göstermektedir. Bu grafik ayrıca temel verilere atfedilebilecek diğer yapıları (diyagonal şerit gibi) de gösterir. Bu prosedür üzerinde, uzamsal bir veri modeli ( jeoistatistiksel yöntemler aracılığıyla ) kullanılarak, ancak bunu açıklamak ve bunu göstermek bizi burada çok uzağa götürecek şekilde geliştirilebilir.

$102$$200$$3$$600$

#
# Create data.
#
set.seed(17)
rows <- 2:80; cols <- 2:50
y <- outer(rows, cols, 
           function(x,y) 100 * exp((abs(x-y)/50)^(0.9)) * sin(x/10) * cos(y/20))
y.real <- y
#
# Contaminate with iid noise.
#
n.out <- 200
cat(round(100 * n.out / (length(rows)*length(cols)), 2), "% errors\n", sep="")
i.out <- sample.int(length(rows)*length(cols), n.out)
y[i.out] <- y[i.out] + rnorm(n.out, sd=0.05 * sd(y))
#
# Process the data into a data frame for loess.
#
d <- expand.grid(i=1:length(rows), j=1:length(cols))
d$y <- as.vector(y)
#
# Compute the robust local smooth.
# (Adjusting `span` changes the neighborhood size.)
#
fit <- with(d, loess(y ~ i + j, span=min(1/2, 125/(length(rows)*length(cols)))))
#
# Display what happened.
#
require(raster)
show <- function(y, nrows, ncols, hillshade=TRUE, ...) {
  x <- raster(y, xmn=0, xmx=ncols, ymn=0, ymx=nrows)
  crs(x) <- "+proj=lcc +ellps=WGS84"
  if (hillshade) {
    slope <- terrain(x, opt='slope')
    aspect <- terrain(x, opt='aspect')
    hill <- hillShade(slope, aspect, 10, 60)
    plot(hill, col=grey(0:100/100), legend=FALSE, ...)
    alpha <- 0.5; add <- TRUE
  } else {
    alpha <- 1; add <- FALSE
  }
  plot(x, col=rainbow(127, alpha=alpha), add=add, ...)
}

par(mfrow=c(1,4))
show(y, length(rows), length(cols), main="Data")

y.res <- matrix(residuals(fit), nrow=length(rows))
show(y.res, length(rows), length(cols), hillshade=FALSE, main="Residuals")
#hist(y.res, main="Histogram of Residuals", ylab="", xlab="Value")

# Increase the `8` to find fewer local outliers; decrease it to find more.
sigma <- 8 * diff(quantile(y.res, c(1/4, 3/4)))
mu <- median(y.res)
outlier <- abs(y.res - mu) > sigma
cat(sum(outlier), "outliers found.\n")

# Fix up the data (impute the values at the outlying locations).
y.imp <- matrix(predict(fit), nrow=length(rows))
y.imp[outlier] <- y[outlier] - y.res[outlier]

show(y.imp, length(rows), length(cols), main="Imputed")
show(y.real, length(rows), length(cols), main="Real")

Bu makaleye bir göz atmanızı tavsiye ederim [0]. Yazarın önerdiği yöntemin NN-inputation'dan biraz daha rafine edilmesi dışında (başlangıç ​​noktası gibi bir şey kullansa da) ele almayı düşündüğü sorun sizin açıklamanıza çok uygun görünüyor.

$\pmb X$$n$$p$

$k$

Her yinelemenin ilk adımı veri ithalatı adımıdır. Bu EM algoritmasında olduğu gibi yapılır: eksik hücreler olması beklenen değerle doldurulur (bu E-adımıdır).

İki aşamalı yinelemeli prosedürün ikinci bölümünde, önceki adımdan elde edilen arttırılmış verilere (sağlam) bir PCA yerleştirilir. Bu spektral ayrışmasına neden olur$\pmb X$$\pmb t\in\mathbb{R}^p$$p$$k$$\pmb L$$k$$k$$\pmb D$$k\leq p$

Makaleyi özetlemek için, önerdikleri genel algoritma şöyledir:

• $l=0$$\pmb W^0$$\pmb X$

• Sonra yakınsama kadar yapın:

  a. sağlam PCA yapın$\pmb W^l$$(\pmb t^l,\pmb L^l,\pmb D^l)$

  $l=l+1$

  $\pmb Y^{l}=\pmb L^{l-1}(\pmb W^{l-1}-\pmb t^{l-1}) (\pmb L^{l-1})'$

  d. eksik unsurlarını doldurun$\pmb W^{l}$$\pmb W^{l}\sim\mathcal{N}(\pmb t^{l-1},\pmb L^{l-1} \pmb D^{l-1}(\pmb L^{l-1})')$$\pmb Y^{l}$

$||\pmb W^{l-1}-\pmb W^l||_F$$(\pmb t,\pmb L,\pmb D)$

$(\pmb t^{l-1},\pmb L^{l-1} \pmb D^{l-1})$

$\mathcal{N}(\pmb t^{l-1},\pmb L\pmb D(\pmb L)')$

Bu yaklaşım için hazır bir R uygulaması bilmiyorum, ancak alt bileşenlerden (esas olarak sağlam bir PCA algoritması) kolayca üretilebilir ve bunlar R'de iyi uygulanır, rrcov paketine bakın (kağıt bu konuda sessiz bilgilendirici).

• [0] Serneels S. ve Verdonck, T. (2008). Aykırı değerler ve eksik elemanlar içeren veriler için temel bileşen analizi. Hesaplamalı İstatistik ve Veri Analizi cilt: 52 sayı: 3 sayfa: 1712-1727.