Sıfırlar dahil olmak üzere negatif olmayan verileri nasıl dönüştürmeliyim?

Olumlu verilerim çok eğrilmişse, genellikle günlükleri alırım. Fakat sıfır içeren, eğri, negatif olmayan verilerle ne yapmalıyım? Kullanılan iki dönüşüm gördüm:

• ile eşleşen düzgün bir özelliğe sahip olan log ( x + 1 ) .$\log(x+1)$
• burada c tahmin edilir veya çok küçük bir pozitif değer olarak ayarlanır.$\log(x+c)$

Başka yaklaşımlar var mı? Bir yaklaşımı diğerlerine tercih etmenin iyi bir nedeni var mı?

Bana göre, en uygun dönüşüm seçiminin model ve bağlam üzerinde olması şart.

'0' noktası, her biri farklı şekilde ele alınması gereken çeşitli nedenlerden kaynaklanabilir:

• Kısaltma (Robin örneğinde olduğu gibi): Uygun modeller kullanın (örneğin, karışımlar, hayatta kalma modelleri vb.)
• Eksik veriler: Uygunsa verileri / Bırakma gözlemlerini uygulayın.
• Doğal sıfır noktası (örneğin, gelir düzeyleri; işsiz bir kişinin sıfır geliri var): Gerektiği gibi dönüştürün
• Ölçüm cihazının hassasiyeti: Belki de verilere küçük bir miktar ekler misiniz?

Sıfırlarınız olduğunda evrensel, “doğru” bir dönüşüm olmadığından şüphelendiğimden gerçekten bir cevap vermiyorum.

Hiç kimse ters hiperbolik sinüs dönüşümünden bahsetmedi. Yani bütünlüğü için buraya ekliyorum.

Bu Box-Cox dönüşümü için bir alternatif ve şu şekilde tanımlanmıştır nerede θ > 0 . Herhangi bir θ değeri için sıfır, sıfıra eşlenir. İki parametreli BC dönüşümünde olduğu gibi kaymaya izin veren iki parametreli bir versiyon da vardır.

IHS dönüşümü, negatif değerler ve sıfırlar da dahil olmak üzere tüm gerçek satırda tanımlanan verilerle çalışır. Büyük değerleri için ne olursa olsun değerinin, bir log gibi davranır İçeride ISTV melerin RWMAIWi'nin (0 hariç). Olarak sınırlayıcı durumda İçeride ISTV melerin RWMAIWi'nin → 0 verir f ( y , θ ) → y .$y$$\theta$$\theta\rightarrow0$$f(y,\theta)\rightarrow y$

Bana öyle geliyor ki, IHS dönüşümünün olduğundan daha iyi bilinmesi gerekiyor.

Değişken regresyonda bağımsız bir faktör olarak kullanıldığında yararlı bir yaklaşım, onu iki değişkenle değiştirmektir: biri sıfır olup olmadığını, diğeri ise orijinal değişkenin değeri mi yoksa yeniden ifadesinin mi olduğu logaritması gibi. Bu teknik Hosmer ve Lemeshow'un lojistik regresyon kitabında (ve başka yerlerde eminim) tartışılmaktadır . Orijinal değişkenin pozitif kısmının kesilmiş olasılık grafikleri, uygun bir yeniden ifadeyi tanımlamak için yararlıdır. ( Örnekler için https://stats.stackexchange.com/a/30749/919 adresindeki analize bakınız .)

Değişken lineer bir modelde bağımlı olan olduğunda, sansürlü regresyon ( Tobit gibi ) faydalı olabilir ve tekrar başlatılan logaritma ihtiyacını ortadan kaldırabilir. Bu teknik ekonometristler arasında yaygındır.

Vardiyalı kütük dönüşümleri Box-Cox dönüşümlerinin özel durumlarındandır :

$y(\lambda_{1}, \lambda_{2}) = \begin{cases} \frac {(y+\lambda_{2})^{\lambda_1} - 1} {\lambda_{1}} & \mbox{when } \lambda_{1} \neq 0 \\ \log (y + \lambda_{2}) & \mbox{when } \lambda_{1} = 0 \end{cases}$

Bunlar negatif değerler için genişletilmiş formlardır, ancak sıfır içeren veriler için de geçerlidir. Box ve Cox (1964), için maksimum olasılık kullanarak uygun değerleri bulmak için bir algoritma sunmaktadır . Bu size nihai dönüşümü sağlar. $\lambda$

Box-Cox dönüşümlerini tercih etmenin bir nedeni, lineer model için varsayımları sağlamak üzere geliştirilmeleridir. Verileriniz normale dönüştürülemese bile, tahmini hala simetrik bir dağılıma yol açtığını göstermek için yapılan bazı çalışmalar var .$\lambda$

Bunun sizin verilerinize ne kadar iyi hitap ettiğinden emin değilim, çünkü sadece sizin belirttiğiniz log dönüşümü olan olabilir, ancak başka bir dönüşümün gerçekleşip gerçekleşmediğini görmek için gerekli λ değerlerini tahmin etmeye değer olabilir uygun.$\lambda = (0, 1)$$\lambda$

R'de, boxcox.fitpaketteki işlev geoRsizin için parametreleri hesaplar.

Tamamen farklı bir soru olduğu için bu sıfır!

Çoklu doğrusal regresyonda sıfırlarla nasıl baş edileceğini düşünürken, gerçekte kaç tane sıfırımız olduğunu düşünmeye meyilliyim.

Sadece birkaç tane sıfır

Oldukça geniş bir veri kümesinde tek bir sıfıra sahipsem:

1. Noktayı kaldırın, kütükleri alın ve modele uyun
2. $c$

$c$

Bu prosedürü biraz daha az kaba yapabilir ve arco'nun cevabında açıklanan vardiya ile boxcox yöntemini kullanabilirsiniz.

Çok sayıda sıfır

Veri setimde çok sayıda sıfır varsa, bu, basit doğrusal regresyonun iş için en iyi araç olmadığını gösterir. Bunun yerine, karışım modellemesi gibi bir şey kullanırdım (Srikant ve Robin tarafından önerildiği gibi).

Hızlı ve kirli bir şey istiyorsanız neden kare kök kullanmıyorsunuz?

Sürekli verileriniz olduğunu varsayıyorum.

Veri eklerseniz sıfırları bu size bazı verilerin özel yönüne bağlı olabilir sıfıra sayısında ani bir artış anlamına geliyor. Örneğin rüzgar enerjisinde, 2 m / s'nin altındaki rüzgar sıfır güç üretiyor (buna kesme denir) ve rüzgârın üstündeki (yaklaşık bir şey) 25 m / s de sıfır güç üretiyor (güvenlik nedeniyle kesme denir) . Üretilen rüzgar enerjisinin dağılımı sürekli gözükse de, sıfırda bir yükselme var.

Benim çözümüm: Bu durumda, sıfırın başak bir karışımıyla ve sürekli dağılımın bir bölümü için kullanmayı planladığınız modeli (westo) kullanarak çalışarak sıfırları ayrı ayrı ele almanızı öneririm.

@RobHyndman tarafından verilen cevap ile formdaki negatif değerlere uzatılmış log-plus-one dönüşümünün karşılaştırılması:

r = -1000:1000

l = sign(r)*log1p(abs(r))
l = l/max(l)
plot(r, l, type = "l", xlab = "Original", ylab = "Transformed", col = adjustcolor("red", alpha = 0.5), lwd = 3)

#We scale both to fit (-1,1)
for(i in exp(seq(-10, 100, 10))){
  s = asinh(i*r)

  s = s / max(s)
  lines(r, s, col = adjustcolor("blue", alpha = 0.2), lwd = 3)
}
legend("topleft", c("asinh(x)", "sign(x) log(abs(x)+1)"), col = c("blue", "red"), lty = 1)

$\theta$$\theta \approx 1$$\theta \rightarrow 0$

$\theta$$x=0$

İki parametreli fit Box-Cox önerildiği için, burada girdi verilerine uyması için bazı R'ler, üzerinde rasgele bir işlev çalıştırması (örneğin, zaman serisi tahmini) ve sonra ters çevrilmiş çıkışı döndürür:

# Two-parameter Box-Cox function
boxcox.f <- function(x, lambda1, lambda2) {
  if (lambda1!=0) {
    return(((x + lambda2) ^ lambda1 - 1) / lambda1)
  } else {
    return(log(x + lambda2))
  }
}

# Two-parameter inverse Box-Cox function
boxcox.inv <- function(x, lambda1, lambda2) {
  if (lambda1!=0) {
    return((lambda1 * x + 1) ^ (1 / lambda1) - lambda2)
  } else {
    return(exp(x) - lambda2)
  }
}

# Function to Box-Cox transform x, apply function g, 
# and return inverted Box-Cox output y
boxcox.fit.apply <- function(x, g) {
  require(geoR)
  require(plyr)

  # Fit lambdas
  t <- try(lambda.pair <- boxcoxfit(x, lambda2=T)$lambda)

  # Estimating both lambdas sometimes fails; if so, estimate lambda1 only
  if (inherits(t, "try-error")) {
    lambda1 <- boxcoxfit(x)$lambda
    lambda2 <- 0
  } else {
    lambda1 <- lambda.pair[1]
    lambda2 <- lambda.pair[2]
  }
  x.boxcox <- boxcox.f(x, lambda1, lambda2)

  # Apply function g to x.boxcox. This should return data similar to x (e.g. ts)
  y <- aaply(x.boxcox, 1, g)

  return(boxcox.inv(y, lambda1, lambda2))
}

Y’nin her bir Amerikan’ın belirli bir yılda yeni bir arabaya harcadığı para olduğunu düşünün (toplam satın alma fiyatı). Y 0'da yükselir; 0 ila yaklaşık 12,000 arasında hiçbir değere sahip olmayacak; ve çoğunlukla gençlerin, yirmili ve otuzlu yaşların diğer değerlerini alacaktır. Öngörüler, böyle bir satın alma işlemi yapmak için ihtiyaç ve / veya ilgi seviyesi için vekiller olacaktır. Alım yapmayan bireyler için ihtiyaç veya ilginin sıfır olduğu söylenemez; Bu ölçeklerde, satın almayanlar, alıcılara Y'den daha yakın olacaklar, hatta Y'nin bilediği gibi. Buna benzer ancak sağlık bakımında böyle bir durumda, test seti / eğitim seti çapraz değerlemesi ile değerlendirilen en doğru tahminlerin artan sırada elde edildiğini buldum.

1. Y'nin ikili versiyonunda lojistik regresyon,
2. Y'deki OLS,
3. Y üzerindeki Ordinal regresyon (PLUM) 5 kategoride (alıcıları 4 eşit büyüklükte gruba ayırmak için),
4. Y üzerindeki multinomyal lojistik regresyon 5 kategoriye ayrılmıştır,
5. Y'nin (10) kütüğündeki OLS (küp kökünü denemeyi düşünmedim) ve
6. Y üzerindeki OLS, 5 kategoriye ayrılmıştır.

Bazıları, sürekli bağımlı bir değişkenin sınıflandırılmasında geri tepecektir. Ancak bazı bilgileri feda etse de, kategorilere ayırmak durumun altta yatan önemli bir yönünü eski haline getirerek yardımcı oluyor gibi görünüyor - yine, "sıfırların" geri kalanına Y'nin gösterdiğinden çok daha fazla benzer olması.

Burada tartışılan Yeo-Johnson güç dönüşümü , Box Cox güç dönüşümünün gücünden yararlanırken sıfırları ve negatifleri ele almak için tasarlanmış mükemmel özelliklere sahiptir. Sıfırlar veya negatif verilerle uğraşırken genellikle buna giderim.

Yeo-Johnson'ın neden tercih edildiğini göstermek için artıları / eksileri olan dönüşümlerin bir özetini burada bulabilirsiniz.

Giriş

Artıları: Olumlu verilerle iyi yapar.

Eksileri: Sıfırları işlemez.

> log(0)
[1] -Inf

Günlük Artı 1

Artıları: Artı 1 ofseti, pozitif verilere ek olarak sıfırları kullanma yeteneği sağlar.

Eksileri: Olumsuz verilerle başarısız

> log1p(-1)
[1] -Inf
> log1p(-2)
[1] NaN
Warning message:
In log1p(-2) : NaNs produced

Kare kök

Artıları: Sıfırları ve pozitif verileri işleyebilecek bir güç dönüşümü kullanır.

Eksileri: Olumsuz verilerle başarısız

> sqrt(-1)
[1] NaN
Warning message:
In sqrt(-1) : NaNs produced

Kutu Cox

R Kodu:

box_cox <- function(x, lambda) {

    eps <- 0.00001
    if (abs(lambda) < eps)
        log(x)
    else
        (x ^ lambda - 1) / lambda

}

Artıları: Ölçekli güç dönüşümleri sağlar

Eksileri: Sıfırlar ve negatiflerle ilgili sorunlardan muzdarip (yani sadece pozitif verileri idare edebilir).

> box_cox(0, lambda = 0)
[1] -Inf
> box_cox(0, lambda = -0.5)
[1] -Inf
> box_cox(-1, lambda = 0.5)
[1] NaN

Yeo Johnson

R Kodu:

yeo_johnson <- function(x, lambda) {

    eps <- .000001
    not_neg <- which(x >= 0)
    is_neg  <- which(x < 0)

    not_neg_trans <- function(x, lambda) {
        if (abs(lambda) < eps) log(x + 1)
        else ((x + 1) ^ lambda - 1) / lambda
    }

    neg_trans <- function(x, lambda) {
        if (abs(lambda - 2) < eps) - log(-x + 1)
        else - ((-x + 1) ^ (2 - lambda) - 1) / (2 - lambda)
    }

    x[not_neg] <- not_neg_trans(x[not_neg], lambda)

    x[is_neg] <- neg_trans(x[is_neg], lambda)

    return(x)

}

Artıları: Olumlu, sıfır ve olumsuz verileri işleyebilir.

Eksileri: Hiç düşünemiyorum. Özellikler Box-Cox'a çok benzer, ancak sıfır ve negatif verileri işleyebilir.

> yeo_johnson(0, lambda = 0)
[1] 0
> yeo_johnson(0, lambda = -0.5)
[1] 0
> yeo_johnson(-1, lambda = 0.5)
[1] -1.218951

Regresyon modellerinde sıfır kütüğüyle nasıl başa çıkılacağına açıklık getirmek için, insanların pratikte yaptıkları en iyi çözümü ve ortak hataları açıklayan bir pedagojik makale yazdık. Ayrıca, bu sorunla başa çıkmak için yeni bir çözüm bulduk.

Makaleyi buraya tıklayarak bulabilirsiniz: https://ssrn.com/abstract=3444996

$\log(y) = \beta \log(x) + \varepsilon$$\beta$$y$$x$

$Y$$Y + c > 0$

Makalemizde, çok küçük sabitleri eklemenin aslında en yüksek önyargıyı sağladığı bir örnek veriyoruz. Önyargı ifadesinin türetilmesini sağlıyoruz.

Aslında, Poisson Sözde Maksimum Olabilirlik (PPML) bu konuda iyi bir çözüm olarak kabul edilebilir. Bir aşağıdaki süreci göz önünde bulundurmalıdır:

$y_i = a_i \exp(\alpha + x_i' \beta)$$E(a_i | x_i) = 1$

$\beta$$a_i$$y_i = 0$$E(a_i|x_i) = 1$$E( y_i - \exp(\alpha + x_i' \beta) | x_i) = 0$

$\sum_{i=1}^N ( y_i - \exp(\alpha + x_i' \beta) )x_i' = 0$

$y_i = 0$

$\beta$

$\log( y_i + \exp (\alpha + x_i' \beta)) = x_i' \beta + \eta_i$

Bu tahmin edicinin tarafsız olduğunu ve herhangi bir standart istatistiksel yazılım ile GMM ile tahmin edilebileceğini gösteriyoruz. Örneğin, Stata ile yalnızca bir kod satırı yürütülerek tahmin edilebilir.

Bu makalenin yardımcı olacağını umarız ve sizden geri bildirim almak isteriz.

Christophe Bellégo ve Louis-Daniel Pape CREST - Ekolojik Politeknik - ENSAE