Negatif-binom GLM ve sayım verileri için log dönüşümü: artan Tip I hata oranı


18

Bazılarınız bu güzel makaleyi okumuş olabilir:

O'Hara RB, Kotze DJ (2010) Sayım verilerini günlüğe kaydetmeyin. Ekoloji ve Evrimde Yöntemler 1: 118-122. tıklayın .

Araştırma alanımda (ekotoksikoloji) kötü çoğaltılmış deneylerle uğraşıyoruz ve GLM'ler yaygın olarak kullanılmıyor. Bu yüzden O'Hara & Kotze (2010) ile benzer bir simülasyon yaptım, ancak ekotoksikolojik verileri taklit ettim.

Güç simülasyonları :

Bir kontrol grubu ( ) ve 5 tedavi grubu ( μ 1 - 5 ) ile faktöriyel bir tasarımdan veri simülasyonu yaptım . Tedavi 1'deki bolluk kontrole özdeşti ( μ 1 = μ c ), tedavi 2-5'teki bolluk kontroldeki bolluğun yarısı idi ( μ 2 - 5 = 0.5 μ c ). Simülasyonlar için örneklem büyüklüğünü (3,6,9,12) ve kontrol grubundaki bolluğu (2, 4, 8, ..., 1024) değiştirdim. Sabit dağılım parametresi ile negatif binom dağılımlarından bolluk çekildi ( θ = 3.91μcμ15μ1=μcμ25=0.5μcθ=3.91). 100 veri kümesi oluşturuldu ve negatif bir binom GLM ve bir gauss GLM + log dönüştürülmüş veri kullanılarak analiz edildi.

Sonuçlar beklendiği gibi: GLM, özellikle çok fazla hayvan örneklenmediğinde daha fazla güce sahiptir. resim açıklamasını buraya girin Kod burada.

Tip I Hatası :

Sonra bir tür hataya baktım. Simülasyonlar yukarıdaki gibi yapıldı, ancak tüm gruplar aynı bolluğa sahipti ( ).μc=μ1-5

Bununla birlikte, sonuçlar beklendiği gibi değildir: resim açıklamasını buraya girin Negatif binom GLM, LM + transformasyonuna kıyasla daha büyük bir Tip-I hatası gösterdi. Beklendiği gibi fark artan numune boyutuyla ortadan kalktı. Kod burada.

Soru:

Neden lm + dönüşümüne kıyasla daha yüksek Tip-I Hatası var?

Verilerimiz zayıfsa (küçük örnek boyutu, düşük bolluk (birçok sıfır)), o zaman lm + dönüşümü kullanmalı mıyız? Küçük numune boyutları (tedavi başına 2-4) bu tür deneyler için tipiktir ve kolayca arttırılamaz.

Olmasına rağmen, neg. çöp Kutusu. GLM bu veriler için uygun olarak gerekçelendirilebilir, lm + dönüşümü tip 1 hatalarımızı önleyebilir.


1
Ana sorunuza bir cevap değil, okuyucuların dikkat etmesi gereken bir şey: iki prosedür için gerçek tip I hata eşdeğerini yapmazsanız, gücü karşılaştırmak mantıklı değildir; Tip I hatasını kaldırarak gücü her zaman alt olan için daha yüksek yapabilirim (bu durumda alma günlükleri ve normal olana sığar). Öte yandan, belirli bir durumu (örnek boyutu, bolluk) belirtirseniz, tip I hata oranını (örn. Simülasyonla) alabilirsiniz ve bu nedenle istenen tip I hata oranını elde etmek için hangi nominal hızda test edileceğini öğrenin. böylece güçleri karşılaştırılabilir hale gelir.
Glen_b

Grafiklerinizdeki y ekseni değerlerinin 100 veri kümesinde ortalaması alınmış mı?
shadowtalker

Yorumumu açıklığa kavuşturmalıyım: istatistiklerin doğası gereği ayrık olduğu durumlarda, tip I hata oranının mükemmel kontrolüne sahip değilsiniz, ancak genellikle tip I hata oranlarını oldukça yakın yapabilirsiniz. Bunları karşılaştırılabilir olacak kadar birbirine yaklaştıramadığınız durumlarda, onları karşılaştırılabilir yapmanın tek yolu randomize testlerdir.
Glen_b

@ ssdecontrol: Hayır, bu sadece p < α
EDi

1
İki sorun vardır: (i) yaklaşımların asimptotik olması ve sonsuz olmamasıdır, bu nedenle yaklaşıklık sadece bir yaklaşımdır - bu, ayrıklık olup olmadığı meselesi olacaktır ve bir önem seviyesine yol açacaktır nominal olandan başka (ancak sürekli ise ayarlayabileceğiniz bir şey); (ii) buna uyarlanırsanız kesin bir önem düzeyi elde etmenizi engelleyen bir gizlilik sorunu vardır. n
Glen_b

Yanıtlar:


17

Bu çok ilginç bir problem. Kodunuzu inceledim ve hemen belirgin bir yazım hatası bulamıyorum.

θθdrop1

Doğrusal modeller için yapılan çoğu test, modeli sıfır hipotezi altında yeniden hesaplamanızı gerektirmez. Bunun nedeni, sadece alternatif hipotez altında parametre tahminlerini ve tahmini kovaryansı kullanarak geometrik eğimi (skor testi) hesaplayabilir ve genişliği (Wald testi) yaklaşık olarak tahmin edebilmenizdir.

Negatif binom doğrusal olmadığından, boş bir modele uymanız gerektiğini düşünüyorum.

DÜZENLE:

Kodu düzenledim ve aşağıdakileri aldım: resim açıklamasını buraya girin

Düzenlenmiş kod burada: https://github.com/aomidpanah/simulations/blob/master/negativeBinomialML.r


Ama düşünüyorum drop1() yapar ... boş modelini-sığacak yeniden içten
Ben Bolker

4
glm.nbθdrop1logLikgetS3method('logLik', 'negbin'

tekrar + 1'lemek istiyorum ama yapamam. Güzel.
Ben Bolker

Teşekkürler! Sadece ikisinin de koduna baktım drop1()ve lrtest(). Haklısın , yanlış sapmayı veren drop1.glmkullanımlar glm.fit. Kullandığımız olamaz farkında değildi drop1()ile glm.nb()!
EDi

Negatif binom modelinde tipik skor ve Wald testleri geçersiz mi?
shadowtalker

8

O'Hara ve Kotze makalesi (Ekoloji ve Evrim Metodları 1: 118-122) tartışma için iyi bir başlangıç ​​noktası değildir. En ciddi endişem, özetin 4. maddesinde yer alan iddiadır:

Dönüşümlerin kötü gerçekleştiğini gördük, ancak. . .. Yarı Poisson ve negatif binom modelleri ... çok az önyargı gösterdi.

λθλ

O'Hara ve Kotze'nin simülasyonları ortalama (log (y + c)) ile tahmin edildiği gibi E (log (y + c)), log (E [y + c]) ile karşılaştırılır. Onların grafikleri negatif bir binomiyi log (y + c) fit ile karşılaştırmak yerine, ortalama (log (y + c)] log (E [y + c]) ile karşılaştırmak.λ

Aşağıdaki R kodu noktayı göstermektedir:

x <- rnbinom(10000, 0.5, mu=2)  
## NB: Above, this 'mu' was our lambda. Confusing, is'nt it?
log(mean(x+1))
[1] 1.09631
log(2+1)  ## Check that this is about right
[1] 1.098612

mean(log(x+1))
[1] 0.7317908

Veya Dene

log(mean(x+.5))
[1] 0.9135269
mean(log(x+.5))
[1] 0.3270837

Parametrelerin tahmin edildiği ölçek çok önemlidir!

λ belki 10 veya daha fazla sıradaysa, standart normal teori kullanılarak log (y + 1) modellemesi için.

Standart tanılamanın bir günlük ölçeğinde (x + c) daha iyi çalıştığını unutmayın. C seçimi çok önemli olmayabilir; genellikle 0.5 veya 1.0 mantıklıdır. Ayrıca Box-Cox dönüşümlerini veya Box-Cox'un Yeo-Johnson varyantını araştırmak için daha iyi bir başlangıç ​​noktasıdır. [Yeo, I. ve Johnson, R. (2000)]. R'nin araç paketindeki powerTransform () yardım sayfasına da bakınız. R'nin gamlss paketi, negatif binom tip I (ortak çeşitlilik) veya II veya dağılımın yanı sıra ortalamayı modelleyen diğer dağıtımların 0 (= log, yani log link) veya daha fazla güç dönüşüm bağlantısı ile sığdırılmasını mümkün kılar . Uyumlar her zaman yakınsak olmayabilir.

Örnek: Ölümler ve Temel Hasar Verileri vs ABD anakarasına ulaşan Atlantik kasırgaları içindir. Veriler, R için DAAG paketinin son sürümünden edinilebilir (ad hurricNamed ) Veriler için yardım sayfasının ayrıntıları vardır.

Sağlam loglinear ve negatif binomiyal uyum

Grafik, sağlam bir doğrusal model oturumu kullanılarak elde edilen bir yerleştirilmiş çizgiyi, log bağlantısı olan bir negatif binomiyal uyumu grafikteki y ekseni için kullanılan log (sayım + 1) ölçeğine dönüştürerek elde edilen eğriyi karşılaştırır. (Aynı grafik üzerinde negatif binomiyal uyumdan noktaları ve takılan "çizgiyi" göstermek için pozitif c ile bir günlük (sayım + c) ölçeğine benzer bir şey kullanması gerektiğini unutmayın.) log ölçeğinde negatif binom uyum için belirgindir. Sağlam doğrusal model uyumu, sayımlar için negatif bir binom dağılımı varsayarsa, bu ölçekte çok daha az önyargılıdır. Doğrusal bir model uyumu klasik normal teori varsayımları altında tarafsız olacaktır. Aslında yukarıdaki grafik olanı ilk oluşturduğumda önyargıları şaşırtıcı buldum! Bir eğri verilere daha iyi uyacaktır, ancak fark, olağan istatistiksel değişkenlik standartlarının sınırları dahilindedir. Sağlam doğrusal model uyumu, ölçeğin alt ucundaki sayımlar için kötü bir iş çıkarır.

Not --- RNA-Seq Verileri ile Çalışmalar: İki model stilinin karşılaştırılması, gen ekspresyon deneylerinden sayım verilerinin analizi için ilgi çekicidir. Aşağıdaki makale, log (sayım + 1) ile çalışan sağlam bir lineer modelin kullanımını negatif binomiyal fitlerin kullanımı ile karşılaştırır (Bioconductor package edgeR'deki gibi) ) karşılaştırmaktadır. Öncelikle akılda tutulan RNA-Seq uygulamasında çoğu sayım, uygun şekilde tartılmış log-lineer modelin son derece iyi çalışmasına yetecek kadar büyüktür.

Hukuk, CW, Chen, Y, Shi, W, Smyth, GK (2014). Voom: Hassas ağırlıklar, RNA-seq okuma sayıları için doğrusal model analiz araçlarının kilidini açar. Genom Biyolojisi 15, R29. http://genomebiology.com/2014/15/2/R29

Not ayrıca son bildiri:

Schurch NJ, Schofield P, Gierliński M, Cole C, Sherstnev A, Singh V, Wrobel N, Gharbi K, Simpson GG, Owen-Hughes T, Blaxter M, Barton GJ (2016). Bir RNA-seq deneyinde kaç biyolojik kopyaya ihtiyaç vardır ve hangi diferansiyel ekspresyon aracını kullanmalısınız? RNA http://www.rnajournal.org/cgi/doi/10.1261/rna.053959.115

Doğrusal modelin limma paketini ( WEHI grubundan edgeR gibi) kullanarak uyması ilginçtir , çoğaltmaların sayısı olduğu gibi birçok çoğaltmanın sonuçlarına göre son derece iyi bir şekilde (önyargıların küçük kanıtlarını gösterme anlamında). azaltmıştır.

Yukarıdaki grafik için R kodu:

library(latticeExtra, quietly=TRUE)
hurricNamed <- DAAG::hurricNamed
ytxt <- c(0, 1, 3, 10, 30, 100, 300, 1000)
xtxt <- c(1,10, 100, 1000, 10000, 100000, 1000000 )
funy <- function(y)log(y+1)
gph <- xyplot(funy(deaths) ~ log(BaseDam2014), groups= mf, data=hurricNamed,
   scales=list(y=list(at=funy(ytxt), labels=paste(ytxt)),
           x=list(at=log(xtxt), labels=paste(xtxt))),
   xlab = "Base Damage (millions of 2014 US$); log transformed scale",
   ylab="Deaths; log transformed; offset=1",
   auto.key=list(columns=2),
   par.settings=simpleTheme(col=c("red","blue"), pch=16))
gph2 <- gph + layer(panel.text(x[c(13,84)], y[c(13,84)],
           labels=hurricNamed[c(13,84), "Name"], pos=3,
           col="gray30", cex=0.8),
        panel.text(x[c(13,84)], y[c(13,84)],
           labels=hurricNamed[c(13,84), "Year"], pos=1, 
           col="gray30", cex=0.8))
ab <- coef(MASS::rlm(funy(deaths) ~ log(BaseDam2014), data=hurricNamed))

gph3 <- gph2+layer(panel.abline(ab[1], b=ab[2], col="gray30", alpha=0.4))
## 100 points that are evenly spread on a log(BaseDam2014) scale
x <- with(hurricNamed, pretty(log(BaseDam2014),100))
df <- data.frame(BaseDam2014=exp(x[x>0])) 
hurr.nb <- MASS::glm.nb(deaths~log(BaseDam2014), data=hurricNamed[-c(13,84),])
df[,'hatnb'] <- funy(predict(hurr.nb, newdata=df, type='response'))
gph3 + latticeExtra::layer(data=df,
       panel.lines(log(BaseDam2014), hatnb, lwd=2, lty=2, 
           alpha=0.5, col="gray30"))    

2
Yorumunuz için teşekkürler Bay Maindonald. Son iki yılda daha fazla makale vardı (hipotez testine, daha sonra önyargıya daha fazla odaklanıyor): Ives 2015, Warton ve ark. 2016, Szöcs 2015.
EDi

belki de bu nokta sorunlu olsa bile tartışma için iyi bir başlangıç ​​noktasıdır ? (Daha genel olarak bunun önyargıya çok fazla odaklanmak için değil, RMSE gibi bir şeyi düşünmek için bir neden olduğunu iddia ediyorum ... [feragat, son zamanlarda bu kağıtları tekrar okumadım ve sadece Warton gazetesi ...]
Ben Bolker

1
Warton ve arkadaşlarının (2016), veri özelliklerinin seçim için temel teşkil etmesi gerektiğine işaret etmek önemlidir. Kuantil-kuantil grafikler, uyumların detaylarını karşılaştırmak için iyi bir yoldur. Özellikle, bir veya diğer veya her iki uçtaki uyum bazı uygulamalar için önemli olabilir. Sıfır şişirilmiş veya engelli modeller, sıfır sayımı doğru yapmak için etkili bir iyileştirme olabilir. Üst uçta, tartışılan modellerin herhangi biri ciddi şekilde tehlikeye girebilir. Warton ve arkadaşlarının övgüye değer bir örneği var. Çok çeşitli ekolojik veri kümeleri arasındaki karşılaştırmaları görmek istiyorum.
John Maindonald

Ancak ekolojik veri kümelerinde alt kısımdaki türler (= nadir türler) ilginç değil mi? Bazı ekolojik veri kümelerini derlemek ve karşılaştırmak çok zor olmamalı ...
EDi

Aslında, hasar kategorisinin alt ucu için, kasırga ölüm verileri için negatif binom modelinin en az tatmin edici olduğu görülmektedir. R'nin gamlss paketi, monte edilen dağıtımın
merkezlerini

6

Orijinal yazı Tony Ives'in makalesini yansıtıyor: Ives (2015) . Anlamlılık testinin parametre tahminine farklı sonuçlar verdiği açıktır.

John Maindonald tahminlerin neden önyargılı olduğunu açıklıyor, ancak arka plandaki cehaleti sinir bozucu - hepimizin kusurlu olduğunu kabul ettiğimiz bir yöntemin kusurlu olduğunu göstermek için bizi eleştiriyor. Birçok ekolog, dönüşümü körü körüne günlüğe kaydediyor ve bununla ilgili sorunları belirtmeye çalışıyorduk.

Burada daha ayrıntılı bir tartışma var: Warton (2016)

Ives, AR (2015), Regresyon katsayılarının önemini test etmek için devam edin ve log-dönüşüm sayımı verileri. Yöntemler Ecol Evol, 6: 828-835. DOI: 10.1111 / 2041-210X.12386

Warton, DI, Lyons, M., Stoklosa, J. ve Ives, AR (2016), Sayım verileri için bir LM veya GLM testi seçerken dikkate alınması gereken üç nokta. Yöntemler Ecol Evol. DOI: 10.1111 / 2041-210X.12552


CV'ye hoş geldiniz. Yararlı olsa da, bu yanıt çoğunlukla "yalnızca bağlantı" türü yanıttır. Bağlantılar değişir ve bağlantısı kesilir. Eğer her birindeki kilit noktalara değinmeniz CV için daha yararlı olacaktır.
Mike Hunter

Yanıt için teşekkürler. Bence Warton ve ark. mevcut tartışma durumunu belirler.
EDi

Teşekkürler hoş geldin! Referansları tam olarak ekleme özgürlüğünü aldım.
Scortchi - Monica'yı eski durumuna döndürün

1
Lütfen yeni referanslarda belirtilen ana noktaları ve bunun mantıklı olduğu yerleri ana hatları ile ilişkilendirin. Bu değerli bir katkıdır, ancak şu anda soruya verilen cevaptan başka bir cevaba yapılan yoruma daha yakındır ( örneğin bağlantılar için bağlam sağlamalıdır ). Birkaç ek bağlam cümlesi göreve önemli ölçüde yardımcı olacaktır.
Glen_b

3
Özellikle, yorumlarım O'Hara ve Kotze gazetesinde 4. noktaya değiniyor: "Dönüşümlerin, zayıf Poisson ve negatif binom modelleri hariç, kötü performans gösterdiğini bulduk." Küçük sapma gösterdi. " Simülasyonlar, oldukça pozitif bir çarpıklık dağılımı için, y ölçeğinde beklenen sayılar (sayımlar) ile log skalasında (y + c) beklenen ortalama arasındaki karşılaştırma hakkında bir yorumdur. Negatif binom parametresi lambda y ölçeğinde, log-normal ortalama log ölçeğinde (y + c) tarafsızdır (bu ölçekte normalin altında).
John Maindonald
Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.