Sıfır şişirilmiş ve engelli modeller arasındaki fark nedir?

81

Sıfır şişirilmiş dağılımlar (modeller) ve sıfır-sıfir dağılımlar (modeller) arasında kesin bir fark olup olmadığını merak ediyorum. Terimler literatürde oldukça sık görülür ve aynı olmadıklarından şüpheleniyorum, ancak aradaki farkı basit terimlerle açıklar mısınız?

zero-inflation

— saklanan kimse
kaynak

80

İlginç soru için teşekkür ederim!

Fark: Standart sayı modellerinin bir sınırlaması, sıfırların ve sıfır olmayanların (pozitiflerin) aynı veri üretme sürecinden geldiği varsayılır. Engelli modellerde , bu iki işlem aynı olmakla sınırlı değildir. Temel fikir, bir Bernoulli olasılığının, bir sayı değişkeninin sıfır veya pozitif bir gerçeklenmesinin olup olmadığının ikili sonucunu yönetmesidir. Gerçekleşme pozitifse, engel aşılır ve pozitiflerin koşullu dağılımı, sıfıra indirilmiş bir sayım veri modeli tarafından yönetilir. Sıfır şişirilmiş modellerdeCevap değişkeni bir Bernoulli dağılımının (veya sıfır noktasında bir nokta kütlesi olarak adlandırılır) ve bir Poisson dağılımının (veya negatif olmayan tamsayılarda desteklenen herhangi bir başka sayı dağılımının) bir karışımı olarak modellenmiştir. Daha fazla detay ve formül için, bakınız, Gurmu ve Trivedi (2011) ve Dalrymple, Hudson ve Ford (2003).

Örnek: Engelli modeller, bireylerin karşılaştığı sıralı karar verme süreçleriyle motive edilebilir. İlk önce bir şey satın almanız gerekip gerekmediğine karar verirsiniz ve daha sonra bu şeylerin miktarına karar verirsiniz (ki bu olumlu olmalı). Bir şeyi satın almaya karar verdikten sonra bir şey satın almaya (veya potansiyel olarak) izin verilmediğinde, sıfır şişirilmiş modelin uygun olduğu durumlara bir örnek. Sıfırlar iki kaynaktan gelebilir: a) satın alma kararı yok; b) satın almak istedi fakat hiçbir şey almadı (örneğin stokta kalmadı).

Beta: Engel modeli, Frees (2011) 'in 16. Bölümünde açıklanan iki parçalı modelin özel bir halidir. Burada, iki parçalı modeller için, kullanılan sağlık hizmeti miktarının bir sayım değişkeninin yanı sıra sürekli olabileceğini göreceğiz. Öyleyse, literatürde kafa karıştırıcı bir şekilde “sıfır şişirilmiş beta dağılımı” olarak adlandırılan şey aslında, aslında bir engel modelinin yukarıdaki tanımına uygun olan iki bölümlü dağılım ve model (aktüerya biliminde çok yaygın) sınıfına aittir. . Bu mükemmel kitap, bölüm 12.4.1'deki sıfır şişirilmiş modelleri ve bölüm 12.4.2'deki engelli modelleri, formüllerle ve aktüerya uygulamalarından örneklerle ele aldı.

Tarihçe: değişken olmayan sıfır şişirilmiş Poisson (ZIP) modelleri uzun bir geçmişe sahiptir (bakınız örneğin, Johnson ve Kotz, 1969). Değişkenleri içeren ZIP regresyon modellerinin genel formu Lambert (1992) 'dir. Engel modelleri ilk önce Kanadalı bir istatistikçi Cragg (1971) tarafından önerildi ve daha sonra Mullahy (1986) tarafından geliştirildi. Pozitif geometrik sayımların Bernoulli işlemi ile birlikte kullanıldığı ve sıfırların egemen olduğu bir tamsayı değerindeki süreci tanımlamak için kullanıldığı Croston'u (1972) düşünebilirsiniz.

R: Son olarak, eğer R kullanırsanız, Simon Jackman'ın Achim Zeileis'in engel () ve zeroinfl () işlevlerini içeren "Siyaset Bilimi Hesaplama Laboratuarında geliştirilen" Sınıflar ve Yöntemler "için paket pscl var .

Yukarıdakileri üretmek için aşağıdaki referanslara başvurulmuştur:

Gürmu, S. & Trivedi, PK Rekreasyon Gezileri için Sayı Modellerinde Aşırı Sıfırlar İşletme ve Ekonomik İstatistikler Dergisi, 1996, 14, 469-477
Johnson, N., Kotz, S., İstatistikte Dağılımlar: Ayrık Dağılımlar. 1969, Houghton MiZin, Boston
Lambert, D., Sıfır-şişirilmiş Poisson regresyonu ile imalattaki kusurlara bir uygulama. Technometrics, 1992, 34 (1), 1-14.
Cragg, JG Dayanıklı Tüketim Ekonomisi Talebine Uygulanan Sınırlı Değişkenler İçin Bazı İstatistiksel Modeller, 1971, 39, 829-844
Mullahy, J. Bazı değiştirilmiş sayım veri modellerinin belirlenmesi ve test edilmesi Journal of Econometrics, 1986, 33, 341-365
Boşaltır, Aktüeryal ve Finansal Uygulamalarla EW Regresyon Modellemesi Cambridge University Press, 2011
Dalrymple, ML; Hudson, IL ve Ford, RPK Sonlu Karışım, Sıfır Şişirilmiş Poisson ve Hurdle modelleri ile SIDS Hesaplamalı İstatistik ve Veri Analizi, 2003, 41, 491-504
Croston, JD Aralıklı Talepler İçin Tahmini ve Stok Kontrolü Operasyonel Araştırmayı Üç Aylık Olarak Sundu, 1972, 23, 289-303

— Kış uykusuna yatan
kaynak

2

O zaman bir engel modeli gerçekten bir "model" mi? Yoksa iki ardışık ve ayrı ayrı tahmin edilen modelleri çalıştırıyor mu? Rekabet gücü puanlarına bakarak (1 - zafer marjı) seçim yarışlarının rekabet edebilirliğini modellemeyi düşünün. Bu sınırlıdır [0, 1), çünkü hiçbir bağ yoktur (örneğin, 1). Böylece önce 0'a (0, 1) analiz etmek için lojistik bir regresyon yaparız. Sonra (0, 1) vakalarını analiz etmek için beta regresyon yapıyoruz. Görünüşe göre bunlar birbirinden tamamen farklı iki model, kendi katsayıları ve ayrı tahminleri var mı? Yoksa bir şey mi kaçırıyorum?

— Mark White,

Örneğin, cevabınızda sıfırların (a) araba satın almamaya karar vermesinden, veya (b) istemek, ancak stokta kalmamasından kaynaklanabileceğini belirtiyorsunuz. Görünüşe göre bir engel modeli, ikisi arasında ayrım yapamazdı, çünkü sırayla yapıldılar ...?

— Mark White,

Başka bir örneği ele alalım: cevaplar [1, 7], geleneksel bir Likert ölçeği gibi, 7'de büyük bir tavan etkisi ile. Biri [7, 7] 'nin lojistik regresyonu olan bir engel modeli ve ardından bir Tobit regresyonu yapabilirdi. Gözlemlenen yanıtların <7 olduğu tüm durumlar için. Yine iki set regresyon katsayısı elde ettik ve bunlar ayrı ayrı tahmin edildi. Görünüşe göre bu süreçleri ortaklaşa modellemiyoruz, iki farklı modelde? Öyleyse, engel aslında bir model midir yoksa sadece iki farklı genelleştirilmiş doğrusal modelin arka arkaya yapılma işlemi midir?

— Mark White,

Bu soruyu kendi yazıma yazdım

— Mark White

47

Engelli modeller, sıfır üretilebilecek yalnızca bir işlem olduğunu varsayırken, sıfır şişirilmiş modeller sıfır üretebilen 2 farklı işlem olduğunu varsayar.

Engelli modeller 2 tür denek varsaymaktadır: (1) sonucu hiç yaşamayanlar ve (2) sonucu her zaman en az bir kere yaşayanlar. Sıfır şişirilmiş modeller, konuları (1) sonucu hiç yaşamayanlar ve (2) sonucu yaşayabilenler, ancak her zaman değil.

Basit bir ifadeyle: Hem sıfır şişirilmiş hem de engelli modeller iki kısımda açıklanmıştır.

Birincisi, ikili bir işlem olan açma-kapama kısmıdır. Sistem olasılıklı "kapalı" ve olasılıklı "açık" . (Burada, , enflasyon olasılığı olarak bilinir.) Sistem "kapalı" olduğunda, sadece sıfır sayım mümkündür. Bu bölüm sıfır şişirilmiş ve engelli modeller için aynıdır. $\pi$ $1-\pi$ $\pi$

İkinci kısım, sistem "açık" olduğunda meydana gelen sayma kısmıdır. Burası sıfır şişirilmiş ve engelli modellerin farklı olduğu yerdir. Sıfır şişirilmiş modellerde, sayımlar hala sıfır olabilir. Engelli modellerde sıfır olmamalıdır. Bu bölüm için, sıfır şişirilmiş modeller "olağan" kesikli olasılık dağılımını kullanırken, engel modeller sıfır kesikli kesikli olasılık dağılım fonksiyonunu kullanır.

Bir engelleme modeli örneği: Bir otomobil üreticisi, otomobilleri için iki kalite kontrol programını karşılaştırmak istiyor. Onları, sunulan garanti taleplerinin sayısına dayanarak karşılaştıracaktır. Her program için, 1 yıl boyunca rastgele seçilen bir dizi müşteri takip edilir ve başvurdukları garanti taleplerinin sayısı sayılır. İki programın her biri için enflasyon olasılıkları karşılaştırılır. “Kapalı” durum “sıfır hak talebinde” bulunurken “açık” durum “en az bir hak talebinde bulunur”.

Sıfır şişirilmiş bir model örneği: Yukarıdaki aynı çalışmada araştırmacılar, otomobillerde yapılan bazı tamir işlemlerinin bir garanti talebinde bulunulmadan düzeltildiğini tespit ettiler. Bu şekilde sıfırlar, kalite kontrol problemlerinin olmayışının ve hiçbir garanti talebinde bulunmayan kalite kontrol problemlerinin varlığının bir karışımıdır. “Kapalı” durum “sıfır talep” anlamına gelirken, “açık” durum “en az bir talepte bulundu VEYA bir talepte bulunmadan onarımların tamir edildiği” anlamına gelir.

Her iki modelin de aynı veri setine uygulandığı bir çalışma için buraya bakınız .

— Darren James
kaynak

Detaylı cevap için teşekkürler. Eklenen sıfırlarla standart beta dağıtımı için uygun terminoloji hakkında bir fikriniz var mı? O sıfır şişirilmiş ... Bu tartışma bakın çağrılamaz böylece sıfır şişirilmiş modellerin sizin tanımını kullanarak, sıfır bir kaynak açıkça orada stats.stackexchange.com/questions/81343/...

— saklanan kimse

2

@Hibernating tarafından önerilen "sıfır eklenen beta dağıtımını" seviyorum

— Darren James

10

ZIP modelinde ve olasılıklı ~ 0 ~ ~ olasılık ile Poisson ( ) dağılımı , dolayısıyla ZIP modeli 2 bileşenli karışım modeli ve: $y_i$ $\pi$ $y_i$ $\lambda$ $1-\pi$

Pr (y_{j} = 0) = π + (1 - π) e^{- λ}

$\Pr (y_j = 0) = \pi + (1 - \pi) e^{-\lambda}$

Pr (y_{j} = x_{i}) = (1 - π) \frac{λ^{x_{i}} e^{- λ}}{x_{i}!}, x_{i} \geq 1

$\Pr (y_j = x_i) = (1 - \pi) \frac{\lambda^{x_i} e^{-\lambda}} {x_i!},\qquad x_i \ge 1$

ve bir engel modelinde olasılığı ile ~ 0 ve ~ kesilmiş Poisson ( ) olasılık ile dağıtım ve: $y_i$ $\pi$ $y_i$ $\lambda$ $1-\pi$

Pr (y_{j} = 0) = π

$\Pr (y_j = 0) = \pi$

Pr (y_{j} = x_{i}) = \frac{(1 - π)}{1 - e^{- λ}} (\frac{λ^{x_{i}} e^{- λ}}{x_{i}!}), x_{i} \geq 1

$\Pr (y_j = x_i) = \frac{(1 - \pi)} {1-e^{-\lambda}} (\frac{\lambda^{x_i} e^{-\lambda}} {x_i!}),\qquad x_i \ge 1$

— Marzieh
kaynak

4

Engelli modeller ile ilgili olarak, Matematiksel ve İstatistiksel Modellemedeki Gelişmelerden bir alıntı (Arnold, Balakrishnan, Sarabia, & Mínguez, 2008):

Engel modeli, engelin altındaki işlem ve yukarıdaki işlem ile karakterize edilir. Açıkçası, en yaygın kullanılan engel modeli, engelleri sıfıra ayarlayan modeldir. Biçimsel olarak, engel-en-sıfır noktalı model olarak ifade edilir: için için $P(N_i=n_i)=f_1(0)$ $n_i=0$ $P(N_i=n_i)=\frac{1-f_1(0)}{1-f_2(0)}f_2(n_i)=\phi f_2(n_i)$ $n_i=1,2,...$

değişkeni , engelleri aşma olasılığı olarak veya daha kesin olarak sigorta durumunda, en az bir hak talebini raporlama olasılığı olarak yorumlanabilir. $\phi$

Sıfır şişirilmiş modellere gelince, Wikipedia diyor ki :

Sıfır şişirilmiş bir model, sıfır şişirilmiş olasılık dağılımına, yani sık sık sıfır değerli gözlemlere izin veren bir dağılıma dayanan istatistiksel bir modeldir.

Sıfır şişirilmiş Poisson modeli, birim zamanda fazla sayım verisi içeren rastgele bir olayla ilgilidir. Örneğin, bir sigorta şirketine belirli bir teminatlı şahıs tarafından yapılan taleplerin sayısı neredeyse her zaman sıfırdır, aksi takdirde önemli zararlar sigorta şirketinin iflas etmesine neden olur. Sıfır şişirilmiş Poisson (ZIP) modeli, iki sıfır üretme işlemine karşılık gelen iki bileşen kullanır. İlk süreç, yapısal sıfırlar üreten bir ikili dağıtım tarafından yönetilir. İkinci süreç, bazıları sıfır olabilen sayıları üreten bir Poisson dağılımına tabidir. İki model bileşeni şöyle tanımlanmaktadır: $^{[1]}$
$Pr (y_{j} = 0) = π + (1 - π) e^{- λ}$ $\Pr (y_j = 0) = \pi + (1 - \pi) e^{-\lambda}$ $Pr (y_{j} = h_{i}) = (1 - π) \frac{λ^{h_{i}} e^{- λ}}{h_{i}!}, h_{i} \geq 1$ $\Pr (y_j = h_i) = (1 - \pi) \frac{\lambda^{h_i} e^{-\lambda}} {h_i!},\qquad h_i \ge 1$ sonuç değişkeni, burada negatif olmayan bir tamsayı değerine sahiptir, beklenen Poisson saymak olan bağımsız inci; , ekstra sıfır olasılığıdır. $y_j$ $\lambda_i$ $i$ $\pi$

Arnold ve meslektaşlarından (2008), sıfırda bir engel modelinin, daha genel bir engel modeli sınıfının özel bir örneği olduğunu görüyorum, ancak Wikipedia'daki bir referanstan ( Hall, 2004 ), bazı sıfır şişirilmiş modeller üst sınırlandırılabilir. Formüllerdeki farkı tam olarak anlayamadım, ancak oldukça benzer görünüyorlar (her ikisi de çok benzer bir örnek kullanıyorlar, sigorta talepleri bile). Umarım diğer cevaplar önemli farkları açıklamaya yardımcı olabilir ve bu cevabın bunlar için aşama hazırlamaya yardımcı olacağını umuyorum.

Wikipedia'nın referansı:

Lambert, D. (1992). Sıfır şişirilmiş Poisson regresyonu, imalat hatalarına karşı bir uygulama ile. Technometrics, 34 (1), 1-14.

— Nick Stauner
kaynak