Nadir olaylar lojistik regresyon ile başa çıkmak için strateji

Sonlu bir popülasyondaki nadir olayları incelemek istiyorum. Hangi stratejinin en uygun olduğu konusunda emin olamadığım için, bu konuyla ilgili ipuçlarını ve referansları takdir ediyorum, ancak bunun büyük ölçüde kapsandığının farkındayım. Sadece nereden başlayacağımı bilemiyorum.

Benim sorunum siyasal bilimlerden biri ve ben 515,843 kayıttan oluşan sınırlı bir nüfusa sahibim. Bunlar 513,334 "0" s ve 2,509 "1" s ile ikili bağımlı bir değişkenle ilişkilidir. Nüfusun sadece% 0,49'unu oluşturduğu için "1" lerimi nadir görülen olaylar olarak atabilirim.

"1" lerin varlığını açıklamak için bir model oluşturmak istediğim yaklaşık 10 bağımsız değişken setim var. Birçoğumuz gibi, King & Zeng'in 2001'deki ender olayların düzeltilmesiyle ilgili makalesini okudum . Yaklaşımları "0" s sayısını azaltmak için bir vaka kontrol tasarımı kullanmak ve ardından müdahaleye düzeltme uygulamaktı.

Ancak, bu yazı King & Zeng'in argümanının, verilerimi zaten popülasyonun tamamına topladığımda gerekli olmadığını söylüyor . Bu nedenle klasik logit modelini kullanmak zorundayım. Maalesef benim için, önemli katsayılar elde etmeme rağmen, modelim tahmin açısından tamamen işe yaramaz (benim "1" lerimin% 99.48'ini tahmin edemem).

King & Zeng'in makalesini okuduktan sonra, bir kasa kontrol tasarımını denemek istedim ve tüm "1" lerde "0" ın sadece% 10'unu seçtim. Neredeyse aynı katsayılarla, model tam popülasyona uygulandığında "1" lerin neredeyse üçte birini tahmin edebildi. Tabii ki, birçok yanlış pozitif var.

Size sormak istediğim üç sorum var:

1) Eğer King ve Zeng'in yaklaşımı, nüfus hakkında tam bir bilgiye sahip olduğunuzda önyargılıysa, neden konusunu ispatlamak için yazılarındaki popülasyonu bildikleri bir durumu kullanıyorlar?

2) Bir logit regresyonunda iyi ve belirgin katsayılara sahipsem, ancak çok zayıf prediktif gücüm varsa, bu değişken tarafından açıklanan varyasyonun anlamsız olduğu anlamına mı geliyor?

3) Nadir olaylarla başa çıkmak için en iyi yaklaşım nedir? King'in relogit modeli, Firth'ın yaklaşımı, tam logit vb. Hakkında okudum. Tüm bu çözümler arasında kaybolduğumu itiraf etmeliyim.

(1) “Nüfus hakkında tam bir bilgiye sahipseniz” neden tahmin yapmak için bir modele ihtiyacınız var? Sana dolaylı varsayımsal bir örnek olarak onları düşünüyorsanız şüpheli süper nüfus görülmesi buraya & buraya . Öyleyse, örneklerinden gözlemler atmalısın? Hayır. King & Zeng bunu savunmaz:

[...] uluslararası ilişkiler gibi alanlarda, gözlemlenebilir 1'lerin sayısı (savaşlar gibi) kesinlikle sınırlıdır, bu nedenle çoğu uygulamada mevcut tüm 1'leri veya bunlardan büyük bir örneklerini toplamak en iyisidir. O zaman tek gerçek karar ne kadar 0 toplayacağımızdır. Eğer 0'ları toplamak masrafsızsa, daha fazla veri her zaman daha iyi olduğundan, alabildiğimiz kadar toplamalıyız.

$Y$

(2) Buradaki ana sorun , modelinizin öngörücü performansını değerlendirmek için uygun olmayan bir puanlama kuralının kullanılmasıdır . Modelinizin doğru olduğunu varsayalım , böylece herhangi bir birey için nadir bir olayın olasılığını biliyorsunuzdur - gelecek ay bir yılan tarafından ısırıldığını söyleyin. Keyfi bir olasılık kesintisini belirleyerek ve üstündekilerin ısırılacağını ve altındakilerin olmayacağını tahmin ederek daha ne öğrenirsiniz? % 50'lik bir indirim yaparsanız, kimsenin ısırılmayacağını tahmin edersiniz. Yeterince düşük yaparsanız herkesin ısırılacağını tahmin edebilirsiniz. Ne olmuş yani? Bir modelin mantıklı bir şekilde uygulanması ayrımcılığa ihtiyaç duyar - kim bir zehirlenme karşıtı tek şişe? - veya kalibrasyon - kimin için yılan ısırmasına göre maliyeti göz önüne alındığında, bot satın almaya değer?

Bir düzeyde, modelinizin yanlışlığının ne kadarının sadece sürecinizin tahmin edilmesi zor olduğunu ve değişkenlerinizin bunu yapması için yeterli olmadığını merak ediyorum. Daha fazla açıklayabilecek başka değişkenler var mı?

Öte yandan, bağımlı değişkeninizi sayım / sıralı bir sorun olarak kullanabiliyorsanız (çatışmadan kaynaklanan kayıplar veya çatışma süresi gibi), sıfır şişirilmiş sayım regresyonu veya engel modelleri deneyebilirsiniz. Bunlar 0 ile 1 arasında aynı kötü tanım sorununa sahip olabilir, ancak değişkenlerinizle ilişkilendirilen bazı çatışmalar sıfırdan uzaklaşabilir.

Çoğunluk nüfusun alt örneklemesine ek olarak, nadir olayların da üstesinden gelebilirsiniz, ancak azınlık sınıfının aşırı örneklemesinin aşırı yüklenmeye yol açabileceğinin farkında olun, bu yüzden işleri dikkatlice kontrol edin.

Bu makale bu konuda daha fazla bilgi verebilir: Yap, Bee Wah, et al. "Dengesiz Veri Kümelerinin Kullanılmasında Bir Örnekleme, Örnekleme, Paketleme ve Yükseltme Uygulaması". pdf

Ayrıca, ben bağlamak istiyorum bu soruyu o yanı aynı sorunu anlatılır beri

Sorunuz daha iyi bir çözüm bulmak için logit regresyonunu nasıl koaksiye edebilirim? Ama daha iyi bir çözüm olduğuna emin misin? Sadece on parametre ile daha iyi bir çözüm bulabildiniz mi?

Örneğin girişte ürün terimleri ekleyerek veya hedef tarafa bir maks-out katmanı ekleyerek daha karmaşık bir model deneyeceğim (böylece hedef 1'lerin uyarlanabilir şekilde keşfedilmiş çeşitli alt kümeleri için temelde çoklu lojistik regülatörleriniz olacaktır).

Harika soru

Aklıma göre, sorun çıkarım yapmaya çalışıp çalışmayacağınız (katsayılarınızın size ne söylediğiyle ilgileniyor musunuz?) Ya da tahmin. İkincisi ise, o zaman tahminden kesin olarak logit'ten daha iyi bir iş çıkaracak olan Machine Learning'den (BART, randomForest, artırılmış ağaçlar vb.) Ödünç alabilirsiniz. Çıkarım yapıyorsanız ve çok fazla veri noktanız varsa, daha sonra hassas etkileşim terimleri, polinom terimleri vb. Dahil etmeyi deneyin. Alternatif olarak, bu yazıda olduğu gibi BART'dan çıkarım yapabilirsiniz:

http://artsandsciences.sc.edu/people/kernh/publications/Green%20and%20Kern%20BART.pdf

Son zamanlarda nadir olaylar hakkında bazı çalışmalar yapıyorum ve daha önce nadir görülen vakaların analizi nasıl etkileyebileceği hakkında hiçbir fikrim yoktu. 0 vakalarını aşağı örnekleme bir zorunluluktur. İdeal aşağı örnekleme oranını bulmak için bir strateji

1. Tüm 1'lerini al, diyelim ki n1 tane var.
2. Bazı değerleri ayarlayın z = çizeceğiniz n1'in katı; belki 5'den başlar ve 1'e düşer.
3. z * n1 0 gözlemi çiz
4. Veri kümenizin tümünde çapraz doğrulama yaptığınızdan emin olarak, modelinizi alt küme verilerinizin bir örneğinde tahmin edin
5. İlgilendiğiniz ilgili uygun önlemleri kaydedin: ilgilenilen katsayılar, bir ROC eğrisinin AUC'si, bir karışıklık matrisindeki ilgili değerler, vb.
6. Art arda daha küçük z'ler için 2: 5 adımlarını tekrarlayın. Büyük olasılıkla, aşağı örneklemede, yanlış-negatif / yanlış pozitif oranının (test setinizde) azalacağını göreceksiniz. Yani, daha çok 1s tahmin etmeye başlayacaksınız, umarım gerçekten 1s, ama aynı zamanda aslında 0s'dır. Bu yanlış sınıflandırmada bir eyer noktası varsa, bu iyi bir aşağı örnekleme oranı olacaktır.

Bu yardımcı olur umarım. JS