Düşük olay oranlı lojistik regresyon uygulamak

Olay oranının çok düşük olduğu bir veri ( üzerinden 40.000 ). Bunun üzerine lojistik regresyon uyguluyorum. Lojistik regresyonun bu kadar düşük olay oranı verileri üzerinde iyi karışıklık matrisi vermeyeceği biriyle tartıştım. Ancak iş sorunu ve tanımlanma şekli nedeniyle, olay sayısını 40.000'den daha büyük bir sayıya çıkaramıyorum, ancak bazı olmayan nüfusları silebileceğimi kabul ediyorum.$12\cdot10^5$

Lütfen bana bu konudaki görüşlerinizi söyleyin, özellikle:

1. Lojistik regresyonun doğruluğu olay oranına bağlı mı yoksa önerilen herhangi bir minimum olay oranı var mı?
2. Düşük olay hızı verileri için özel bir teknik var mı?
3. Rastgele olmayan popülasyonumu silmek modelimin doğruluğu için iyi olur mu?

İstatistiksel modelleme konusunda yeniyim, bu yüzden cehaletimi affedin ve lütfen aklınıza gelebilecek ilgili sorunları ele alın.

Teşekkürler,

Sorularınızı sırayla cevaplayacağım:

3 Rastgele olmayan popülasyonumu silmek modelimin doğruluğu için iyi olur mu?

Her gözlem parametre hakkında bazı ek bilgiler sağlayacaktır (olabilirlik fonksiyonu aracılığıyla). Bu nedenle, veri silmenin bir anlamı yoktur, çünkü sadece bilgi kaybedersiniz.

1 Lojistik regresyonun doğruluğu olay oranına bağlı mı yoksa önerilen herhangi bir minimum olay oranı var mı?

Teknik olarak, evet: nadir bir gözlem çok daha bilgilendiricidir (yani, olasılık fonksiyonu daha dik olacaktır). Etkinlik oranınız 50:50 ise , aynı miktarda veri için çok daha sıkı güven bantları (veya Bayesian iseniz güvenilir aralıklar) elde edersiniz . Bununla birlikte, etkinlik oranınızı seçemezsiniz (bir vaka kontrolü çalışması yapmadıkça), bu nedenle sahip olduklarınızı yapmak zorunda kalacaksınız.

2 Düşük olay hızı verileri için özel bir teknik var mı?

Ortaya çıkabilecek en büyük sorun mükemmel bir ayrıştırmadır : bazı değişkenler kombinasyonu tüm olayları (veya tüm olayları) verdiğinde olur: bu durumda, maksimum olabilirlik parametresi tahminleri (ve standart hataları) sonsuzluğa yaklaşır (genellikle algoritma önceden duracaktır). İki olası çözüm vardır:

a) yordayıcıları modelden kaldırmak: bu algoritmanızın yakınlaşmasını sağlayacak olsa da, değişkeni en açıklayıcı güçle kaldıracaksınız, bu yüzden sadece modelinizin başlaması için fazla uyuyorsa mantıklıdır (çok fazla karmaşık etkileşime uymak gibi) .

b) tahminleri daha makul değerlere geri çekecek olan önceki dağıtım gibi bir tür ceza kullanmak.

Geçici veya uzamsal veriler için olmayanları silmenin daha iyi bir alternatifi vardır: verilerinizi zaman / mekanda toplayabilir ve sayıları Poisson olarak modelleyebilirsiniz. Örneğin, etkinliğiniz "X. günde volkanik patlama meydana gelirse" ise, pek çok günde volkanik bir patlama olmaz. Ancak, günleri haftalar veya aylar halinde gruplandırırsanız, örneğin "X ayındaki volkanik patlama sayısı" olarak gruplandırırsanız, olay sayısını azaltmış olursunuz ve olayların çoğunun sıfır olmayan değerleri olur.