Nadir olayları nasıl tahmin edebiliriz?

Sigorta riski tahmin modelini geliştirmek için çalışıyorum. Bu modeller, havayolu no-show tahmini, donanım arıza tespiti, vb. Gibi "nadir olaylara" sahiptir. Veri setimi hazırlarken sınıflandırmayı uygulamaya çalıştım, ancak negatif vakaların yüksek oranı nedeniyle yararlı sınıflandırıcılar alamadım .

Bir lise istatistik dersinin ötesinde istatistik ve modelleme verileri konusunda çok fazla deneyimim yok, bu yüzden biraz kafam karıştı.

İlk düşünce olarak, homojen olmayan bir Poisson süreç modeli kullanmayı düşünüyorum. Belirli bir günde, belirli bir günde, belirli bir günde bir risk olasılığının iyi bir tahminini almak için olay verilerine (tarih, lat, lon) göre sınıflandırdım.

Bilmek istiyorum, nadir olayları tahmin etmek için yöntemler / algoritmalar nelerdir?
Bu sorunu çözmek için bir yaklaşım olarak ne öneriyorsunuz?

— user3378649
kaynak

Standart yaklaşım " aşırı değer teorisi " dir, Stuart Coles tarafından konuyla ilgili mükemmel bir kitap vardır (her ne kadar mevcut fiyat oldukça, her ne kadar yanlış olsa da).

Sınıflandırma veya regresyon yöntemlerini kullanarak iyi sonuçlar elde etme olasılığınızın düşük olmasının nedeni, bu yöntemlerin tipik olarak verilerin koşullu ortalamasını tahmin etmeye bağlı olmasıdır ve aşırı olaylara genellikle hepsi aynı yönde hizalanan "rastgele" faktörlerin birleşmesinden kaynaklanır, bu nedenle, koşullu ortalamadan uzun bir yol olan makul sonuçların dağılımının kuyruklarındalar. Yapabileceğiniz şey, sadece ortalamadan ziyade tüm koşullu dağılımı tahmin etmek ve dağıtımın kuyruğunu bir eşiğin üzerine entegre ederek aşırı bir olayın olasılığı hakkında bilgi almaktır. Ağır yağışların istatistiksel olarak küçültülmesine yönelik bir uygulamada bunun işe yaradığını gördüm .

— Dikran Keseli
kaynak

Bu teorinin python üzerinde bir uygulaması var mı?

— user3378649

Maalesef Python'da programlamam (henüz) bu yüzden orada yardım edemem.

— Dikran Marsupial

y

$y$

x_{1}, \dots, x_{n}

$x_1,\dots, x_n$

y > Y_{0}

$y>Y_0$

P (y > Y_{0} | x_{1}, \dots, x_{n})

$P(y>Y_0|x_1,\dots,x_n)$

E (y | x_{1}, \dots, x_{n})

$E(y|x_1,\dots,x_n)$

y > Y_{0}

$y>Y_0$

P (y > Y_{0} | x 1, \dots, x_{n})

$P(y>Y_0|x1,\dots,x_n)$

Evet, bunu yapabilirsiniz, ancak en aza indirdiğiniz maliyet fonksiyonu, dağıtımın kuyruklarını almaya odaklanmaz, bu yüzden ilgilendiğiniz şey varsa, kuyruklardaki olayları daha açık bir şekilde modellemek daha iyidir. .

— Dikran Marsupial