İkili ve sürekli yanıtı birleştirmenin en iyi yolu

Bir tahsilat ajansı için ödeme tutarını tahmin etmenin en iyi yolunu bulmaya çalışıyorum. Bağımlı değişken yalnızca bir ödeme yapıldığında sıfır değildir. Anlaşılır şekilde, çok sayıda sıfır var, çünkü çoğu insana ulaşılamıyor veya borcu geri ödeyemiyor.

Ayrıca borç tutarı ile ödeme yapma olasılığı arasında çok güçlü bir negatif korelasyon vardır. Tipik olarak, ödeme / ödeme yapmama olasılığını tahmin etmek için lojistik bir model yaratacağım, ancak bunun en düşük bakiyeye sahip insanları bulmanın talihsiz bir sonucu var.

Lojistik bir ödeme / ödeme dışı modeli, ödeme tutarını tahmin eden ayrı bir modelle birleştirmenin bir yolu var mı?

Gui11aume'un iki aşamalı bir model oluşturma fikri, doğru yoludur, ancak, borç tutarınız ile ödeme yapma olasılığı arasındaki çok güçlü negatif korelasyon olan kurulumunuzun özel zorluklarını düşünmek gerekir.

Burada iki aşamalı bir model oluşturmanın temel sorunu, ikinci modelin (borcun tahmini için), yalnızca "sıfır olmayanlar" üzerine inşa edildiğinde , nüfusun büyük olasılıkla rastgele olmayan bir örneği üzerine inşa edilmesidir ( yani tüm veri kümesi), ancak birleşik model tekrar tüm popülasyona uygulanmalıdır . Bu, ikinci modelin verilerin daha önce hiç görmediği kısımları için tahminlerde bulunması gerektiği anlamına gelir ve bu da doğruluk kaybına yol açar. Buna Örnek Seçim Yanlılığı denir (ML perspektifinden genel bir bakış için Smith ve Elkan'ın Reddetme Çıkarması için Bayes Ağı Çerçevesi öneririm ).

KDD-Cup-98 tek bir gazileri organizasyon için bir donör olasılıkla tekrar bağış ve ne kadar muhtemelen bağış olup olup olmadığını tahmin etmelidir benzer konuyla ilgilenmiştir. Bu veri kümesinde, tekrar bağış yapma olasılığı da beklenen para miktarı ile negatif korelasyon göstermiştir. Örnek Seçim Yanlılığı da ortaya çıktı.

Beni en çok etkileyen çözüm , Bianca Zadrozny ve Charles Elkan tarafından Maliyetler ve Olasılıkların Bilinmediği Durumlarda Öğrenme ve Karar Verme konusunda bulunabilir . Heckman düzeltmesine dayanan , bence (örnek) seçim yanlılığını düzeltmek için ilk sistematik yaklaşım olan maliyete duyarlı bir çözüm oluşturdular .

Bu çok güzel bir soru (+1).

Neden 0'lara NA'larmış gibi davranmıyorsunuz?

Herhangi bir paranın geri kazanılıp kazanılmadığını belirten bir kukla yanıt ekleyebilir ( yani değer 0 olduğunda 0'a ve değer pozitif olduğunda 1'e eşit) ve bu ikili yanıta aynı öngörücülerle bir lojistik model sığdırabilirsiniz. İki modele uyuyorsunuz: tüm veri noktalarını kullanan ikili yanıt ve yalnızca sıfır olmayan veri noktalarını kullanan sürekli yanıt (0'ı NA olarak işleme fikri doğrultusunda).

Yine de her modeldeki parametrelerin geçersizliğini test edebilir ve her iki parametre setini kullanarak beklenen kazancı hesaplayabilirsiniz.