Lojistik regresyon neden iyi kalibre edilmiştir ve kalibrasyonu nasıl mahvedilir?

Scikit'te olasılık kalibrasyonu ile ilgili belgeleri öğrenirler, lojistik regresyonu diğer yöntemlerle karşılaştırırlar ve rastgele ormanın lojistik regresyondan daha az iyi kalibre edildiğini belirtirler.

Lojistik regresyon neden iyi kalibre edildi? Bir kişi, lojistik regresyonun kalibrasyonunu nasıl mahvedebilir (birinin bir egzersiz olarak istemeyeceği değil)?

Bu soru ve ilk cevabı lojistik regresyon modeli kalibrasyonunun teorik konularına odaklanmış gibi görünse de,

Lojistik regresyonun kalibrasyonunu nasıl mahvedebilir?

bu sayfanın gelecekteki okuyucuları için gerçek dünyadaki uygulamalara dikkat edilmeyi hak ediyor. Lojistik regresyon modelinin iyi tanımlanması gerektiğini ve bu sorunun lojistik regresyon için özellikle sorun yaratabileceğini unutmamalıyız.

İlk olarak, sınıf üyeliğinin log-olasılıkları modele dahil edilen öngörücülerle doğrusal olarak ilişkili değilse, iyi kalibre edilmeyecektir. Harrell'in İkili Lojistik Regresyon hakkındaki 10. bölümü "Model Uyumun Değerlendirilmesi" ne yaklaşık 20 sayfa ayırır, böylece uygulamada @whuber'ın belirttiği gibi "maksimum olabilirlik tahmincisinin asimptotik tarafsızlığından" faydalanabilir.

İkincisi, model spesifikasyonu lojistik regresyonda özel bir konudur, çünkü sıradan lineer regresyonda arka plana sahip olanlar için şaşırtıcı olabilecek doğal bir atlanmış değişken önyargıya sahiptir. Bu sayfa koyduğu gibi:

Atlanan değişkenler, dahil edilen değişkenlerle katsayıları saptırır; atlanan değişkenler, dahil edilen değişkenlerle ilişkilendirilmemiş olsa bile.

Bu sayfa ayrıca, ilgili, analitik olarak izlenebilir probit modelleri için teorik bir açıklama ile, bu davranışın neden bekleneceğine dair yararlı bir açıklamaya sahiptir . Bu nedenle, sınıf üyeliği ile ilgili tüm tahminleri dahil ettiğinizi bilmiyorsanız, uygulamada yanlış tanımlama ve düşük kalibrasyon tehlikeleriyle karşılaşabilirsiniz.

Model spesifikasyonu ile ilgili olarak, bir dizi öngörücü değer aralığında doğrusallık kabul etmeyen ve doğal olarak tahmin ediciler arasında etkileşimler bulma ve dahil etme imkanı sağlayan rastgele orman gibi ağaç tabanlı yöntemlerin daha iyi bir sonuç vermesi oldukça olasıdır. Uygulamada kalibrasyon modeli, etkileşim terimlerini veya doğrusallığı yeterince dikkate almayan bir lojistik regresyon modelinden daha fazladır. Atlanan değişken önyargı ile ilgili olarak, sınıf-üyelik olasılıklarını değerlendirmek için herhangi bir yöntemin bu konuyla yeterince ilgilenip ilgilenemeyeceği açık değildir.

Lojistik regresyon temel olarak bir olasılık fonksiyonunu öğrenen bir sınıflandırma yöntemidir $\pi_\theta(x)$ parametreleri yerleştirerek giriş boşluğunun üzerine $\theta$. Öngörülen olasılıklar uygun kayıp fonksiyonu ile öğrenilirse, lojistik regresyon, yeterli kapasiteye sahip olduğunda (girdi özellikleri) ikili olay olasılıklarının tarafsız bir tahminini öğrenme potansiyeline sahiptir.

Kütük kaybı, bu tür tarafsız tahminlere izin verir. Günlük kaybı işlevinin bir Bernoulli dağılımının negatif günlük olasılığı olduğunu düşünün$z \thicksim \text{Ber}(p)$. İçin maksimum olabilirlik tahmini$p$ değişken için bir dizi gözlem verildiğinde tarafsızdır $z$. Bazı girdi alanlarının sınıflandırılması durumunda$\mathcal{X}$, tüm puanlar için bir Bernoulli dağılımı olduğunu düşünebilirsiniz $\mathcal{X}$. Çoğu zaman, sadece 1 gözleminiz olacak$y_i$ bulunan Bernoulli dağılımı $x_i$. Gözlemlenen tüm Bernoulli dağılımları için müştereken maksimum olasılık tahmini uygulamak$y_i \thicksim \text{Ber}(\pi(x_i))$ çeşitli kısıtlamalar uygulayacak $\pi_\theta$. Tüm bu kısıtlamalar, tarafsız tahminlere ve işlev$\pi_\theta$ gerçek altta yatan olasılık işlevine uyacak şekilde yeterince esnektir $\pi^*$, öğrenim prosedürü tutarlıdır ve daha fazla veri aldıkça en uygun modele yakınlaşır. Bu nedenle, model kapasitesini sınırlamak (örneğin daha az özellik), en iyi öğrenilebilir model ile gerçek model arasındaki mesafeyi artırarak lojistik regresyonun kalibrasyonunu engelleyebilir.

Lojistik regresyon ile yanlış bir gözlem modeli kullanılması kalibre edilmemiş olasılıklara yol açacaktır. İkili olayların normal dağılıma göre modellenmesi uygun değildir ve lojistik regresyon ile birlikte kullanılmamalıdır. Normal dağılım gözlem modeline karşılık gelen kayıp fonksiyonu, Ortalama Karesel Hata'dır. Bu nedenle, bir MSE kaybının kullanılması kalibrasyonunu kesin olarak engelleyecektir.