Lojistik regresyon neden iyi kalibre edilmiş modeller üretir?

Lojistik regresyonun web'deki tıklama oranlarını tahmin etmek için sıklıkla kullanılmasının nedenlerinden birinin, iyi kalibre edilmiş modeller üretmesi olduğunu anlıyorum. Bunun için iyi bir matematiksel açıklama var mı?

regression logistic

— lsankar4033
kaynak

olasılıkları tahmin etmek için yapılan lojistik regresyon -> fazlalık değilse kalibre edilmiş tahminlere yol açar. çoğu makine öğrenimi modeli olasılıkları değil, bir sınıfı öngörür - ve bu tahminlerden türetilmiş sözde probabilitlere bir miktar bükülme vardır -> bu nedenle iyi kalibre edilmiş bir not

— charles

Soruda açıklığa kavuşmalıydım, ama sorum daha çok LR'nin olasılıkları tahmin etmek için neden bu kadar yararlı olduğu hakkındaydı.

— lsankar4033

Kalibre edilmiş bir model elde etmek için, zayıf kalibre edilmiş bir sınıflandırıcının çıkışına basitçe bir lojistik regresyon uygulayabileceğinizi belirtmek gerekir. Buna Platt Scaling en.wikipedia.org/wiki/Platt_scaling

— generic_user

Yanıtlar:

Evet.

Lojistik regresyondan tahmin edilen olasılık vektörü matris denklemini karşılar $p$

X^{t} (p - y) = 0

$X^t(p - y) = 0$

Burada , tasarım matrisi ve , yanıt vektörüdür. Bu, tasarım matrisinin her bir sütunundan kaynaklanan bir lineer denklem koleksiyonu olarak görülebilir . $X$ $y$ $X$

Kesişme sütununa (transpoze edilen matristeki bir satır olan) uzmanlaşmış, ilişkili doğrusal denklem

\sum_{i} (p_{i} - y_{i}) = 0

$\sum_i( p_i - y_i) = 0$

dolayısıyla, ortalama ortalama tahmin edilen olasılık, yanıtın ortalamasına eşittir.

Daha genel olarak, ikili özellik sütunu için ilişkili doğrusal denklem $x_{ij}$

\sum_{i} x_{i j} (p_{i} - y_{i}) = \sum_{i ∣ x_{i j} = 1} (p_{i} - y_{i}) = 0

$\sum_i x_{ij}(p_i - y_i) = \sum_{i \mid x_{ij} = 1}(p_i - y_i) = 0$

dolayısıyla, tahmin edilen olasılıkların toplamı (ve dolayısıyla ortalama), olan kayıtlar için uzmanlaşırken bile yanıtın toplamına eşittir . $x_{ij} = 1$

— Matthew Drury
kaynak

@MatthewDrury ilk denkleminizi nasıl yorumlayabilirim? bir formu ? Bununla birlikte, bu doğrusal ilişki tutar? Teşekkür ederim!

p

$p$

1 / (1 + \exp (- x))

$1/(1+\exp(-x))$

— Ric

Evet, p bu formda. İlk denklem, kayıp fonksiyonunun türevini sıfıra ayarlamaktan gelir.

— Matthew Drury

Bu sadece istediğimiz gibi olmayan büyük kalibrasyona yöneliktir: küçük kalibrasyon.

— Frank Harrell

@FrankHarrell Ayrıntılara dikkat etmek ister misiniz? Bu terimleri daha önce duymadım.

— Matthew Drury

Olasılık tahmini literatüründe ABD Hava Servisi 1950'ye dayanan uzun bir geçmiş var - Brier skorunun ilk kullanıldığı yer burası. Küçük kalibrasyon, 0.01, 0.02, ..., 0.99 tahmin edilen risklere bakıldığında bunların her birinin doğru olduğu anlamına gelir, yani, tahmin edilen riskin 0.4 olduğu her zaman, sonucun yaklaşık 0.4 zaman. Bir sonraki adıma "minik kalibrasyon" diyorum: tahminin 0.4 olduğu erkekler için zamanın 0.4'ünün sonucu, daha sonra kadınlar için.

— Frank Harrell

Sanırım aşağıdaki gibi anlaşılması kolay bir açıklama sağlayabilirim:

Biz biliyoruz bunun kaybı işlevi aşağıdaki fonksiyonu olarak ifade edilebilir: Tüm eğitim örneklerinin sayısını temsil ettiği yerde , i örneğinin etiketi, i örneğinin tahmini olasılığı: . ( burada önyargıya dikkat edin )

J (θ) = - \frac{1}{m} \sum_{i = 1}^{m} [y^{(i)} \log (h_{θ} (x^{(i)})) + (1 - y^{(i)}) \log (1 - h_{θ} (x^{(i)}))]

$J(\theta) = -\frac{1}{m}\sum_{i=1}^m \left[ y^{(i)}\log\left(h_\theta \left(x^{(i)}\right)\right) + (1 -y^{(i)})\log\left(1-h_\theta \left(x^{(i)}\right)\right)\right]$
m

y^{(i)}

$y^{(i)}$

h_{θ} (x^{(i)})

$h_{\theta}(x^{(i)})$

\frac{1}{1 + \exp [- α - \sum_{j} θ_{j} x_{j}^{(i)}]}

$\frac{1}{1+\exp[-\alpha -\sum_j \theta_j x^{(i)}_j]}$

α

$\alpha$

Eğitimin amacı kayıp fonksiyonunu en aza indirgemek olduğundan, kısmi türevini her parametre (detaylı türev burada bulunabilir ) ile değerlendirelim: Ve sıfıra sıfıra ayarlar: $\theta_j$

\frac{\partial J (θ)}{\partial θ_{j}} = \frac{1}{m} \sum_{i = 1}^{m} [h_{θ} (x^{(i)}) - y^{(i)}] x_{j}^{(i)}

$\frac{\partial J(\theta)}{\partial \theta_j}=\frac{1}{m}\sum_{i=1}^m\left[h_\theta\left(x^{(i)}\right)-y^{(i)}\right]\,x_j^{(i)}$

\sum_{i = 1}^{m} h_{θ} (x^{(i)}) x_{j}^{(i)} = \sum_{i = 1}^{m} y^{(i)} x_{j}^{(i)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_j^{(i)}=\sum_{i=1}^m y^{(i)}\,x_j^{(i)}$

Bu, eğer model tamamen eğitilmişse, eğitim seti için elde ettiğimiz tahmini olasılıklar her bir özellik için o özelliğin ağırlıklı (tüm) değerlerinin toplamının o özelliğin değerlerinin toplamına eşit olacağı anlamına gelir. pozitif örneklerin.

Yukarıdakiler bias gibi her özelliğe uyar . Ayar 1 olarak ve kadar yeilds: Sonra şunu elde ederiz: Burada , i. örnek için tamamen eğitilmiş modelin tahmini olasılığıdır. Ve işlevi kompakt bir şekilde yazabiliriz: $\alpha$ $x_0$ $\alpha$ $\theta_0$

\sum_{i = 1}^{m} h_{θ} (x^{(i)}) x_{0}^{(i)} = \sum_{i = 1}^{m} y^{(i)} x_{0}^{(i)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)x_0^{(i)}=\sum_{i=1}^m y^{(i)}\,x_0^{(i)}$

\sum_{i = 1}^{m} h_{θ} (x^{(i)}) = \sum_{i = 1}^{m} y^{(i)}

$\sum_{i=1}^m h_\theta\left(x^{(i)}\right)=\sum_{i=1}^m y^{(i)}$

h_{θ} (x^{(i)})

$h_\theta\left(x^{(i)}\right)$

\sum_{i = 1}^{m} p^{(i)} = \sum_{i = 1}^{m} y^{(i)}

$\sum_{i=1}^m p^{(i)} =\sum_{i=1}^m y^{(i)}$

Lojistik regresyonun iyi kalibre edildiğini açıkça görebiliriz .

Referans: Log-lineer Modeller ve Koşullu Rastgele Alanlar - Charles Elkan

— Lerner Zhang
kaynak