Olasılığı en üst düzeye çıkaran bir lojistik regresyon, lineer modellere göre AUC'yi mutlaka en üst düzeye çıkarıyor mu?

İkili sonuçlar $y\in\{0,1\}^n$ ve bazı tahmin matrisi $X\in\mathbb{R}^{n\times p}$ olan bir veri seti verildiğinde , standart lojistik regresyon modeli binom olasılığını en üst düzeye çıkaran $\beta_{MLE}$ katsayılarını tahmin eder. $X$ dolu olduğunda $\beta_{MLE}$ benzersizdir; mükemmel bir ayrılma olmadığında, sonludur.

Bu, maksimum olabilirlik modeli aynı zamanda ROC AUC (aka maksimize mu $c$ -statistic), ya da bir katsayı tahmin vardır halen mevcut $\beta_{AUC} \neq \beta_{MLE}$ daha yüksek bir ROC AUC elde edecektir? MLE'nin mutlaka ROC AUC'yi maksimuma çıkarmadığı doğruysa, bu soruya bakmanın başka bir yolu da "Lojistik regresyonun ROC AUC'sini her zaman maksimize edecek olan olasılık maksimizasyonuna bir alternatif var mı?"

Modellerin aynı olduğunu varsayıyorum: $X$ öngörücüler eklemiyor veya kaldırmıyoruz veya model spesifikasyonunu başka bir şekilde değiştirmiyoruz ve olasılık maksimize edici ve AUC maksimize edici modellerin aynı bağlantı işlevini kullandığını varsayıyorum.

logistic maximum-likelihood auc

— Sycorax: Monica'yı eski durumuna getirdi
kaynak

Şüphesiz

örneğin bazı bağlantı işlevi logit daha iyi bir uyum oluşturur olur? Bunun dışında, veri oluşturma sürecinin logit olarak kabul edilip edilemeyeceği iyi bir soru.

β_{AUC} \neq β_{MLE}

$\beta_{\text{AUC}} \neq \beta_{\text{MLE}}$

— Nutle

Güzel soru ama bunu düşün. ROC ve AUC iki farklı modeli karşılaştırmak için kullanılır, bu nedenle herhangi bir modelin MLE tahmini için bir çözüm benzersizse, bu, yalnızca mevcut modelin özelliklerini değiştirirseniz ve yeni bir farklı tahmin ederseniz farklı bir AUC elde edebileceğiniz anlamına gelir. MLE üzerinden model. Bu noktada başka bir soru şu olurdu: Yeni “daha iyi” betalara yol açan katsayıların farklı tahminlerine ulaşabilmem için aynı model için geçerli olan basit MLE dışında başka bir “daha iyi” tahmin yöntemi (maksimizasyon algoritması ecc) var mı? yüksek AUC ile?

— Fr1

@Nutle tam olarak, bu farklı bir özellik olurdu

— Fr1

@ Fr1 Evet, benzersiz olan budur. Sorumda ima ettiğim şey "ne daha yüksek bir AUC elde eden MLE'ye bir alternatif varsa?" Daha yüksek bir AUC elde eden farklı bir doğrusal modelin (MLE'den başka bir model) olduğu doğruysa, bunu bilmek ilginç olacaktır.

— Sycorax, Reinstate Monica'ya

@Sycorax Başka türlü varsayalım ne? :) biz eğer bu yana Varsayımlar, önemli olan bilmek kullanılan bağlantı ve değişkenleri ile gerçek DGP, MLE değişmez en güçlü tarafsız bir istatistiktir.

— Nutle

$\beta_{MLE} = \beta_{AUC}$ olması durum böyle değildir .

Bunu açıklamak için AUC'nin

$P(\hat y_1 > \hat y_0 | y_1 = 1, y_0 = 0)$

$\beta_{MLE}$

$\beta_{AUC}$ $\beta$ $\beta_{MLE}$ $\beta_{AUC}$

EDIT (yorumu cevaba taşıyor)

$x$ $x > 6$ $\beta$ $x$ $x$ $\beta_{MLE} < 0$

— Cliff AB
kaynak

(+1) Ah! Tabii ki - sipariş vermekle ilgili olduğundan, olasılık değerini değiştirmesi gereken kesişmeyi keyfi olarak değiştirebiliriz, ancak özellik aynı katsayıların değişmediği için sipariş aynı olmalıdır, bu nedenle AUC sabit kalacaktır.

— Sycorax, Reinstate Monica'ya

n \to \infty

$n \rightarrow \infty$

x

$x$

n

$n$

n \to \infty

$n \rightarrow \infty$

n

$n$

n

$n$

x

$x$

n

$n$