Lojistik regresyon: gerçek pozitifleri en üst düzeye çıkarmak - yanlış pozitifler

Bir lojistik regresyon modelim var (elastik net regülasyonlu R'de glmnet ile uyumlu) ve gerçek pozitifler ve yanlış pozitifler arasındaki farkı en üst düzeye çıkarmak istiyorum. Bunu yapmak için aşağıdaki prosedür akla geldi:

Standart lojistik regresyon modeline uygun
Tahmin eşiğini 0,5 olarak kullanarak, tüm pozitif tahminleri belirleyin
Olumlu tahmin edilen gözlemler için ağırlık 1, diğerleri için 0 atayın
Ağırlıklı lojistik regresyon modeline uygun

Bu yaklaşımdaki kusurlar ne olurdu? Bu soruna devam etmenin doğru yolu ne olabilir?

Gerçek pozitiflerin sayısı ile yanlış negatifler arasındaki farkı en üst düzeye çıkarmak istememin nedeni başvurumun tasarımından kaynaklanıyor. Bir sınıf projesinin bir parçası olarak, bir çevrimiçi pazarda özerk bir katılımcı inşa ediyorum - eğer modelim bir şey satın alabileceğini ve daha sonra daha yüksek bir fiyata satabileceğini tahmin ederse, bir teklif verir. Sabit maliyetlere ve birim fiyat artışlarına bağlı olarak lojistik regresyon ve çıktı ikili sonuçlarına (kazan, kaybet) bağlı kalmak istiyorum (her işlemde aynı tutarı kazanıyorum ya da kaybediyorum). Yanlış bir pozitif beni incitir, çünkü bir şey satın aldığım ve daha yüksek bir fiyata satamayacağım anlamına gelir. Ancak, yanlış bir negatif bana zarar vermez (sadece fırsat maliyeti açısından), çünkü sadece satın almazsam, ama olsaydım para kazanırdım. Benzer şekilde,

0.5 kesintisinin tamamen keyfi olduğunu kabul ediyorum ve doğru / yanlış pozitifler arasında en yüksek farkı veren tahmin eşiği üzerindeki 1. adımdaki modeli optimize ettiğimde 0.4'e daha yakın olduğu ortaya çıkıyor. Bunun verilerimin çarpık doğasından kaynaklandığını düşünüyorum - negatifler ve pozitifler arasındaki oran yaklaşık 1: 3.

Şu anda aşağıdaki adımları izliyorum:

Verileri antrenmana / teste böl
Antrenmana uygun model, test setinde tahminler yapma ve gerçek / yanlış pozitifler arasındaki farkı hesaplama
Modeli tam olarak sığdırın, test setinde tahminler yapın ve gerçek / yanlış pozitifler arasındaki farkı hesaplayın

Gerçek / yanlış pozitifler arasındaki fark, eğitim setinin tam setin bir altkümesi olmasına rağmen, 3. adımda 2. adımdan daha küçüktür. # 3'teki modelin daha gerçek negatiflere ve daha az yanlış negatiflere sahip olup olmadığı umurumda olmadığından, olasılık işlevini değiştirmeden yapabileceğim bir şey var mı?

— tmakino
kaynak

Bu yaklaşımla kusurların ne olacağını sormadan önce, belki de bu yaklaşımın neden çalışması gerektiğini yazmalısınız. Neden 2-4. Adımların sonucu iyileştirdiğini düşünüyorsunuz?

— user31264

Ayrıca, sonunda modeli 1. adımdan düşürüp 4. adımdan yalnızca modeli kullandığınız konusunda haklı mıyım?

— user31264

Evet, tüm veri setiyle donatılmış modeli kullanmayı planlıyordum, ancak bunu yapmak mantıklı değil çünkü eğitim seti ile donatılmış modeli yetersiz performans gösteriyor.

— tmakino

Şu anda bu konuda bir kaynağım yok ... ancak (Alıcı Çalışma Karakteristiği) Eğrisi (veya AUC) altındaki alanı en üst düzeye çıkarmak için bir lojistik regresyon modelini optimize edebileceğinizin farkında mısınız? Tekerleği yeniden icat etmeye gerek yok.

— AdamO

Burada tam olarak anlamadığım şey, modelinize gelecekteki tahmini fiyat hakkında hiçbir şey eklemediğiniz veya optimizasyona kar / zarar büyüklüğünü dahil etmediniz. Her ikisi de yanlış pozitif olmasına rağmen,% 99'luk bir zarara yol açan "satın alma" kararı,% 1'lik bir zarara yol açan "satın alma" kararından çok daha kötüdür.

— olasılık

Yanıtlar:

Hiç lojistik regresyon istemiyor gibisiniz. Söylediğiniz şey "Gerçek pozitifler ve yanlış pozitifler arasındaki farkı en üst düzeye çıkarmak istiyorum." Bu iyi bir nesnel işlevdir, ancak lojistik regresyon değildir. Ne olduğunu görelim.

İlk olarak, bazı gösterimler. Bağımlı değişken $Y_i$ :

\begin{aligned} Y_{ben} & = {\begin{cases} 1 Satın alma ben kârlıydı \\ 0 Satın alma ben kârsızdı \end{cases} \end{aligned}

$\begin{align} Y_i &= \left\{ \begin{array}{l} 1 \qquad \textrm{Purchase $i$ was profitable}\\ 0 \qquad \textrm{Purchase $i$ was un-profitable} \end{array} \right. \end{align}$

Bağımsız değişkenler (satın almanız gerekip gerekmediğini tahmin etmek için kullandığınız şeyler) $X_i$ (bir vektör). Tahmin etmeye çalıştığınız parametre $\beta$ (bir vektör). Ne zaman satın alacağınızı tahmin edeceksiniz $X_i\beta>0$ . Gözlem için $i$ , ne zaman satın alacağınızı tahmin edersiniz $X_i\beta>0$ veya gösterge fonksiyonu $\mathbf{1}_{X_i\beta>0}=1$ .

Gözlem üzerinde gerçek bir pozitif olay olur $i$ her ikisi de $Y_i=1$ ve $\mathbf{1}_{X_i\beta>0}=1$ . Gözlemde yanlış pozitif $i$ ne zaman olur $Y_i=0$ ve $\mathbf{1}_{X_i\beta>0}=1$ . Bulmak istiyorsun $\beta$ gerçek pozitifleri eksi yanlış pozitifleri en üst düzeye çıkarır veya:

m bir x_{β} Σ_{ben = 1}^{N-} Y_{ben} \cdot 1_{X_{ben} β > 0} - Σ_{ben = 1}^{N-} (1 - Y_{ben}) \cdot 1_{X_{ben} β > 0}

$\begin{equation} max_\beta \; \sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0} - \sum_{i=1}^N (1-Y_i)\cdot\mathbf{1}_{X_i\beta>0} \end{equation}$

Bu, ayrı bir yanıt modelini tahmin etmek için özellikle tanıdık bir objektif işlev değildir, ancak objektif işlev üzerinde küçük bir cebir yaparken benimle birlikte taşıyın:

\begin{aligned} Σ_{ben = 1}^{N-} Y_{ben} \cdot 1_{X_{ben} β > 0} - Σ_{ben = 1}^{N-} (1 - Y_{ben}) \cdot 1_{X_{ben} β > 0} \\ = & Σ_{ben = 1}^{N-} Y_{ben} \cdot 1_{X_{ben} β > 0} - Σ_{ben = 1}^{N-} 1_{X_{ben} β > 0} + Σ_{ben = 1}^{N-} Y_{ben} \cdot 1_{X_{ben} β > 0} \\ = & Σ_{ben = 1}^{N-} Y_{ben} \cdot 1_{X_{ben} β > 0} - Σ_{ben = 1}^{N-} 1_{X_{ben} β > 0} + Σ_{ben = 1}^{N-} Y_{ben} \cdot 1_{X_{ben} β > 0} \\ + Σ_{ben = 1}^{N-} 1 - Σ_{ben = 1}^{N-} 1 + Σ_{ben = 1}^{N-} Y_{ben} - Σ_{ben = 1}^{N-} Y_{ben} \\ = & Σ_{ben = 1}^{N-} Y_{ben} \cdot 1_{X_{ben} β > 0} + Σ_{ben = 1}^{N-} (1 - Y_{ben}) (1 - 1_{X_{ben} β > 0}) - Σ_{ben = 1}^{N-} 1 + Σ_{ben = 1}^{N-} Y_{ben} \end{aligned}

$\begin{align} &\sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0} - \sum_{i=1}^N (1-Y_i)\cdot\mathbf{1}_{X_i\beta>0}\\ = &\sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0} - \sum_{i=1}^N \mathbf{1}_{X_i\beta>0} + \sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0}\\ = &\sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0} - \sum_{i=1}^N \mathbf{1}_{X_i\beta>0} + \sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0} \\ & \qquad + \sum_{i=1}^N 1 - \sum_{i=1}^N 1 + \sum_{i=1}^N Y_i - \sum_{i=1}^N Y_i\\ = &\sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0} + \sum_{i=1}^N (1-Y_i)(1-\mathbf{1}_{X_i\beta>0}) - \sum_{i=1}^N 1 + \sum_{i=1}^N Y_i \\ \end{align}$

Tamam, şimdi bu toplamdaki son iki terimin, $\beta$ , böylece maksimizasyonda onları görmezden gelebiliriz. Son olarak, çözmek istediğiniz sorunun "gerçek pozitifler ve yanlış pozitifler arasındaki farkı en üst düzeye çıkar" ın bu sorunla aynı olduğunu gösterdik:

m bir x_{β} Σ_{ben = 1}^{N-} Y_{ben} \cdot 1_{X_{ben} β > 0} + Σ_{ben = 1}^{N-} (1 - Y_{ben}) (1 - 1_{X_{ben} β > 0})

$\begin{equation} max_\beta \; \sum_{i=1}^N Y_i\cdot\mathbf{1}_{X_i\beta>0} + \sum_{i=1}^N (1-Y_i)(1-\mathbf{1}_{X_i\beta>0}) \end{equation}$

Şimdi, bu tahmincinin bir adı var! Maksimum puan tahmincisi olarak adlandırılır. Ayrık bir yanıt modelinin parametresini tahmin etmenin çok sezgisel bir yoludur. Parametre, doğru tahmin sayısını en üst düzeye çıkaracak şekilde seçilir. İlk terim gerçek pozitiflerin sayısı ve ikinci terim gerçek negatiflerin sayısıdır.

Bu (ikili) ayrık yanıt modelini tahmin etmenin oldukça iyi bir yoludur. Örneğin tahminci tutarlıdır. (Manski, 1985, Ekonometri J) Bu tahmin edicinin bazı tuhaflıkları var. Birincisi, küçük örneklerde benzersiz değildir. Birini bulduktan sonra $\beta$ bu da maksimizasyonu, sonra diğer $\beta$ veri kümenizdeki tam olarak aynı tahminleri yapar maksimizasyonu çözer --- yani, sonsuz sayıda $\beta$ Bulduğunuza yakın. Ayrıca, tahminci asimptotik olarak normal değildir ve tipik maksimum olabilirlik tahmincilerinden daha yavaş yakınsar - küp kökü $N$ kök yerine $N$ yakınsama. (Kim ve Pollard, 1990, Stat of Ann) Sonunda, önyükleme yapmak için önyükleme kullanamazsınız. (Abrevaya ve Huang, 2005, Econometrica) Bu tahmin ediciyi kullanan bazı makaleler olsa da --- Uluslararası Tahminler Dergisi Caudill'in NCAA basketbol turnuvasında sonuçları tahmin etmede eğlenceli bir tane var, Nisan 2003, s. 19, iss. 2, sayfa 313-17.

Bu sorunların çoğunun üstesinden gelen bir tahminci Horowitz'in düzeltilmiş maksimum puan tahmincisidir (Horowitz, 1992, Econometrica ve Horowitz, 2002, Ekonometri J). Kök verir. $N$ önyükleme için uygun tutarlı, asimptotik olarak normal, benzersiz tahmin edici. Horowitz, tahmincisini web sayfasında uygulamak için örnek kod sağlar .

— fatura
kaynak

Maliyet fonksiyonumu maksimum puan tahmincisi ile eşitlemek için cebiri dahil ettiğiniz için teşekkür ederiz. İçin verilen gösterge fonksiyonu ile

β^{T} x > 0

$\beta^Tx > 0$ , bu her zaman sınıflandıracağım anlamına mı geliyor?

p > 0.5

$p>0.5$ olumlu olarak ve

p <= 0.5

$p<=0.5$ negatif olarak? Ayrıca, p (model çıkışı) girişli lojistik fonksiyon kullanılarak hesaplanır

β^{T} x

$\beta^T x$ ? Şu an kullandığım yaklaşım AUC maliyet fonksiyonudur, daha sonra gerçek pozitifler ve yanlış pozitifler arasında en yüksek fark olan değeri bulmak için tahmin eşiğini optimize eder. Cevabınızın açıkça maksimum farkı bulduğunu anlıyorum

— tmakino

(devam) maliyet fonksiyonunda tanımlayarak (ve tahmin eşiğini 0,5'e sabitleyerek), böylece attığım ara adımı atlayarak. Ancak, AUC zaten kullandığım regresyon paketinde (glmnet) bulunurken, maksimum skor esimatoru yok. Hedefim göz önüne alındığında yaklaşımımın makul olduğunu düşünüyor musunuz?

— tmakino

Ne yazık ki, AUC yöntemine çok aşina değilim, bu yüzden burada ne kadar uygun olduğunu söyleyemem. Maksimum puan tahmincisinde, gerçekten bir

p

$p$ çünkü lojistik bir model almıyorsunuz. Sadece 1'i tahmin etmeye karar veriyorsunuz.

X_{i} β > 0

$X_i\beta>0$ ve sonra en iyisini bulmak

β

$\beta$ .

— Bill

Bu yaklaşımla ilgili yanlış olan birkaç şey vardır:

Sürekli bir olasılık için bir kesim arayışı
0,5 isteğe bağlı bir kesme kullanma
"Yanlış pozitif" ve "yanlış negatif" maliyetinin tüm denekler için aynı olduğunu varsayarsak
Kesirli olmayan ağırlıklar kullanma
Tahmini ağırlıkları kullanma
Maksimum olabilirlik tahminini geçersiz kılma
Optimum Bayes karar teorisini kullanmamak, optimum kararların tam bilgiye (bir şeyin başka bir şeyi geçip geçmediğine değil) ve fayda / kayıp / maliyet fonksiyonlarına dayandığını belirtir.

— Frank Harrell
kaynak

Teşekkürler, lojistik regresyona bağlı kalmanın bir yolu var mı (yani olasılık fonksiyonuna dokunmadan)?

— tmakino

"Bu" nun ne olduğuna bağlı. Nihai hedef nedir ve model nasıl kullanılacak?

— Frank Harrell

Sorularımı, elde etmeye çalıştığım şeyler hakkında ayrıntılı bilgi vermek için düzenledim.

— tmakino

Bir şeyi kaçırmadıkça, eklediğiniz hiçbir şey bir kesme noktasının kullanılmasını ima etmez. Öngörülen bir olasılıkın kendi hata oranını sağladığını unutmayın.

— Frank Harrell

Açıklamaya çalıştığınız şeye ulaşmak için en iyi yaklaşım muhtemelen lojistik regresyon parametrelerini bir AUC kaybı fonksiyonu ile doğrudan optimize etmektir. Zhou'nun "Tanı Tıbbında İstatistiksel Yöntemler" ders kitabı bu yöntemi anlatmaktadır.

AUC (alıcının çalışma karakteristik eğrisinin altındaki alan- veya ROC), kabaca rastgele örneklenmiş bir "kasa" nın "kontrol" den daha yüksek bir işaretleyici değerine sahip olma olasılığı olarak yorumlanır. Bu, model ayrımcılığının veya sonucu doğru bir şekilde sınıflandırma yeteneğinin bir ölçüsüdür. ROC, birim düzlemde, bir regresyon modelinde olası tüm işaretleyici değerleri (uygun sonuçlar) için 1 - özgüllüğü duyarlılığı gösteren bir eğridir.

Lojistik regresyon modelinin geleneksel formülasyonunu kullanarak,

logit Pr (Y = 1 | X) = α + β X

$\mbox{logit Pr}(Y = 1 | X) = \alpha + \beta X$

model parametreleri için log olasılık oranları ile, optimum parametreleri elde etmek için kabaca AUC tabanlı bir kayıp fonksiyonu tanımlayabilirsiniz. Olasılık temelli lojistik regresyondan farklı olarak, AUC regresyonu düzenli değildir ve parametre uzayında lokal maksimaya yaklaşabilir.

— Adamo
kaynak

AUC'nin burada en iyi olmadığını düşünürdüm çünkü yanlış negatif için küçük bir kayıp var, ancak yanlış pozitif için büyük kayıp var.

— olasılık

Asıl sorun OP'nin sürekli bir sonuca (ROI) sahip olması ve bunu bir kayıp / kazanç olarak ikiye ayırmasıdır. Ancak saçları bir kenara ayırmak, genel olarak "aptal" marker kesim bölgelerinde ROC regresyonu ile gerçekten de AUC'ye sayılır. Aptal işaretleyici değerlerine karşı neyin anlamlı olduğunu önceden belirtirseniz, kısmi AUC'yi kullanabilirsiniz ve kısmi AUC regresyonu aynı performans özelliklerine (ve sorunlarına) sahiptir.

— AdamO