Lojistik regresyon problemi için karar_fonksiyonu, tahmin_proba ve tahmin fonksiyonu arasındaki fark nedir?

Sklearn belgelerinden geçiyorum ama lojistik regresyon bağlamında bu işlevlerin amacını anlayamıyorum. Çünkü decision_functionhiper düzlem ve test örneği arasındaki mesafe olduğunu söylüyor. bu belirli bilgiler nasıl faydalıdır? ve bunun yöntem predictve predict-probayöntemler ile ilişkisi nedir?

— Sameed
kaynak

Lojistik regresyonun fonksiyonel formunun

f (x) = \frac{1}{1 + e^{- (β_{0} + β_{1} x_{1} + \dots + β_{k} x_{k})}}

$f(x) = \frac{1}{1 + e^{-(\beta_0 + \beta_1 x_1 + \cdots + \beta_k x_k)}}$

Tarafından döndürülen budur predict_proba.

Üstel İçindeki Terim

d (x) = β_{0} + β_{1} x_{1} + \dots + β_{k} x_{k}

$d(x) = \beta_0 + \beta_1 x_1 + \cdots + \beta_k x_k$

tarafından döndürülen şeydir decision_function. Belgelerde atıfta bulunulan "köprü"

β_{0} + β_{1} x_{1} + \dots + β_{k} x_{k} = 0

$\beta_0 + \beta_1 x_1 + \cdots + \beta_k x_k = 0$

Bu terminoloji, tam anlamıyla bir ayırma hiper düzlemini tahmin eden destek vektör makinelerinden bir engeldir. Lojistik regresyon için bu hiper düzlem biraz yapay bir yapıdır, modelin her iki hedef sınıfın da eşit derecede olası olduğunu belirlediği eşit olasılık düzlemidir.

predictFonksiyon kuralı kullanarak bir sınıf kararı döndürür

f (x) > 0.5

$f(x) > 0.5$

Sabunlama riski altında, predictişlevin çok az meşru kullanımı vardır ve başkalarının işlerini incelerken bunu bir hata işareti olarak kullanıyorum. Ben sklearn kendisi bir tasarım hatası olarak adlandırmak için yeterince ileri gider ( predict_probaişlev çağrılmış predictve herhangi bir şey varsa, predictçağrılmış olması gerekirdi predict_class).

— Matthew Drury
kaynak

@Matthew cevabı için teşekkürler, ancak bu noktayı biraz daha açıklığa kavuşturabilirsiniz "Lojistik regresyon için, bu hiper düzlem biraz yapay bir yapıdır, modelin her iki hedef sınıfın eşit derecede olası olduğunu belirlediği eşit olasılık düzlemidir. ." ?

— Aynı

Bu açıklama ilginç ve yararlı. Keşke sklearn daha iyi açıklasaydı. Anlamıyorum ne lojistik fonksiyonu 1 / (1 + e ^ -x) x değerini bilmenin kullanımı nedir? Tek düşünebildiğim, x / (1+ | x |) gibi farklı bir sigmoid işlevi kullanmaktır. Daha fazla var mı? Teşekkürler!

— ldmtwo

Temel olarak karar fonksiyonu lojistik regresyonda sigmoid olmalıydı. Doğru?

— 3nomis

@Matthew'un bir sabun kutusunda olmasının sebebinin, tahmin eşiği olarak 0.5 kullanmanın naif olmasıdır. Yapılması gereken ilk şey, uygun bir c eşiği seçmek için çapraz validasyon, ROC eğrileri ve AUC kullanmayı ve f (x)> c karar fonksiyonu olarak kullanmayı öğrenmektir.

— hwrd