Muhtemelen daha önce yüzlerce kez çözülmüş bir sorunla uğraşıyorum, ancak cevabı nerede bulacağımdan emin değilim.

Lojistik regresyon, verilen birçok özellik kullanılırken ve ikili kategorik değer tahmin etmeye çalışmak , ben tahmin özelliklerin bir alt kümesini seçerek ilgilenen am iyi. y $x_1,...,x_n$$y$$y$

Kullanılabilecek kemente benzer bir prosedür var mı? (Ben sadece doğrusal regresyon için kullanılan kement gördüm.)

Takılan modelin katsayılarına bakmak farklı özelliklerin önemini gösteriyor mu?

Düzenle - Yanıtların Bazılarını Gördükten Sonra Açıklamalar:

1. Takılan katsayıların büyüklüğüne atıfta bulunduğumda, normalleştirilmiş (ortalama 0 ve varyans 1) özelliklerine takılanları kastediyorum. Aksi takdirde, @ olasılıkla belirtildiği gibi, 1000x x'den daha az önemli görünecektir.

2. (@Davide'nin sunduğu gibi) sadece en iyi k-alt kümesini bulmakla ilgilenmiyorum, aksine birbirine göre farklı özelliklerin önemini tartıyorum. Örneğin, bir özellik "yaş", diğer özellik "yaş> 30" olabilir. Artan önemleri az olabilir, ancak her ikisi de önemli olabilir.

DWin'in yanıtı cevap ama çok az fikir veriyor, bu yüzden biraz açıklama yapmanın yararlı olabileceğini düşündüm.

İki sınıfınız varsa, temel olarak değerini tahmin etmeye çalışıyorsunuz . Tüm ihtiyacınız olan budur ve lojistik regresyon modeli:$p=P(y_i=1|X=x_i)$

$log \frac{p}{1-p} = log \frac{P(y_i=1|X=x_i)}{P(y_i=0|X=x_i)}=\beta _0 + \beta _1 ^T x_i$

özelliğinin öneminden bahsettiğinizi, nasıl etkilediği veya diğer bir deyişle .p ∂ $j$$p$$\frac{\partial p}{\partial x_{ij}}$

Küçük bir dönüşümden sonra

$p=\frac{e^{\beta _0 + \beta _1 ^T x_i}}{1+e^{\beta _0 + \beta _1 ^T x_i}}$ .

Türevinizi hesapladığınızda,

$\frac{\partial p}{\partial x_{ij}} = \beta_j e^{\beta_0 + \beta _1 ^T x_i}$

Bu açıkça diğer tüm değişkenlerin değerine bağlıdır. Bununla birlikte, katsayının SIGN işaretinin istediğiniz şekilde yorumlanabileceğini gözlemleyebilirsiniz: eğer negatifse bu özellik olasılığı azaltır p.

Şimdi tahmin prosedürünüzde , modelinizin doğru olduğunu varsayarak tahmin etmeye çalışıyorsunuz . Düzenleme ile bu tahminlere bazı önyargılar getiriyorsunuz. Bir sırt regresyonu ve bağımsız değişkenler için kapalı bir form çözümü elde edebilirsiniz:$\beta$

$\hat{\beta^r} = \frac{\hat{\beta}}{\hat{\beta} + \lambda}$ .

Gördüğünüz gibi, bu katsayınızın işaretini değiştirebilir, böylece yorum bile parçalanır.

Son sorunuzun cevabı düz NO. Katsayıların büyüklüğü hiçbir şekilde önemli bir ölçü değildir. Kement lojistik regresyon için kullanılabilir. Alanı daha güvenli bir şekilde incelemeniz gerekiyor. Çalışmanız gereken yöntemler "cezalandırılmış" yöntemleri içeren yöntemlerdir. Bir yerde tanımlanabilen, ancak genel kullanımda olmayan bir terim olan "gölgeli" öngörücüleri ortaya çıkaran algılama yöntemleri arıyorsanız, tahminci alanındaki etkileşimleri ve doğrusal olmayan yapıyı ve o bağlantıyla sonuç bağlantısı. Frank Harrell'in "Regresyon Modelleme Stratejileri" metninde bu konular ve yöntemler hakkında biraz tartışma var.

Geriye dönük seçim stratejisi geçerli sonuçlar veremez (sonuç vermesine rağmen). 100 olay için 20 rasgele öngörücüye baktığınızda, muhtemelen geriye doğru bir seçim işlemiyle seçilecek 2 veya 3 bulacaksınız. Gerçek dünyada geriye doğru seçimin yaygınlığı, dikkatli istatistiksel düşünceyi değil, SAS ve SPSS'deki kolay kullanılabilirliğini ve bu ürünlerin kullanıcı tabanındaki karmaşıklık eksikliğini yansıtmaktadır. R kullanıcı tabanının bu tür yöntemlere ve kullanıcılara posta listelerinde istek gönderen daha zor zamanları vardır ve SO genellikle geri (veya ileri) seçim yöntemleri ile ilgili sorunlar hakkında tavsiye alırlar.

İngilizce benim ana dilim değil, bu yüzden sorunun ne olduğunu anlamamış olabilirim, ancak en iyi modeli bulmanız gerekiyorsa, tüm değişkenlerle bir modelden başlayarak geriye doğru bir prosedür (ve sonunda entegrasyonlar ekleme) kullanmayı deneyebilirsiniz. Daha sonra, modelin fenomeni iyi tanımlayıp tanımlayamadığını kontrol etmek için hem artık_s_ öngörülen değerlere hem de qq-plot grafiklerine bakabilirsiniz.