“F regresyonuna” ve değerlerine dayalı özellik seçimi arasındaki fark nedir?

Özelliklerin F-regressionetiketle ilişkilendirilmesi ile aynı özellikleri kullanarak karşılaştırmak ve değerini gözlemlemek mi?$R^2$

Sık sık meslektaşlarımın F regressionmakine öğrenme kanalında bir özellik seçimi için kullandığını gördüm sklearn:

sklearn.feature_selection.SelectKBest(score_func=sklearn.feature_selection.f_regression...)`  

Bazıları bana söyle - neden sadece etiket / bağımlı değişkenle ilişkilendirmekle aynı sonuçları veriyor?

F_regressionÖzellik seçiminde kullanmanın avantajı bana açık değil .

İşte benim kod: Ben gelen mtcarsveri kümesi kullanıyorum R:

import pandas as pd
import numpy as np
from sklearn import feature_selection
from sklearn.linear_model import LinearRegression

#....load mtcars dataset into a pandas dataframe called "df", not shown here for conciseness

# only using these numerical columns as features ['mpg', 'disp', 'drat', 'wt']
# using this column as the label:  ['qsec']

model = feature_selection.SelectKBest(score_func=feature_selection.f_regression,\
                                      k=4)

results = model.fit(df[columns], df['qsec'])

print results.scores_
print results.pvalues_

# Using just correlation coefficient:

columns = ['mpg', 'disp', 'drat', 'wt']
for col in columns:
    lm = LinearRegression(fit_intercept=True)
    lm.fit(df[[col]], df['qsec'])
    print lm.score(df[[col]], df['qsec'])

Şüphelendiğiniz gibi, özelliklerin sıralaması tamamen aynıdır:

scores using f_regression:

[ 6.376702    6.95008354  0.25164249  0.94460378]


 scores using coefficient of determination:

0.175296320261  
0.18809385182
0.00831830818303
0.0305256382746

Gördüğünüz gibi, her iki durumda da ikinci özellik en yüksek, birinci özellik ikinci, dördüncü özellik üçüncü ve üçüncü özellik son.

F_regressionFarklı sonuçlar verecek veya özellikleri bir şekilde farklı sıralayacak bir durum var mı ?

DÜZENLEME: Özetlemek gerekirse, bu iki özellik sıralamasının farklı sonuçlar verip vermediğini bilmek istiyorum:

1) sonuçları ayrı ayrı gerilediğinde özellikleri F istatistiklerine göre sıralamak (sklearn'in yaptığı budur) VE,

2) sonuçla birlikte tekrar bireysel olarak regresyon yaparken özellikleri R-kare değerine göre sıralamak.

TP: DR

F-regressionSadece F istatistiğini hesaplar ve en iyi özellikleri seçerse fark olmaz . F-regressionAşağıdakileri yaptığını varsayarak, sıralamada bir fark olabilir :

• Sabit bir modelle başlayın,$M_0$
• Sadece bir özellikten oluşan tüm modellerini deneyin ve F istatistiğine göre en iyisini seçin$M_1$
• Tüm modelleri deneyin oluşan artı bir diğer özelliği ve en iyi seçim ...M $M_2$$M_1$

Çünkü korelasyon her yinelemede aynı olmayacaktır. Ama yine de her adımda korelasyonu hesaplayarak bu sıralamayı elde edebilirsiniz, neden F-regressionek bir adım atıyor? İki şey yapar:

• Özellik seçimi: Yalnızca doğrulukla ilgilendiğiniz ve eksik / fazla sığmayı ayarlamak için önlemler aldığınız bir Makine öğrenimi boru hattındaki en iyi özellikleri seçmek istiyorsanız, sadece sıralamayı önemseyebilirsiniz ve ek hesaplama yararlı değildir.$k$
• Anlamlılık için test: Bir çalışmada bir çıkış üzerinde bazı değişkenlerin etkisini anlamak için çalışıyorsanız, bir doğrusal modeli oluşturmak istiyorum ve sadece değişkenleri içerebilir anlamlı bazı açısından modelinizi iyileştirilmesi, -değeri . İşte kullanışlı.$p$F-regression

---

F testi nedir

Bir F testi (Wikipedia) , bir modelin gelişiminin önemini yeni değişkenlerin eklenmesiyle karşılaştırmanın bir yoludur. Bir temel model olduğu zaman bunu kullanabilirsiniz ve daha karmaşık bir model tüm değişkenleri içeren, biraz daha ve. Eğer F-testi söyler önemli ölçüde daha iyi olduğunu bir göre, -değeri.M 1 M 0 M 1 M 0$M_0$$M_1$$M_0$$M_1$$M_0$$p$

Bunu yapmak için, kalan kareler toplamını bir hata ölçüsü olarak kullanır ve hatadaki azalmayı eklenen değişken sayısı ve gözlem sayısı ile karşılaştırır ( Wikipedia hakkında daha fazla bilgi ). Değişken eklemenin, tamamen rastgele olsalar bile, başka bir boyut ekleyerek modelin her zaman daha düşük hata elde etmesine yardımcı olması beklenir. Amaç, yeni özelliklerin gerçekten yararlı olup olmadığını veya rastgele sayılar olup olmadığını anlamak, ancak yine de bir boyut ekledikleri için modele yardımcı olmaktır.

---

Ne vermez f_regressionyapmak

Scikit öğrenme uygulamasına aşina olmadığımı, ancak ne f_regressionyaptığını anlamaya çalışacağımı unutmayın . Belgeler prosedürü sıralı olduğunu belirtmektedir. Sıralı kelimesi, Matlab Sıralı Özellik Seçimi gibi diğer istatistiksel paketlerde olduğu anlamına gelirse , işte böyle devam etmesini beklerdim:

• Sabit bir modelle başlayın,$M_0$
• Sadece bir özellikten oluşan tüm modellerini deneyin ve F istatistiğine göre en iyisini seçin$M_1$
• Tüm modelleri deneyin oluşan artı bir diğer özelliği ve en iyi seçim ...M $M_2$$M_1$

Şimdilik, sorunuzu cevaplamak için yeterince yakın bir yaklaşım olduğunu düşünüyorum; f_regressionkorelasyon sıralaması ile sıralama arasında bir fark var mı ?

Eğer sürekli modeli ile başlasa ve sadece bir özelliği ile en iyi modeli bulmaya , kullandığınız bakılmaksızın aynı özelliğini seçecektir onlar doğrusal bağımlılık ölçüsü her ikisi olarak veya ilişki dayalı bir yaklaşım. Eğer gitmek olsaydı Ama için ve ardından , sizin puanlama bir fark olacaktı.M 1 M 0 M 1 M $M_0$$M_1$f_regression$M_0$$M_1$$M_2$

Üç özelliklere sahip varsayalım hem ve yüksek çıkış ile ilişkilidir ederken, aynı zamanda son derece birbiriyle ilişkili sadece midly ile ilişkilidir . Puanlama yönteminiz en iyi skorları ve atayacaktır , ancak sıralı metot atanmayabilir . İlk turda, oluşturmak için gibi en iyi özelliği . Sonra, her iki değerlendirirsiniz ve için . As$x_1, x_2, x_3$$x_1$$x_2$$y$$x_3$$y$$x_1$$x_2$$x_1$$M_1$$x_2$$x_3$$M_2$$x_2$zaten seçilmiş bir özellikle yüksek oranda ilişkilidir, içerdiği bilgilerin çoğu modele zaten dahil edilmiştir ve bu nedenle prosedür seçebilir . Daha az bağıntılı iken , daha bağıntılı artıkların , o kısmı daha şimdiden açıklamaz . Önerdiğiniz iki prosedür bu şekilde farklıdır.$x_3$$y$$x_1$$x_2$

Yine de modelinizi sırayla oluşturarak ve şu anda yaptığınız gibi sabit modeliyle karşılaştırmak yerine her ek özellik için kazanç farkını ölçerek fikrinizle aynı etkiyi taklit edebilirsiniz . Sonuç, sonuçlardan farklı olmaz . Bu işlevin var olmasının nedeni, bu sıralı özellik seçimini sağlamaktır ve ek olarak sonucu, önemi değerlendirmek için kullanabileceğiniz bir F ölçüsüne dönüştürür.$M_0$f_regression

---

F-testinin amacı anlamlılık düzeyi sağlamaktır. Dahil ettiğiniz özelliklerin değeriniz açısından önemli olduğundan emin olmak istiyorsanız, bir F testi kullanırsınız. Sadece en iyi özelliklerini eklemek istiyorsanız, sadece korelasyonu kullanabilirsiniz.$p$$k$

---

Ek materyal: Faydalı bulabileceğiniz F testine giriş

Ne olduğunu anlamak için Scikit kaynak kodunu inceleyerek biraz zaman geçirdim f_regressionve gözlemlerimi buraya göndermek istiyorum.

Orijinal soru şuydu:

S : En yüksek skorlara sahip ilk 4 özelliği SelectKBest(f_regression, k = 4)kullanmak LinearRegression(fit_intercept=True)ve seçmekle aynı sonucu veriyor mu?

Cevap evet . Ayrıca, puanların verdiği göreli sıralama aynıdır.

İşte f_regressiongiriş matrisi ve dizi ne yapar . Her özelliği için : ile korelasyonu hesaplar Daha sonra F-istatistiği burada , örnek sayısı (küçük bir fark vardır) parametre ise ; o zaman ile çarpılır ). Bu F-değerleri daha sonra ilişkili p-değerleri ile birlikte döndürülür. Sonuç bir demettir (F-değerleri, p-değerleri). Sonra$X$$y$$X[:, i]$$y$

$$\rho_i = \frac{(X[:, i] - mean(X[:, i])) * (y - mean(y))}{std(X[:, i]) * std(y)}.$$ $$F_i = \frac{\rho_i^2}{1 - \rho_i^2}*(n-2),$$ $n = len(y)$centerFalse$n-1$SelectKBestbu grubun ilk bileşenini alır (bunlar puanlar olacaktır), sıralar ve en yüksek puanlara sahip ilk özelliklerini seçer . Sıralı bir uygulama ya da herhangi bir şey yoktur ve p-değerleri de kullanılmaz.$k$$X$

Şimdi , ve için hesaplanan puan olsun . Bu, tek bir değişken üzerindeki bir gerilemedir, dolayısıyla . Sonra Dolayısıyla ve arasında bir fark yoktur . Biri sırayla bir model oluşturabilse de, bu böyle değildir . x [ : , i ] y R ' 2 i = ρ 2 I R, 2 ı < R, 2 J ⇔ ρ 2 $R_i^2$LinearRegression$X[:, i]$$y$$R_i^2 = \rho_i^2$

$$R_i^2 < R_j^2 \Leftrightarrow \frac{\rho_i^2}{1 - \rho_i^2} < \frac{\rho_j^2}{1 - \rho_j^2} \Leftrightarrow F_i < F_j.$$ f_regressionLinearRegressionSelectKBest