Etkileşimler sadece regresyon bağlamında faydalı mıdır?

Etkileşim terimini her zaman regresyon bağlamında okudum. Ayrıca knn veya svm gibi farklı modellerle etkileşimleri de düşünmeli miyiz?

Varsa , ya da daha fazla özellik ve olanak demek yararlı etkileşimleri bulmak için her zamanki gibi ne olduğunu gözlemler? Tüm kombinasyonları denemek ister misiniz? Veya sadece mantıklı kombinasyonlar mı kullanıyorsunuz?$50$$100$$1000$

Etkileşim, regresyon modellerinde açıkça gereklidir, çünkü formül kendi başına herhangi bir etkileşim içermez. Daha kesin olarak, bir regresyon modeli her zaman girdisinde lineer olurken, etkileşimi özelliklerin doğrusal olmayan bir kombinasyonudur.$X_i * X_j$

Bunu görmenin en basit yolu, doğrusal olmayan bir kombinasyon gerektirdiği için herhangi bir etkileşimi olmayan bir regresyon modeli olan XOR-Problemidir.

Öte yandan KNN'ler ve SVM'ler (ve diğer birçok model) evrensel fonksiyon tahmin edicileridir. Bu, girdilerini sadece doğrusal bir şekilde değil, olası herhangi bir doğrusal olmayan şekilde de birleştirebilecekleri anlamına gelir. Bu, yeterli katmanlar veya uygun bir çekirdek olarak verilir, temel olarak kendi etkileşimlerini, tam olarak ihtiyaç duydukları şekilde "oluşturabilirler". Bununla birlikte, belirli etkileşimlerin önemli olduğunu biliyorsanız veya bekliyorsanız, modelleri doğru yönde yönlendirmek için yine de bir girdi olarak kullanabilirsiniz.

Benzer şekilde, ağaç temelli modeller sadece etkileşimlerden oluşan olarak yorumlanabilir. Temel olarak, ağaç tabanlı bir modeldeki bir bölünme, önceki tüm değişkenlerle belirli bir etkileşim oluşturur.

Bu nedenle, hangi etkileşimlerin kullanılacağına karar vermek için, yeterince "yüksek güçlü" modeller (yani evrensel işlev tahmin ediciler) için bunlara ihtiyacınız yoktur ve modelin kendi sihrini yapmasına izin verebilirsiniz. Diğer modeller için buna bağlıdır. Kararı yönlendirmek için CHAID veya adım adım regresyon gibi bazı teknikler vardır . CHAID ayrıca çok sayıda özellik ile çalışır, adım adım regresyon için olası etkileşimlerin sayısında kaybolabilir. Eğer varsa göz önüne alındığında özellikleri vardır (iki yönlü değil, aynı zamanda daha yüksek seviyedeki etkileşim sadece sayma) olası etkileşimleri.$N$$2^N$

Hayır.

Aslında, polinom çekirdekli SVM'nin tüm özellikler arasında tüm (yüksek dereceli) etkileşimleri eklediğini düşünebilirsiniz. Örneğin, iki özelliğimiz varsa , 2. dereceden polinomlu SVM .$(x_1,x_2)$$(x_1^2,x_2^2,x_1x_2)$

SVM, Kernel Trick olarak adlandırılır, çünkü örtük olarak çok daha az hesaplama karmaşıklığı ile polinom temelli genişleme yapıyor. 10 özellik üzerinde 10. sıra polinom genişlemesini düşünün, manuel olarak genişletin sütun olacak. Ama çekirdek hilesi kullanarak bunu kolayca yapabiliriz.$10^{10}$

Yani, sadece etkileşim diğer modellerde yaygın olarak kullanılmamıştır. Etkileşime ek olarak, diğer modeller özellik mühendisliği ile daha fazlasını yapmaya çalışır. İki sütunun çarpımı yerine, daha karmaşık özellikler elde edilir.

Düzeltilmiş R-kare, olasılık regresyonu için BIC (alternatif olarak AICc ve diğerleri), VIF ve ANOVA'nın F-istatistiğini geliştiren etkileşimler, ikincisi kısmi olasılıkları kullanılarak katkıda bulunmayan olarak değerlendirilen bireysel parametreler içermez.

Ayrıca çok önemli, ama sorulmamış olan, yeniden parametrelendirmenin, hem bireysel değişkenlerin etkisini hem de etkileşimlerini belirgin bir şekilde geliştirebilmesidir. Bununla birlikte, BIC, AIC ve diğer olasılık kalite ölçümleri, bu gibi amaçlar için ayarlanmış R-kare, VIF ve ANOVA'nın F-istatistiklerini bırakarak farklı yeniden fiyatlandırmaların karşılaştırılması için geçerli değildir.