Scikit-learn kullanarak polinom regresyon

Scikit-learn'ı polinom regresyonu için kullanmaya çalışıyorum. Okuduğum kadarıyla polinom regresyonu özel bir lineer regresyon vakasıdır. Belki de bir scikit'in genelleştirilmiş doğrusal modellerinden birinin daha yüksek dereceli polinomlara uyması için parametreleştirilebileceğini ümit ediyordum ama bunun için bir seçenek göremiyorum.

Poli çekirdekli bir Support Vector Regressor kullanmayı başardım. Bu, verilerimin bir alt kümesinde işe yaradı, ancak daha büyük veri kümelerine uyması çok uzun sürüyor, bu yüzden hala daha hızlı bir şeyler bulmam gerekiyor (biraz hassas işlem olsa bile).

Burada bariz bir şeyi mi özlüyorum?

Veriler , bir sütun vektörü ve y , hedef vektör olarak, x'in polinomlarını ekleyerek polinom regresyonu yapabilirsiniz . Örneğin, düşünün$\mathbf{x}$$\mathbf{y}$$\mathbf{x}$

$$\mathbf{x} = \begin{bmatrix} 2 \\[0.3em] -1 \\[0.3em] \frac{1}{3} \end{bmatrix}$$

Doğrusal regresyonda sadece bu vektörün kullanılması, modeli ima eder:

$$y = \alpha_1 x$$

$$X = \begin{bmatrix} 2 & 4 & 8 \\[0.3em] -1 & 1 & -1 \\[0.3em] \frac{1}{3} & \frac{1}{3^2} & \frac{1}{3^3} \end{bmatrix}$$

Bu, sklearn'ün doğrusal regresyonunda kullandığımız yeni veri matrisimizdir ve modeli temsil eder:

$$y = \alpha_1 x + \alpha_2x^2 + \alpha_3x^3$$

---

$1$

teori

Polinom regresyonu, özel bir doğrusal regresyon vakasıdır. Ana fikri ile özelliklerinizi nasıl seçersiniz. 2 değişkenli çok değişkenli regresyona bakarak: x1ve x2. Doğrusal regresyon şöyle görünecek:y = a1 * x1 + a2 * x2.

Şimdi bir polinom regresyonuna sahip olmak istiyorsunuz (hadi 2 derece polinom yapalım). Biz birkaç ek özellikler oluşturur: x1*x2, x1^2ve x2^2. Böylece 'doğrusal regresyon'unuzu alacağız:

y = a1 * x1 + a2 * x2 + a3 * x1*x2 + a4 * x1^2 + a5 * x2^2

Bu , boyutsal bir kavramın lanetini güzel bir şekilde göstermektedir , çünkü yeni özelliklerin sayısı, polinom derecesinin artmasıyla doğrusaldan çok daha hızlı artmaktadır. Bu konsepte buradan bir göz atabilirsiniz .

Scikit-learn ile alıştırma yapın

Bunların hepsini scikit içerisinde yapmanız gerekmez. Polinom regresyonu zaten orada mevcut ( 0.15 versiyonunda. Nasıl güncelleyeceğinizi kontrol edin ).

from sklearn.preprocessing import PolynomialFeatures
from sklearn import linear_model

X = [[0.44, 0.68], [0.99, 0.23]]
vector = [109.85, 155.72]
predict= [[0.49, 0.18]]
#Edit: added second square bracket above to fix the ValueError problem

poly = PolynomialFeatures(degree=2)
X_ = poly.fit_transform(X)
predict_ = poly.fit_transform(predict)

clf = linear_model.LinearRegression()
clf.fit(X_, vector)
print clf.predict(predict_)

$x_1$$x_2$$y = a_1x_1 + a_2x_2 + a_3x_1^2 + a_4x_2^2 + a_5x_1x_2$$a_5x_1x_2$) bahsettiğim kişi.