Doğrusal regresyonda kullanılacak Gauss Temeli fonksiyon parametrelerini anlama

12

Gauss temel işlevini doğrusal regresyon uygulamasına uygulamak istiyorum. Ne yazık ki temel işlevi birkaç parametreleri anlamakta zorlanıyorum. Özellikle ve . $\mu$ $\sigma$

Veri setim 10.000 x 31 bir matristir. 10.000 örnek ve 31 özellik. Ben okudum "Her temel işlevi giriş vektörü x skaler bir değere dönüştürür". Bu yüzden x'in 1 örnek olduğunu varsayıyorum, böylece 1 x 31 vektör. Buradan kafam karıştı. $\mu_j$ parametresi tam olarak nedir ? Bunun temel fonksiyonların konumlarını yönettiğini okudum. Peki bu bir şeyin anlamı değil mi? Ben de j ( $\mu$ ve $\phi$ ) tarafından atıyorum , bu beni jth satır düşündürüyor. Ama bu mantıklı gelmiyor. Mı $\mu_j$ bir vektör? Şimdi $\sigma$ "mekansal ölçeği yönetir". Tam olarak nedir? Bu parametre için .1, .5, 2.5 gibi değerleri deneyen bazı uygulamalar gördüm. Bu değerler nasıl hesaplanır? Araştırma yapıyorum ve öğrenmeye örnekler arıyordum ama henüz hiçbir şey bulamadım. Herhangi bir yardım veya yön büyük takdir! Teşekkür ederim.

regression machine-learning basis-function

— user2743
kaynak

11

Kafanız karıştığında, sorunu belirterek ve sorularınızı tek tek alarak başlamama izin verin. 10.000 örnek boyutunuz var ve her örnek özellik vektörü ile açıklanıyor . Gauss radyal temel işlevlerini kullanarak regresyon yapmak istiyorsanız, formunun bir işlevini arıyorsunuz . $x\in\mathbb{R}^{31}$

f (x) = \sum_{j} w_{j} * g_{j} (x; μ_{j}, σ_{j}), j = 1.. m

$f(x) = \sum_{j}{w_j * g_j(x; \mu_j,\sigma_j}), j=1..m$

g_{i}

$g_i$ temel işlevlerinizdir. Özellikle, bulmalıyız

ağırlıkları

verilen parametreler için çok

ve

Eğer arasındaki hatayı en aza indirmek

ve karşılık gelen tahmini

=

- genellikle en küçük kareler hata en aza indirecektir.

m

$m$

w_{j}

$w_j$

μ_{j}

$\mu_j$

σ_{j}

$\sigma_j$

y

$y$

\hat{y}

$\hat{y}$

f (\hat{x})

$f(\hat{x})$

Mu abone j parametresi tam olarak nedir?

temel fonksiyonlarını bulmanız gerekir . (Hala sayısını belirlemeniz gerekir ) Her temel fonksiyonun ve (ayrıca bilinmiyor) olacaktır. Alt simge arasında değişmektedir için . $m$ $g_j$ $m$ $\mu_j$ $\sigma_j$ $j$ $1$ $m$

Mı bir vektör? $\mu_j$

Evet, bir nokta . Başka bir deyişle, özellik alanınızda bir yere işaret eder ve temeli işlevlerinin her biri için bir belirlenmelidir . $\mathbb{R}^{31}$ $\mu$ $m$

Bunun temel fonksiyonların konumlarını yönettiğini okudum. Peki bu bir şeyin anlamı değil mi?

baz fonksiyonu merkezlenmiş . Bu konumların nerede olduğuna karar vermeniz gerekecek. Yani hayır, mutlaka bir şeyin anlamı değildir (ancak onu belirleme yolları için aşağıya bakın) $j^{th}$ $\mu_j$

Şimdi "mekansal ölçeği yöneten" sigma için. Tam olarak nedir?

, temel fonksiyonların kendilerine dönersek anlamak daha kolaydır. $\sigma$

$\mathbb{R}^{1}$ $\mathbb{R}^{2}$ $\mathbb{R}^{1}$ $\sigma$ $\sigma$ $\sigma$ $\sigma$ $\sigma$

Bunun amacının ne olduğunu sorabilirsiniz. Alanın bir kısmını kaplayan zili düşünüyorsanız ( bir çizgi ) - dar bir zil çizginin sadece küçük bir kısmını kaplayacaktır *. Zilin merkezine yakın olan noktaları daha büyük bir değerine sahip olacaktır. Merkezden uzak olan noktaların değeri daha küçük olacaktır . Ölçekleme noktaları merkezden uzağa itme etkisine sahiptir - zil noktaları merkezden daha da uzağa yerleştirileceği için değerini azaltır $\mathbb{R}^{1}$ $x$ $g_j(x)$ $g_j(x)$ $g_j(x)$

Her temel fonksiyon, giriş vektörü x'i skaler bir değere dönüştürür

Evet, noktasındaki temel fonksiyonları değerlendiriyorsunuz . $\mathbf{x}\in\mathbb{R}^{31}$

\exp (- \frac{‖ x - μ_{j} ‖_{2}^{2}}{2 * σ_{j}^{2}})

$\exp\left({-\frac{\|\mathbf{x}-\mu_j\|_2^2}{2*\sigma_j^2}}\right)$

Sonuç olarak bir skaler elde edersiniz. Skaler sonuç, noktasının tarafından verilen merkezinden uzaklığına bağlıdır. ve skaler . $\mathbf{x}$ $\mu_j$ $\|\mathbf{x}-\mu_j\|$ $\sigma_j$

Bu parametre için .1, .5, 2.5 gibi değerleri deneyen bazı uygulamalar gördüm. Bu değerler nasıl hesaplanır?

Bu elbette Gauss radyal temel işlevlerini kullanmanın ilginç ve zor yönlerinden biridir. Web'de arama yaparsanız, bu parametrelerin nasıl belirlendiğine ilişkin birçok öneri bulacaksınız. Kümelemeye dayalı bir olasılık çok basit terimlerle özetleyeceğim. Bunu ve diğer birkaç öneriyi çevrimiçi olarak bulabilirsiniz.

10000 örneğinizi kümeleyerek başlayın (önce boyutları azaltmak için PCA kullanabilirsiniz, ardından k-Means kümeleme). Sen sağlayabilirsiniz (bu genellikle iyi belirlemek için çapraz doğrulama istihdam bulmak küme sayı ). Şimdi, her küme için radyal temel işlevi oluşturun. Her radyal temel işlevi için merkezi olsun (örneğin ortalama, centroid, vb.). Let (örn yarıçap ...) Şimdi devam edin ve regresyon gerçekleştirmek küme genişliğini yansıtır (bu basit tanım o her adımda bir sürü şey var sadece Genel bakış- değildir!) $m$ $m$ $g_j$ $\mu_j$ $\sigma_j$

* Tabii ki, çan eğrisi elde tanımlanır - için böylece on line her yerde değerine sahip olacaktır. Ancak, merkezden uzak değerler ihmal edilebilir $\infty$ $\infty$

— martino
kaynak

Güzel cevap! Ancak, araması , destek vektör makinesi regresyonunu (gauss çekirdeği ile) bitirmiyoruz mu?

μ

$\mu$

— O_Devinyak

@ O_Devinyak- Birçok temel genişletme yöntemi bir tür parametre tahmini gerektirecektir. bulmak için birçok yolu vardır, bu yüzden bu mutlaka SVR için sorunu azaltmak anlamına gelir sanmıyorum. Dürüst olmak gerekirse, ben SVR konusunda bir uzman değilim ama en aza indirilmiş kayıp fonksiyonu kesinlikle farklı ve birçok özellik göz ardı eminim - bu Destek Vektör yolu. Temel işlevlerde, değerlendirme için tüm işlevleri kullanırız, ancak neyse ki kompakt destek, temel işlevlerin çoğunun ihmal edilebilir veya sıfır değerler döndürdüğü anlamına gelir. Her neyse, bu forumda iyi bir soru olurdu

μ

$\mu$

— martino

Neden temel fonksiyonun çok değişkenli bir Gaussian'ın üstel kısmı gibi görünmesini sağlayacak bir kovaryans matrisi yerine ölçeğine ihtiyacımız var ?

σ_{j}

$\sigma_j$

— yığın akışı

1

Basit bir açıklama yapmaya çalışayım. Böyle bir gösterimde satır numarası olabilir, ancak özellik numarası da olabilir. Biz geç ise daha sonra O anlamına gelir, sayı bulunur sütun vektördür isimli skaler ve bir sütun -vektör. Biz geç ise daha sonra belirtmektedir satır numarasını, skalerdir, kolon vektörü ve bir bir sıra vektör. Notasyonu satır ve belirtmektedir O anlamına gelir sütun daha yaygındır, bu nedenle bize ilk varyant kullanın. $j$ $y=\beta_0+\sum_{j=1:31}{\beta_j\phi_j(x)}$ $j$ $y$ $\beta_j$ $\phi_j(x)$ $y_j=\beta\phi_j(x)$ $j$ $y_j$ $\beta$ $\phi_j(x)$ $i$ $j$

Gauss temel fonksiyonunu lineer regresyona (skaler) şimdi (vektör) özelliklerinin sayısal değerlerine değil, ile diğer tüm noktaların merkezi arasındaki mesafelere bağlıdır . Bu şekilde , inci gözlemin özellik özellik değerinin yüksek veya küçük olmasına bağlı değildir, ancak özellik özellik değerinin bu -feature ortalamasına yakın veya uzak olmasına bağlıdır. . Bu yüzden için bir parametre değildir. Sadece bir veri kümesinin bir özelliğidir. parametresi $y_i$ $x_i$ $x_i$ $\mu_i$ $y_i$ $j$ $i$ $j$ $j$ $\mu_{ij}$ $\mu_j$ $\sigma^2$ skaler bir değerdir, pürüzsüzlüğü kontrol eder ve ayarlanabilir. Eğer küçükse, uzaklıktaki küçük değişiklikler büyük etkiye sahip olacaktır (dik gaussyanı hatırlayın: merkezden zaten küçük mesafede bulunan tüm noktaların küçük değerleri vardır). Büyükse, mesafedeki küçük değişiklikler düşük etkiye sahip olacaktır (düz gaussyanı hatırlayın: azalması $y$ $y$ $\sigma^2$

— O_Devinyak
kaynak

0

$x\in\mathbb{R}^{31}$ $\mu_j\in\mathbb{R}^{31}$ $e^{(x-\mu_j)'\Sigma_j^{-1}(x-\mu_j)}$ $\Sigma_j\in\mathbb{R}^{31\times 31}$ $j$ $j$ $\Sigma_j$ $j$

— Karel Macek
kaynak