RBF çekirdek matrisleri koşulsuz olma eğilimindedir mi?

Bir çekirdek tabanlı makine öğrenme algoritması (KLPP) uygulamak için RBF çekirdek işlevini kullanıyorum, sonuçta ortaya çıkan çekirdek matrisi son derece kötü koşullu olarak gösterilmiştir. L2 normunun koşul sayısı $K$

K (i, j) = \exp (\frac{- (x_{i} - x_{j})^{2}}{σ_{m}^{2}})

$K(i,j)= \exp\left({\frac{-(x_{i}-x_{j})^2}{ \sigma_{m}^2}}\right)$

10^{17} - 10^{64}

$10^{17}-10^{64}$

İyi şartlandırmanın bir yolu var mı? Parametre ayarlanması gerekiyor, ama tam olarak nasıl olduğunu bilmiyorum. $\sigma$

Teşekkürler!

— ZeyuHu
kaynak

Eğer yaparsanız iyi, küçük Eğer durum numarasını artırır.

σ_{m}

$\sigma_m$

— user189035

Yanıtlar:

Çekirdek genişliğini azaltmak genellikle koşul sayısını azaltır. $\sigma_m$

Bununla birlikte, çekirdek fonksiyonlar, temel fonksiyonların çakışması koşuluyla, herhangi bir temel fonksiyon veya nokta dağılımı için tekil veya tekil hale gelebilir. Bunun nedeni aslında oldukça basit:

Çekirdek matrisi belirleyici sıfır olduğunda tekildir . $K$ $\det(K)$
İnterpolasyonunuzda iki nokta ve değiştirilmesi , deneme noktalarınızın sabit kaldığı varsayılarak, iki sıra değişimi ile eşdeğerdir . $x_i$ $x_j$ $K$
Bir matristeki iki satırı değiştirmek, belirleyicisinin işaretini değiştirir.

Şimdi iki nokta ve ve yer değiştirmeleri için yavaşça döndürdüğünüzü hayal edin . Bunu yaparken, belirleyicisi işareti değiştirerek aradaki bir noktada sıfır olur. Bu noktada, , tanım gereği tekildir. $x_i$ $x_j$ $K$ $K$

— Pedro
kaynak

K matrisleri simetrik değil - iki nokta takas satır ve sütunlarını değiştirmiyor mu?

— denis

@Denis Bu sadece düğümleriniz ve deneme puanlarınız aynıysa ve her ikisini birden taşırsanız geçerlidir. Bu yüzden ikinci mermide "deneme puanlarınızın sabit kaldığını varsayarak" yazdım.

— Pedro

Gauss'ların çekirdek matrisi (OP'nin sorusu) zaten yarı yarıya pozitif mi?

— denis

@Denis: Yine, bu RBF enterpolasyon probleminizi nasıl tanımladığınız sorusudur. Sahip en genel durumu ele alalım noktaları üzerinde RBFs merkezli , ve en interpolasyon en aza indirmek istiyorsanız noktaların , . Posterin örneği ve olduğunu varsayar . Başlangıçta ayarlanırsa ve , o zaman sadece taşımak ve , biz trivially tekil üretebilir .

N

$N$

x_{i}

$x_i$

i = 1 \dots N

$i=1\dots N$

M

$M$

ξ_{j}

$\xi_j$

j = 1 \dots M

$j=1\dots M$

M = N

$M=N$

ξ_{j} = x_{i}

$\xi_j=x_i$

M \leftarrow N

$M\leftarrow N$

ξ_{j} \leftarrow x_{i}

$\xi_j \leftarrow x_i$

x_{i}

$x_i$

K

$K$

— Pedro

Birkaç öneri:

Ortalama mesafeyi seçin | rastgele - en yakın . ( birim küpünde eşit olarak dağıtılmış noktaları için ucuz bir yaklaşım 0,5 / .) İstiyoruz yakınında için büyük , arka plan gürültüsü için küçük; bunu birkaç rastgele için çizin . $\sigma \sim$ $x$ $x_i$ $N$ $\mathbb{R}^d, d\ 2 .. 5$ $N^{1/d}$
$\phi( |x - x_i| )$ $x_i$ $x$ $x$
0, , ya da öteye kaydırın ; yani, düzenleyin. $K$ $K \to K + \lambda I$ $\lambda \sim 10^{-6}$
Çözme ağırlıklarına bakın . Bazıları hala büyükse (durum numarasına bakılmaksızın), Boyd'un (aşağıda) Gaussian RBF'nin temel olarak zayıf olduğunu teyit etme eğilimi gösterir. $(K + \lambda I) w = f$

(RBF yönelik bir alternatif, IDW Ters mesafeli ağırlıklandırma olduğunu. Bu oto-ölçeklendirme avantajı vardır, 1 2 3 yakın mesafeler için aynı 100 200 300 gelince da ben açıkça kullanıcı seçimini bulmak , sayı Yakınlarda düşünülmesi gereken, ızgara aramasından daha net .) $\dots$ $\dots$ $Nnear$ $\sigma, \lambda$

John P. Boyd, Hızlı Gauss Dönüşümünün Gauss radyal temel fonksiyon serilerini toplamak için faydasız olduğunu söylüyor

Gaussian RBF interpolant, interpolantın üstel olarak büyük katsayılara sahip küçük terim farkı olması bakımından çoğu seri için koşulsuzdur.

Bu yardımcı olur umarım; lütfen deneyiminizi paylaşın.

— denis
kaynak