normları nelerdir ve bunlar düzenlenme ile nasıl ilişkilidir?

Son zamanlarda seyrek temsiller hakkında çok sayıda makale görüyorum ve çoğu $\ell_p$ normu kullanıyor ve biraz küçülüyor. Sorum şu: $\ell_p$ normu ve $\ell_{p, q}$ karma normu nedir? Düzenleme ile nasıl ilgili?

Teşekkürler

machine-learning regularization sparse

— Su
kaynak

$\ell_p$

‖ \vec{x} ‖_{p} = {(\sum_{i = 1}^{d} | x_{i} |^{p})}^{1 / p}

$\|\vec x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p}$

p = 2

$p=2$

‖ \vec{x} - \vec{y} ‖_{2}

$\|\vec x - \vec y\|_2$

p = \infty

$p = \infty$

‖ \vec{x} ‖_{\infty} = sup_{i} x_{i}

$\|\vec x\|_\infty = \sup_i x_i$

max_{i} x_{i}

$\max_i x_i$

p

$p$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$

0 < p < 1

$0 < p < 1$

‖ \vec{x} ‖_{p}

$\|\vec x\|_p$

( Vektörler veya sekanslar yerine fonksiyonlar dışında benzer şekilde tanımlanan normları da vardır - vektörler sonlu alanlı fonksiyonlar olduğu için gerçekten aynı şeydir.) $L_p$

hariç, nerede bir makine öğrenme uygulamasında bir norm için herhangi bir kullanım farkında değilim . Genellikle veya veya bazen vakasını gevşetmek istediğinizde görürsünüz ; değil kesinlikle dışbükey içinde , ancak olduğu için . Bu, bazı durumlarda çözüm bulmayı "kolaylaştırabilir". $p > 2$ $p = \infty$ $p = 2$ $p = 1$ $1 < p < 2$ $p = 1$ $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_p$ $1 < p < \infty$

Regularization bağlamında, eklersen sizin demek beklediğiniz yani senin amaç fonksiyonuna olmak seyrek çoğunlukla sıfır oluşan olduğunu. Bu biraz teknik, ancak temel olarak, yoğun bir çözüm varsa, aynı normla daha seyrek bir çözüm var. Çözümünüzün yoğun olmasını beklerseniz, hedefinize ekleyebilirsiniz, çünkü o zaman türeviyle çalışmak çok daha kolaydır. Her ikisi de çözeltinin çok fazla ağırlığa sahip olmasını sağlama amacına hizmet eder. $\|\vec x\|_1$ $\vec x$ $\|\vec x\|_2^2$

Karışık norm, birkaç kaynağı entegre etmeye çalıştığınızda ortaya çıkar. Temel olarak, çözüm vektörünün birkaç parçadan oluşmasını istersiniz ; burada , bazı kaynakların indeksidir. norm sadece bir tüm -norm bir vektör içinde toplanır -norms. Yani, $\vec{x}^j$ $j$ $\ell_{p,q}$ $q$ $p$

‖ \vec{x} ‖_{p, q} = {(\sum_{j = 1}^{m} {(\sum_{i = 1}^{d} | x_{i}^{j} |^{p})}^{q / p})}^{1 / q}

$\|\vec x\|_{p,q} = \left( \sum_{j = 1}^m \left( \sum_{i=1}^d |x_i^j|^p\right)^{q/p}\right)^{1/q}$

Bunun amacı, bir dizi çözümü, örneğin kullanarak "büyük boyuta ayırmak" değildir . Tek tek parçalar seyrek, ancak tüm çözümlerin normunu alarak bütün bir çözelti vektörünü nuking etme riskiniz yoktur . Böylece dışarıda normu kullanıyorsunuz. $\|\vec x\|_{1,2}$ $1$ $2$

Umarım yardımcı olur.

Daha fazla ayrıntı için bu makaleye bakın.

— Josephine Moeller
kaynak

Karışık normların açıklaması için +1. Onları kendim hiç anlamadım.

— Suresh Venkatasubramanian

(+1) Güzel cevap. CrossValidated'a hoş geldiniz, John!

— MånsT