L1 regülasyonunda regresyon Lasso ile aynı, L2 regülasyonunda regresyon regresyonuyla aynı mı? Ve “Kement” nasıl yazılır?

Makine öğrenmeyi öğrenen bir yazılım mühendisiyim, özellikle Andrew Ng'nin makine öğrenim kursları aracılığıyla . Düzenlemeyle doğrusal regresyon çalışırken , kafa karıştırıcı terimler buldum:

L1 düzenlenmesi veya L2 düzenlenmesi ile regresyon
KEMENT
Ridge regresyonu

Yani benim sorularım:

L1 düzenlileşmesi ile yapılan regresyon, LASSO ile tamamen aynı mıdır?
L2 düzenlileşmesi ile regresyon tam olarak Ridge Regression ile aynı mı?
"LASSO" yazılı olarak nasıl kullanılır? "LASSO regresyonu" olmalı mı? " Kement daha uygun " gibi bir kullanım gördüm .

Cevap yukarıdaki 1 ve 2 için "evet" ise, neden bu iki terim için farklı isimler var? "L1" ve "L2" bilgisayar bilimlerinden / matematiğinden, "LASSO" ve "Ridge" istatistiklerinden geliyor mu?

Gibi yayınları gördüğümde bu terimlerin kullanımı kafa karıştırıcı:

" L1 ve L2 normalizasyonu arasındaki fark nedir? " (Quora.com)

" Kement vs sırtını ne zaman kullanmalıyım? " (Stats.stackexchange.com)

— stackoverflowuser2010
kaynak

Yine de geç cevap veriyorum. Linear, Ridge ve Lasso Regression için hazırlanan bu kapsamlı başlangıç kılavuzu, yeni başlayanların bu terimleri net bir şekilde anlamalarına yardımcı olacaktır. Buraya

— Öğrenci 11

Evet.
Evet.
LASSO aslında bir kısaltmadır (en azından mutlak büzülme ve seçim operatörü), bu nedenle büyük harfle yazılmalıdır, ancak modern yazı Mad Max'in sözcüksel karşılığıdır . Öte yandan, Amip, LASSO terimini kullanan istatistikçilerin bile şimdi küçük harf gösterimini kullandığını yazmaktadır (Hastie, Tibshirani ve Wainwright, Sparsity ile İstatistiksel Öğrenme ). Biri sadece anahtarın motivasyonuyla ilgili tahminde bulunabilir. Akademik bir basın için yazıyorsanız, genellikle bu tür şeyler için bir stil rehberi vardır. Eğer bu foruma yazıyorsanız, ya iyi, ve kimsenin gerçekten umursadığı konusunda şüpheliyim.

notasyonu Minkowsky normlar ve bir referans boşluklar. Bunlar, taksimikab ve Öklid mesafelerinin şu ifadede olarak genelleştirilmesi : Önemli, sadece bir metrik mesafe tanımlar; üçgen eşitsizliğini karşılamıyor, bu nedenle çoğu tanımla bir mesafe değil. $L$ $L^p$ $p>0$

‖ x ‖_{p} = (| x_{1} |^{p} + | x_{2} |^{p} + . . . + | x_{n} |^{p})^{\frac{1}{p}}

$\|x\|_p=(|x_1|^p+|x_2|^p+...+|x_n|^p)^{\frac{1}{p}}$

p \geq 1

$p\ge 1$

0 < p < 1

$0<p<1$

Sırt ve LASSO arasındaki bağlantının ne zaman yapıldığından emin değilim.

Neden birden fazla isim olduğu için, bu yöntemlerin farklı zamanlarda farklı yerlerde geliştirilmeleri önemlidir. İstatistiklerdeki ortak bir tema, kavramların genellikle bağımsız bir şekilde keşfedildiği her alt alan için birer tane isme sahip olmasıdır (çekirdek fonksiyonları vs kovaryans fonksiyonları, Gaussian proses regresyonu vs Kriging, AUC vs istatistik). Ridge regresyon muhtemelen Tikhonov normalizasyonu olarak adlandırılmalıdır, çünkü metodun en eski iddiasına sahip olduğuna inanıyorum. Bu arada, LASSO yalnızca 1996'da, Tikhonov'un "sırt" yönteminden çok daha sonra tanıtıldı! $c$

— Sycorax diyor Reinstate Monica
kaynak

+1. Sparsity ders kitabındaki en son İstatistiksel Öğrenme dersinde , Hastie, Tibshirani ve Wainwright her yerde küçük harfli " lasso" yu kullanıyorlar ve ayrıca aşağıdakileri de yazıyorlar (sayfa 8'deki dipnot): "Bir kement, bir ilmik ilmekli uzun bir ip Sonunda, atları ve sığırları yakalamak için kullanılır.Bir mecazi anlamda, modelin katsayılarını “lassos” yöntemi Orijinal Kement makalesinde (Tibshirani 1996), “Kement” adı da “En Az Mutlak” için bir kısaltma olarak tanıtıldı. Seçim ve Büzülme Operatörü. ”" (CC to @ stackoverflowuser2010.)

— Amip, Monica

Ve devam ediyorlar: "Telaffuz: ABD'de" kement ",“ lass-oh ”(keçide olduğu gibi), İngiltere'de“ lass-oo ”olarak telaffuz edilme eğilimindedir. OED'de (2. baskı, 1965):“ Kement, kullananlar ve çoğu İngilizler tarafından da kement söylenir. ”" :-)

— amip

(+1) Kısaltmalar gereği gibi (kelimelerle telaffuz edilen kısaltmalar) para kazandıkça, bunların büyük harfleri kurul tarafından gider. Bir süredir 'RADAR' veya 'LAZER' görüyorum.

— Scortchi - Eski Monica

@ Sccorchi SCUBA da. Bu arada, STATA ve MATLAB'ı kısaltıyormuş gibi yazan insanlar var.

— shadowtalker

@ ssdecontrol: "ANOVA", "AnOVa" olmalı mı?

— Scortchi