KKT'ye karşı kısıtlanmamış kement regresyonu formülasyonu


20

L1 cezalandırılmış regresyon (diğer adıyla kement) iki formülasyonda sunulmaktadır. İki objektif fonksiyonun O zaman iki farklı formülasyon , ve eşdeğer olarak Karush-Kuhn-Tucker (KKT) koşullarını kullanarak, ilk formülasyon için durağanlık koşulunun, ikinci formülasyonun gradyanını alıp 0'a eşit olarak ayarlamakla eşdeğer olduğunu görmek kolaydır. Ne bulamıyorum, ne de anlayamıyorum , ilk formülasyon için tamamlayıcı gevşeklik koşulu,

Q1=12||YXβ||22Q2=12||YXβ||22+λ||β||1.
argminβQ1
||β||1t,
λ ( | | β | | 1 - t ) = 0
argminβQ2.
λ(||β||1t)=0, ikinci formülasyonun çözeltisi ile yerine getirilmesi garanti edilmektedir.

Yanıtlar:


16

İki formülasyon , birinci formülasyondaki her değeri için, iki formülasyonun aynı minimizer sahip olacağı şekilde, ikinci formülasyon için değeri olduğu anlamında eşdeğerdir .λ βtλβ

İşte gerekçe:

Kement formülasyon göz önünde bulundurun: asgarileştirir olsun ve let . Benim iddiam, ilk formülasyonda ayarlarsanız , ilk formülasyonun çözümü de . İşte kanıt:

f(β)=12||YXβ||22+λ||β||1
b = | | β | | 1 t = b β βb=||β||1t=bβ

İlk formülasyonu düşünün Mümkünse bu ikinci formülasyonun bir çözümü olsun öyle ki (işaretten kesinlikle daha az not edin). O zaman ın kement için bir çözüm olduğu gerçeğiyle çelişen olduğunu görmek kolaydır. Böylece, birinci formülasyonun çözümü de .

min12||YXβ||22 s.t.||β||1b
β^||β^||1<||β||1=bf(β^)<f(β)ββ

Yana , tamamlayıcı gevşeklik durumu çözeltisi noktasında yerine getirilir .t=bβ

Bu nedenle, ile bir kement formülasyonu verildiğinde , kement çözeltisinin normunun değerine eşit bir kullanarak kısıtlı bir formülasyon oluşturursunuz . Tersine, ile kısıtlanmış bir formülasyon verildiğinde , bir bulursunuz , böylece kementin çözümü kısıtlanmış formülasyonun çözeltisine eşit olacaktır.λtl1tλ

(Alt sınıfları biliyorsanız, bu lambda'yı denklemini çözerek bulabilirsiniz , buradaλXT(yXβ)=λzz||β||1)


1
Mükemmel. Çözümü gördükten sonra, oraya kendiniz gelmediğiniz için her zaman aptal hissedersiniz. Çelişkiyi bulurken, bulduğumuzu varsayalım ki ? β^||β^||1<||β||1=b
goodepic

Flaggin cevabını doğru olarak düşünün
bdeonovic

2
nedenf(β^)<f(β)
goofd

Bu, birinci formülasyona yönelik çözeltinin ayrıca ll-b normuna sahip olması gerektiğini kanıtlar. İki çözümün gerçekten aynı olduğunu nasıl kanıtlar?
broncoAbierto

1
Biz başvuruda bulunamaz böylece Ayrıca, Kement daima benzeri bir çözüm yoktur asgarileştirir. arxiv.org/pdf/1206.0313.pdf . Bununla birlikte, küçültücü kümesine başvurabilir ve bazı bu kümeye ait olması gerektiğini gösterebiliriz . β^β
broncoAbierto

3

Elexhobby'nin bu kanıt fikrinin iyi olduğunu düşünüyorum, ama bunun tamamen doğru olduğunu düşünmüyorum.

İlk formülasyon için bir çözümün varlığını göstererek, , öyle kibir çelişkiye yol açarsa, yalnızca, .β^β^<ββ^=ββ^=β

Bunun yerine şu şekilde ilerlememizi öneririm:

Kolaylık sağlamak için, sırasıyla birinci ve ikinci formülasyonu ve gösterelim . Diyelim ki , ile benzersiz bir çözümüne sahip . Let , bir çözüm . Sonra,(kısıtlama nedeniyle daha büyük olamaz) ve bu nedenle . Eğer daha sonra değil çözüm bizim varsayımlar çelişmektedir. EğerP1P2P2ββ=bP1β^ββ^βf(β^)f(β)f(β^)<f(β)βP2f(β^)=f(β)sonra , çünkü çözümün benzersiz olduğunu varsaydık.β^=β

Ancak, Kement'in birden fazla çözümü olması söz konusu olabilir. Arxiv.org/pdf/1206.0313.pdf dosyasının lemma 1'i ile tüm bu çözümlerin aynı normuna (ve elbette aynı minimum değere) sahip olduğunu biliyoruz . Bu normu için kısıtlama olarak ve devam .1P1

ile ile çözüm kümesini gösterelim . Bırakın , . Sonra, ve dolayısıyla . Eğer bazı (ve dolayısıyla hepsi için) daha sonra varsayımlarımıza çelişmektedir. Eğer bazı daha sonra çözeltilerin grubu değildirSP2β=b βSP1β^Sβ^ββSf(β^)f(β)βSf(β^)=f(β)βSβ^Sf(β^)<f(β)βSSP2 . Bu nedenle, her çözelti olan , herhangi bir çözelti, yani ayrıca bir çözüm . Tamamlayıcının da geçerli olduğunu kanıtlamaya devam edecektir.P1SP1P2

Sitemizi kullandığınızda şunları okuyup anladığınızı kabul etmiş olursunuz: Çerez Politikası ve Gizlilik Politikası.
Licensed under cc by-sa 3.0 with attribution required.