Sıkıştırılmış algılama olarak, bir teoremi garantisi yoktur

Kement için benzer bir teorem var mı? Böyle bir teorem varsa, sadece kementin stabilitesini garanti etmekle kalmaz, aynı zamanda kemente daha anlamlı bir yorum sağlar:

kement seyrek regresyon katsayısı vektörü ortaya çıkarabilir $c$ yanıtı oluşturmak için kullanılan $y$ ile $y = Xc$ .

Bu soruyu sormamın iki nedeni var:

1. Bence 'kement seyrek bir çözümü tercih ediyor' özellik seçimi için neden kement kullanmanın bir cevabı değildir, çünkü seçtiğimiz özelliklerin avantajının ne olduğunu bile anlayamayız.

2. Kementin özellik seçimi için kararsız olduğu için kötü şöhretli olduğunu öğrendim. Pratikte, stabilitesini değerlendirmek için bootstrap örnekleri çalıştırmamız gerekir. Bu istikrarsızlığa neden olan en önemli neden nedir?

Ek:

Verilen $X_{N \times M} = (x_1, \cdots, x_M)$ . $c$ , bir $\Omega$ -zaman vektörüdür ( \ Omega \ leqslant M$\Omega \leqslant M$ ). İşlem $y = Xc$ tepkisi oluşturur $y$ . Eğer $X$ düzenin MGP (boş alan özelliği) sahip $\Omega$ ve kovaryans matrisi $X$ sıfıra bir özdeğer yakın olan, bir tek çözüm olacaktır

Ne bu teoremi de söyler de düzenin değil MGPnı sahiptir , çözmek için basitçe umutsuz .$X$$\Omega$$\text{argmin}_{c: y = Xc} \Vert c \Vert_1$

DÜZENLE:

Bu harika cevapları aldıktan sonra, bu soruyu sorduğumda kafam karıştığını fark ettim.

Bu soru neden kafa karıştırıcı:

tasarım matrisinin kaç özelliğe (sütun) sahip olacağına karar vermemiz gereken bir araştırma makalesini okudum (yardımcı özellikler birincil özelliklerden oluşturulur). Tipik bir problemi olduğu için, nin kement çözeltisinin gerçek seyrek çözeltinin iyi bir yaklaşımı olabileceği şekilde iyi yapılandırılması beklenir.$X_{N \times M}$$n < p$$D$

Akıl yürütme ekte bahsettiğim teoremden yapılmıştır : Eğer bir -sparse çözeltisi bulmayı hedeflersek , NSP siparişi sahip olması daha iyidir .$\Omega$$c$$X$$\Omega$

Genel bir matrisi için, ihlal edilirse,$N \times M$$N > C \Omega \ln M$

bir sabit ve sağlam kurtarma den ve mümkündür$c$$D$$P$

$D$ , karşılık gelir , , karşılık gelir$X$$P$$y$

... ilişkisinden beklendiği gibi , tanımlayıcının seçimi daha kararsız hale gelir, yani farklı eğitim setleri için seçilen tanımlayıcı genellikle farklıdır ...$N = C \Omega \ln M$

İkinci alıntı beni şaşırtan kısım. Eşitsizlik ihlal edildiğinde bana göre sadece çözüm belki benzersiz değil (bahsedilmiyor), aynı zamanda tanımlayıcı da daha kararsız hale gelecek.

GÜNCELLEME

McDonald's'ın risk tutarlılığı kavramının istikrarla ilgili olduğu cevabım hakkındaki geri bildirimi için bu ikinci gönderiye bakın .

1) Eşsizlik ve Kararlılık

Sorunuzu cevaplamak zor çünkü iki farklı konudan bahsediyor: teklik ve istikrar .

• Sezgisel olarak, bir çözüm sabit bir veri kümesi verildiğinde benzersizdir , algoritma her zaman aynı sonuçları üretir. Martin'in cevap kapağı bu noktayı ayrıntılı olarak açıklıyor.

• Diğer yandan stabilite , sezgisel olarak, eğitim verileri biraz değiştirildiğinde öngörünün çok fazla değişmediği bir şekilde anlaşılabilir.

Kement özelliği seçimi (genellikle) Çapraz Doğrulama yoluyla gerçekleştirildiğinden, Kement algoritması farklı veri katlarında gerçekleştirilir ve her seferinde farklı sonuçlar verebileceğinden, kararlılık sorunuz için geçerlidir.

Kararlılık ve Ücretsiz Öğle Yemeği Yok Teoremi

Dan tanımını kullanarak burada biz tanımlarsak Düzgün stabilite olarak:

Bir algoritma, aşağıdakiler geçerliyse, kayıp fonksiyonu ile ilgili olarak tekdüze bir kararlılığa sahiptir:$\beta$$V$

$$\forall S \in Z^m \ \ \forall i \in \{ 1,...,m\}, \ \ \sup | > V(f_s,z) - V(f_{S^{|i},z}) |\ \ \leq \beta$$

Bir fonksiyonu olarak kabul terimi olarak yazılabilir . olarak azaldığında algoritmanın kararlı olduğunu söylüyoruz .$m$$\beta$$\beta_m$$\beta_m$$\frac{1}{m}$

Daha sonra "Hayır Free Lunch Teoremi, Xu ve Caramis (2012)" devletler olduğunu

Bir algoritma seyrek ise , fazlalık özellikleri tanımlaması anlamında, bu algoritma kararlı değildir (ve bağlı düzgün kararlılığı sıfıra gitmez). [...] Bir algoritma kararlıysa, seyrek olacağına dair bir umut yoktur. (sayfa 3 ve 4)$\beta$

Örneğin, düzenli regresyon sabittir ve gereksiz özellikleri tanımlamaz, düzenli regresyon (Kement) kararsızdır. $L_2$$L_1$

Sorunuzu cevaplama girişimi

Bence 'kement seyrek bir çözümü tercih ediyor' özellik seçimi için neden kement kullanmanın bir cevabı değil

• Kabul etmiyorum, Lasso'nun özellik seçimi için kullanılmasının nedeni, seyrek bir çözüm vermesidir ve IRF özelliğine sahip olduğu gösterilebilir, yani Yedekli Özellikleri Tanımlar.

Bu istikrarsızlığa neden olan en önemli sebep nedir

• Ücretsiz Öğle Yemeği Yok Teoremi

Daha ileri gitmek

Bu, Çapraz Doğrulama ve Kement kombinasyonunun işe yaramadığı anlamına gelmez ... aslında çeşitli koşullar altında çok iyi çalıştığı deneysel olarak (ve çok destekleyici teori ile) gösterilmiştir. Buradaki ana anahtar kelimeler tutarlılık , risk, oracle eşitsizlikleri vb.

McDonald ve Homrighausen (2013) tarafından sunulan aşağıdaki slaytlar ve bildiriler, Kement özelliği seçiminin iyi çalıştığı bazı koşulları açıklamaktadır: slaytlar ve kağıt: "Kement, kalıcılık ve çapraz doğrulama, McDonald ve Homrighausen (2013)" . Tibshirani'nin kendisi de sparcity , lineer regresyon hakkında çok sayıda not yayınladı

Tutarlılık için çeşitli koşullar ve bunların Kement üzerindeki etkisi aktif bir araştırma konusudur ve kesinlikle önemsiz bir soru değildir. Sizi ilgili bazı araştırma makalelerine yönlendirebilirim:

• Xu'nun ücretsiz öğle yemeği yok teoreminde video dersleri
• HM Bøvelstad ve diğerleri, Gen seçimi için özellik seçme yaklaşımlarının karşılaştırılması, (2007)
• Kement, kalıcılık ve çapraz doğrulama, McDonald ve Homrighausen (2013)
• Huang ve Bowick, Özet ve tartışma: “Kararlılık Seçimi”
• Lim ve Yu, Çapraz Doğrulama ile Tahmin Kararlılığı, (2015)
• Peter Buhlmann'ın konuşması: Yüksek Boyutlu Veriler için Kararlılık Seçimi, (2008) ve beraberindeki makale
• Wang, Nan ve tümü, Random Lasso, (2011)
• Stackexchange post: Büyük ile uğraşırken model kararlılığı , küçük problemi$p$$n$
• Roberts, Nowakm Kementin çapraz doğrulama değişkenliğine karşı stabilize edilmesi (2014) , "yüzdelik- kementin, kementle karşılaştırıldığında hem model seçim kararsızlığında hem de model seçim hatasına büyük düşüşler sağlayabileceğini" iddia ediyor.
• Tibshirani ve Wasserman'ın sparcity , doğrusal regresyon hakkında harika notları

Gelen yorumlar Daniel J. McDonald

Indiana Üniversitesi Bloomington'da yardımcı doçent, Xavier Bourret Sicotte'nin orijinal yanıtında bahsedilen iki makalenin yazarı .

Açıklamanız genellikle doğrudur. İşaret edeceğim birkaç şey:

1. Özgeçmiş ve kement hakkındaki yazı serisindeki amacımız, "Kement + Çapraz Doğrulama (CV)" ve "Kement + optimal " nın$\lambda$ başarılı olduğunu kanıtlamaktı . Özellikle, tahminlerin de işe yaradığını göstermek istedik (modelsiz). Katsayıların doğru geri kazanımı (doğru seyrek olmayanları bulma) hakkında açıklama yapmak için, yapmak istemediğimiz seyrek bir gerçeği varsaymak gerekir.

2. Algoritmik kararlılık risk tutarlılığını ifade eder (ilk önce Bousquet ve Elisseeff tarafından kanıtlanmıştır). Risk tutarlılığıyla,sıfıra gider; burada f, veya sınıf yanlış belirtilmişse, bir sınıf içindeki en iyi yordayıcıdır. Ancak bu sadece yeterli bir durumdur. Bağlantı kurduğunuz slaytlarda, “kement sabit olmadığı için işe yaramayacak olası bir kanıt tekniği” olarak bahsedilmektedir.$||\hat{f}(X) - f(X)||$$E[Y|X]$

3. Kararlılık sadece yeterlidir, ancak gerekli değildir. Bazı şartlar altında, “kement + CV” nin yanı sıra “kement + optimal ” nın da tahmin edildiğini gösterebildik . Alıntı yaptığınız makale mümkün olan en zayıf varsayımları ( izin veren slayt 16'dakiler) verir , ancak daha yaygın Lagrange sürümü yerine kısıtlanmış kement formunu kullanır. Başka bir makale ( http://www3.stat.sinica.edu.tw/statistica/J27N3/J27N34/J27N34.html ) Lagrange sürümünü kullanır. Ayrıca çok daha güçlü koşullar altında model seçiminin de işe yarayacağını gösterir. Diğer kişilerin daha yakın tarihli bir makalesi ( https://arxiv.org/abs/1605.02214 ) bu sonuçları iyileştirdiğini iddia ediyor (dikkatle okumadım).$\lambda$$p>n$

4. Genel olarak, kement (veya herhangi bir seçim algoritması) kararlı olmadığından, “algoritma + CV” nin doğru modeli seçeceğini göstermek için daha dikkatli analiz ve / veya güçlü varsayımlara ihtiyaç vardır. Gerekli koşulların farkında değilim, ancak bu genellikle çok ilginç olurdu. Sabit lambda için, kement tahmincisinin vektöründe yerel olarak Lipschitz olduğunu göstermek çok zor değil (Ryan Tibshirani'nin bir veya daha fazla makalesinin bunu yaptığını düşünüyorum). Bunun de geçerli olduğunu iddia , bu çok ilginç ve alakalı olacaktır.$Y$$X_i$

Yanıtınıza ekleyeceğim temel paket: “istikrar”, “risk tutarlılığı” veya “tahmin doğruluğu” anlamına geliyor, aynı zamanda daha fazla varsayım altında “parametre tahmin tutarlılığı” anlamına da gelebilir, ancak ücretsiz öğle yemeği teoremi “seçim” anlamına gelmez "stabil değil" Kement sabit lambda ile bile stabil değildir.Bu nedenle CV (herhangi bir tür) ile birleştirildiğinde kesinlikle kararsızdır.Ancak, stabilite eksikliğine rağmen, hala risk-tutarlı ve seçim ile veya olmadan tutarlı bir seçim Özgünlük burada önemsizdir.$\rightarrow$

Lasso, Ridge regresyonundan farklı olarak (bkz. Örneğin Hoerl ve Kennard, 1970; Hastie ve ark., 2009) tipik olarak sahip olmasına rağmen her zaman benzersiz bir çözümü yoktur. Modeldeki parametre sayısına, değişkenlerin sürekli veya ayrık olup olmamasına ve tasarım matrisinizin sırasına bağlıdır. Benzersizlik koşulları Tibshirani'de (2013) bulunabilir.

Referanslar:

Hastie, T., Tibshirani, R. ve Friedman, J. (2009). İstatistiksel öğrenmenin öğeleri . İstatistik Springer serisi. Springer, New York, 11. baskı, 2. baskı.

Hoerl, AE ve Kennard, RW (1970). Ridge regresyonu: Dikey olmayan problemler için önyargılı tahmin. Technometrics , 12 (1), 55-67.

Tibshirani, RJ (2013). Kement sorunu ve tekliği. Elektronik İstatistik Dergisi , 7, 1456-1490.

Eşsizliğe neden olan şey.

İçin vektörler ( bir işaret değişim olup olmadığını belirten bir artırmak veya azaltmak olacaktır ), bunlar affinely bağımlıdır zaman:$s_ix_i$$s_i$$c_i$$\Vert c \Vert_1$

çözüm ve normunu değiştirmeyen sonsuz sayıda kombinasyonu .$c_i + \gamma\alpha_i$$Xc$$\Vert c\Vert_1$

Örneğin:

için olan çözeltiler:$\Vert c \Vert_1 = 1$

ile$0\leq \gamma \leq \frac{1}{2}$

Bu sıralama vektörü yerine kullanarak$x_2$$x_2 = 0.5 x_1 + 0.5 x_3$

Bu şartı olmayan durumlar

Tibshirani'nin (Phil'in cevabından) makalesinde, kementin benzersiz bir çözüme sahip olması için üç yeterli koşul tanımlanmıştır.

1. Lineer bağımsız etkisiz boşluk zaman bir seviye zaman eşit sıfır ya da sütun sayısı (M) eşittir. Bu durumda, yukarıdaki gibi doğrusal kombinasyonlarınız yoktur.$X$$X$

2. Tamamen bağımsız sütunları genel konumdayken.$Xs$

   Yani, hiçbir sütunu bir boyutlu düzlemdeki noktaları temsil etmez . Bir k-2 boyutlu düzlem, ile olarak herhangi bir noktası ile parametrelendirilebilir . Aynı düzlemde bir noktası ile koşullarına sahip$k$$k-2$$k-1$$\sum \alpha_i s_ix_i$$\sum \alpha_i = 1$$k$$s_jx_j$$\sum \alpha_i s_ix_i$$\sum \alpha_i = 0$

   Not sütun örnekte bu , ve tek bir hat üzerinde bulunmaktadır. İşaretler, örneğin matris, negatif olabilir, çünkü (Burada ancak biraz garip sadece var benzersiz bir çözüm de yok)$x_1$$x_2$$x_3$$\left[ [2 \, 1] \, [1 \, 1] \, [-0 \, -1] \right]$

3. sütunları sürekli bir dağıtımdan olduğunda , genel konumda olmayan sütunlarına sahip olmanız pek olası değildir (olasılık neredeyse sıfırdır) .$X$$X$

   Buna zıt olarak, sütunları kategorik bir değişkense, bu olasılık zorunlu olarak neredeyse sıfır değildir . Sürekli bir değişkenin bazı sayı kümelerine eşit olma olasılığı (diğer bir deyişle, diğer vektörlerin afin açıklığına karşılık gelen düzlemler) 'neredeyse' sıfırdır. Ancak, bu ayrık değişkenler için geçerli değildir.$X$