Stokastik matrisler için seyreklik düzenleyici düzenlenme

10

$L_1$ $A$ $\vec{b}$

f_{A, \vec{b}} (\vec{x}) = ‖ A \vec{x} - \vec{b} ‖_{2}^{2} + λ ‖ \vec{x} ‖_{1}

$f_{A,\vec{b}}(\vec{x})=\|A\vec{x}-\vec{b}\|_2^2+\lambda\|\vec{x}\|_1$

λ > 0

$\lambda>0$

A

$A$

\vec{b}

$\vec{b}$

λ

$\lambda$

\vec{x}

$\vec{x}$

Ancak, değerini girişlerinin pozitif ve eşit olması , teriminin herhangi bir etkisi olmaz (çünkü fiat tarafından). Bu durumda ortaya çıkan nin seyrek olmasını teşvik etmek için çalışan benzer bir tipi düzenleyici var mı? $f_{A,\vec{b}}$ $\vec{x}$ $1$ $L_1$ $\|\vec{x}\|_1=1$ $L_1$ $\vec{x}$

— Justin Solomon
kaynak

"O zaman

L_{1}

$L_1$ teriminin herhangi bir etkisi yoktur (çünkü

| | x | |_{1} = 1

$||x||_1 = 1$ fiat tarafından)" hakkında

misiniz ?

— Cam.Davidson.Pilon

2

@ Cam.Davidson.Pilon:

x_{i} \geq 0

$x_i \geq 0$ ve

\sum_{i} x_{i} = 1

$\sum_i x_i = 1$ ,

anlamına gelir

‖ x ‖_{1} = 1

$\|x\|_1 = 1$ . :)

— kardinal

1

Justin: Bazı ayrıntılar yararlı bir cevapta daha iyi bir şans verebilir. Açıklamanızı okuduktan hemen sonra ortaya çıkan bazı sorular şunlardır: ( 1 ) Bütün bunlarda "stokastik matris" nerede? Sadece stokastik bir vektör içeren bir durumu tarif ediyor gibi görünüyorsunuz . Bunlar sadece stokastik matrisinizin tek tek satırları olabilir veya daha fazla ayrıntı bulunduğunda başka bir yapı belirginleşebilir. ( 2 ) Olasılıkların kendilerinin uygun bir bazda seyrek, belki de seyrek olmasını mı istiyorsunuz ? Birincisi neden? (Bu, ağırlıklı (seyrek) bir grafik üzerinde rastgele bir yürüyüş mü?)

— kardinal

Neden o girdileri gerektiren vardır edilir pozitif ? Bunun yerine onların negatif olmayan olmasını talep etmeli misiniz ? Ayrıca, kısıtlamayı ortadan kaldırmak için yeniden parametrelendirmeyi düşündünüz mü (negatif olmayan demek istediğinizi varsayarak)? Başka bir deyişle,

\vec{x}

$\vec x$

x_{i} = \frac{\exp (w_{i})}{\sum_{j} \exp (w_{j})}

$x_i = \frac{\exp(w_i)}{\sum_j \exp(w_j)}$

— jrennie

1

@jrennie: Bağlam göz önüne alındığında, pozitif Justin tarafından kesinlikle negatif olmayan anlamına geliyordu .

— kardinal

2

Seyrek çözeltiler oluşturmak için genel bir yöntem, bilinmeyen bir varyanstan önce sıfır ortalama normal ile MAP tahminidir.

p (x_{i} | σ_{i}^{2}) \sim N (0, σ_{i}^{2})

$p(x_i|\sigma_i^2)\sim N(0,\sigma_i^2)$

Daha sonra bir moda sahip öncesine , arka mod genellikle seyrek olur. bir üstel karıştırma dağılımı alarak bu yaklaşımdan ortaya çıkmaktadır. $\sigma_i^2$ $L_1$

p (σ_{i}^{2} | λ) \sim E x p o (\frac{λ^{2}}{2})

$p(\sigma_i^2|\lambda)\sim Expo\left(\frac{\lambda^2}{2}\right)$

Sonra sen al

\log [p (x_{i} | λ)] = - λ | x_{i} | + \log [\frac{λ}{2}]

$\log[p(x_i|\lambda)]=-\lambda | x_i|+\log\left[\frac{\lambda}{2}\right]$

Bazı alternatifler genelleştirilmiş çift pareto, yarı cauchy, ters beta'dır. Bir anlamda bunlar kementten daha iyidir çünkü büyük değerleri küçültmezler. Aslında genelleştirilmiş çift pareto'nun üslerin bir karışımı olarak yazılabileceğinden eminim. Yani ve sonra önce bir gamma yerleştiriyoruz . Biz: $\lambda=\lambda_i$ $p(\lambda_i|\alpha\beta)$

p (x_{i} | α β) = \frac{α}{2 β} {(1 + \frac{| x_{i} |}{β})}^{- (α + 1)}

$p(x_i|\alpha\beta)=\frac{\alpha}{2\beta}\left(1+\frac{|x_i|}{\beta}\right)^{-(\alpha+1)}$

İyi küresel parametrelerin seçilmesine yardımcı oldukları için normalleştirici sabitleri eklediğimi unutmayın. Şimdi aralık kısıtlamasını uygularsak, simpleks üzerinde yeniden normalleştirmemiz gerektiğinden daha karmaşık bir sorunumuz var.

Seyrekliği tetikleyen cezaların bir diğer genel özelliği, sıfırda ayırt edilememesidir. Genellikle bunun nedeni sol ve sağ sınırların zıt işaret olmasıdır.

Bu, Nicolas Polson ve James Scott'un TIRLS'yi geliştirmek için kullandıkları varyans ortalama karışım gösterimleri üzerindeki parlak çalışmalarına dayanıyor - en az karelerin çok büyük bir kayıp-ceza kombinasyonları sınıfına büyük bir uzantısı.

Alternatif olarak, simpleks üzerinde tanımlanan, ancak sıfırda marjinal dağılımlarda modlara sahip olan bir öncekini kullanabilirsiniz. Bir örnek, 0 ve 1 arasındaki tüm parametreleri içeren dirichlet dağılımıdır.

- \sum_{i = 1}^{n - 1} (a_{i} - 1) \log (x_{i}) - (a_{n} - 1) \log (1 - \sum_{i = 1}^{n - 1} x_{i})

$-\sum_{i=1}^{n-1}(a_i-1)\log(x_i) - (a_n-1)\log(1-\sum_{i=1}^{n-1}x_i)$

Burada . Ancak cezanın tekilliği olduğundan sayısal olarak optimizasyon konusunda dikkatli olmanız gerekir. Daha sağlam bir tahmin süreci, posterior ortalamanın kullanılmasıdır. Tam bir seyrekliği kaybetmenize rağmen, sıfıra yakın birçok posterior yol alacaksınız. P $0<a_i<1$

— probabilityislogic
kaynak

Ayrıntıları anlamak için tam donanımlı olmamamıza rağmen, bu çok ilginç bir fikir gibi görünüyor! Doğru , önceliğinin değişkenlerin 0 civarında bir üstel dağılım izlediği varsayımından gelmesi, bu nedenle, değişkenlerimiz için daha iyi çalışan 0 merkezli bir dağılıma ihtiyacımız var. Ama net bir kazanan yok, değil mi? "1'e karşılık gelen pozitif değişkenler" üzerinde dağılımlar var mı? Yardımın için teşekkürler!

L_{1}

$L_1$

— Justin Solomon

Esneklik elde etmek için sıfırda bir mod ile bir dağıtım gerekir. Ve dirichlet dağılımı simpleks üzerindedir, bu tam olarak 1'e eşit olan dağılımlardır. Başka bir genel sınıf, lojistik-normal veya lojistik t

\log [\frac{x_{i}}{x_{n}}]

$\log\left[\frac{x_i}{x_n}\right]$

— olasılık

Ah, Dirichlet, ilgilendiğimiz simpleks üzerinde olması nedeniyle oldukça ilginç görünüyor! diğer ikisi üzerinde bir asimetri getirebilir , değil mi? İş arkadaşım ve ben yarın Dirichlet'in ima ettiği enerji işlevi üzerinde çalışacağız ve rapor vereceğiz! Şimdiye kadar hasta yardımınız için çok teşekkürler - bu her zamanki alanımızdan uzaktır, ancak bunu çözebilirsek, sonuçlar geometri işlemede önemli bir adım atabilir! [Ve elbette size gerekli krediyi vereceğiz!]

x_{n}

$x_n$

— Justin Solomon

1

İki seçenek:

için cezası kullanın . Bariz dezavantajı, bu konveks olmayan ve dolayısıyla optimize etmek zor olmasıdır. $L_0$ $\vec x$
, ve yeni (doğal) parametre vektöründe bir ceza kullanın,. Bu, olmamaları için iyi bir neden olmadığı sürece olayların eşit derecede olası olmasını teşvik edecektir. $x_i = \frac{\exp(w_i)}{\sum_j \exp(w_j)}$ $\|\vec w\|$

— jrennie
kaynak

Yeniden ölçümlemenizin seyrekliği nasıl teşvik ettiğini açıklayabilir misiniz? Daha ziyade tam tersini garanti ediyor gibi görünüyor .

— kardinal

Bu olarak kıtlık teşvik farklı kayıtlar teşvik karşılık gelen aynı değere sahip.

\vec{w}

$\vec w$

\vec{x}

$\vec x$

— jrennie

Evet bunu anladım. Ancak, bu değerler sıfır olmayacaktır. OP'yi tam anlamıyla alırsak, bu yardımcı olmaz ve aslında (bir anlamda) "incinir". Ancak, OP'nin başka bir temele göre seyreklikle ilgilenmesi mümkündür, bu durumda bu onlardan biri olacaktır. :)

— kardinal

Bu yüzden cevabımda iki seçenek sundum --- Sanırım içindeki sıfırları teşvik etmek için dışbükey olmayan ceza gerekli olacak . Belirttiğiniz gibi, Justin muhtemelen tam olarak söylediği anlamına gelmez.

\vec{x}

$\vec x$

— jrennie

Evet, maalesef kimlik temelinde uzlaşmaya ihtiyacımız var. Birçok Yani bu durumda biz istediğimiz 'eşit olarak mümkündür .

w_{i}

$w_i$

- \infty

$-\infty$

— Justin Solomon

1

Sorunun dayanağı sadece kısmen doğrudur. normunun kısıtlama altında sadece sabit olduğu doğru olsa da, kısıtlama optimizasyon probleminin çok seyrek bir çözümü olabilir. $L_1$

Bununla birlikte, çözelti seçiminden etkilenmez , bu yüzden ya seyrek bir çözüm vardır ya da yoktur. Başka bir soru, çözümü nasıl bulacağınızdır. Doğrusal kısıtlamalar altında standart bir ikinci dereceden iyileştirici elbette kullanılabilir, ancak popüler koordinat iniş algoritmaları kullanıma hazır olarak kullanılamaz. $\lambda$

Bir öneri, farklı bir için sadece bir pozitiflik altında optimize etmek ve daha sonra çözümü norm 1 olacak şekilde normalleştirmek olabilir. kısıtlama. $\lambda$ $L_1$

— NRH
kaynak

0

Üç yöntem düşünebilirim.

Bayes yöntemi: sıfır ortalama öncesi dağılımın tanıtılması ve parametreleri ve hiper parametreleri tahmin etmek için tip II olasılığını kullanın.
Kullanım yerine regularization olarak. Bu farklılaşamaz. Yaklaşık olarak yüksek dereceli bir norm kullanabilirsiniz. $\Vert\cdot\Vert_{\infty}$
Kullanım . $-\sum_{i=1}\log x_i$

Aslında, birinci ve üçüncü yöntemler aynıdır.

— Han Zhang
kaynak