Tekrar Ağırlıklı En Küçük Karelerin Tanımı ve Yakınsaması

Aşağıdaki formun işlevlerini en aza indirmek için yinelenen yeniden ağırlıklandırılmış en küçük kareleri (IRLS) kullanıyorum,

$J(m) = \sum_{i=1}^{N} \rho \left(\left| x_i - m \right|\right)$

burada $N$ , örneklerinin sayısıdır $x_i \in \mathbb{R}$ , $m \in \mathbb{R}$ istediğim sağlam tahmindir ve $\rho$ uygun bir sağlam ceza fonksiyonudur. Diyelim ki dışbükey (kesinlikle olmasa da) ve şimdilik ayırt edilebilir. Böyle bir iyi bir örnek olan Huber kaybı işlevi . $\rho$

Ne yaptığını ayırt etmektir $J(m)$ göre $m$ , (ve manipüle) elde etmek için

$\frac{dJ}{dm}= \sum_{i=1}^{N} \frac{\rho'\left( \left|x_i-m\right|\right) }{\left|x_i-m\right|} \left( x_i-m \right)$

ve yinelemeli ayarlayarak bu çözme 0 eşit ve yineleme ağırlıkları tespit $k$ için $w_i(k) = \frac{\rho'\left( \left|x_i-m{(k)}\right|\right) }{\left|x_i-m{(k)}\right|}$ (de algılanan tekillik $x_i=m{(k)}$ gerçektenumursadığımtümçıkarılabilir bir tekilliktir $\rho$ ). Sonra elde ederim,

$\sum_{i=1}^{N} w_i(k) \left( x_i-m{(k+1)} \right)=0$

ve elde etmeyi çözüyorum, $m(k+1) = \frac{\sum_{i=1}^{N} w_i(k) x_i}{ \sum_{i=1}^{N} w_i(k)}$ .

Bu yakınsama noktasına kadar bu sabit nokta algoritmasını tekrar ediyorum. Sabit bir noktaya gelirseniz, türevinizin 0 olduğu ve dışbükey bir fonksiyon olduğu için en uygun olduğunuzu not edeceğim.

Bu prosedür hakkında iki sorum var:

Bu standart IRLS algoritması mı? Konuyla ilgili birkaç makale okuduktan sonra (ve çok dağınık ve IRLS'nin ne olduğu hakkında belirsizlerdi) bulabileceğim algoritmanın en tutarlı tanımı. İnsanlar isterse kağıtları gönderebilirim, ama aslında burada kimseye önyargılı olmak istemedim. Tabii ki, bu temel tekniği vektör 'leri ve , bağımsız değişkeni sağlamak parametrelerinizin afin fonksiyonunun bir normudur. Bu konuda herhangi bir yardım ya da fikir harika olurdu. $x_i$ $\left|x_i-m{(k)}\right|$
Yakınsama pratikte işe yarıyor gibi görünüyor, ancak bununla ilgili birkaç endişem var. Henüz bir kanıt görmedim. Bazı basit Matlab simülasyonlarından sonra bunun tekrarı bir daralma eşlemesi olmadığını görüyorum ( iki rasgele örneğini oluşturdum ve $m$ ve bunun zaman zaman 1'den büyük olduğunu gördüm). Ayrıca birkaç ardışık yineleme ile tanımlanan eşleme kesinlikle bir daralma eşlemesi değildir, ancak Lipschitz sabitinin 1'in üzerinde olma olasılığı çok düşük olur. Olasılıktabirkasılma eşlemesikavramı varmı? Bunun birleştiğini kanıtlamak için kullanacağım makineler nelerdir? Hatta birleşiyor mu? $\frac{\left|m_1(k+1) - m_2(k+1)\right|}{\left|m_1(k)-m_2(k)\right|}$

Herhangi bir rehberlik yardımcı olur.

Düzenleme: Daubechies ve arkadaşları tarafından seyrek kurtarma / sıkıştırma algılama için IRLS kağıdını seviyorum. 2008 arXiv'de "İlerici Olarak Yeniden Ağırlıklandırılmış En Küçük Kareler Seyrek İyileştirme için Minimizasyon". Ancak daha çok dışbükey olmayan problemlerin ağırlıklarına odaklanıyor gibi görünüyor. Benim durumum oldukça basit.

— Chris A.
kaynak

IRWLS'deki wiki sayfasına baktığımda, tarif ettiğin prosedür ile IRWLS arasındaki farka meydan okuyorum (sadece

, kendi

fonksiyonu olarak). Önerdiğiniz algoritmanınIRWLS'denfarklıolduğunu düşündüğünüz gibi açıklayabilir misiniz?

| y_{i} - x x_{i}^{'} β β |^{2}

$|y_i-\pmb x_i'\pmb\beta|^2$

ρ

$\rho$

— user603

Farklı olduğunu hiç söylemedim ve ima ettiğimde bunu kastetmedim.

— Chris A.

İlk sorunuza gelince, kişi "standart" ı tanımlamalı ya da yavaş yavaş "kanonik bir model" oluşturulduğunu kabul etmelidir. Belirtilen bir yorumda, en azından IRWLS kullanım şeklinizin oldukça standart olduğu görülmektedir.

İkinci sorunuza gelince, "olasılıkta kasılma eşlemesi", "özyinelemeli stokastik algoritmaların" yakınsamasına bağlanabilir (ancak gayri resmi olarak). Okuduğum kadarıyla, özellikle Mühendislik alanında bu konuda büyük bir literatür var. İktisatta küçük bir miktar kullanıyoruz, özellikle Lennart Ljung'un seminal çalışmaları - ilk makale Ljung (1977) idi - bu, özyinelemeli bir stokastik algoritmanın yakınsamasının (veya olmamasının) kararlılıkla (veya ilgili) diferansiyel denklemin.

(yorumlarda OP ile verimli bir tartışma yapıldıktan sonra yeniden çalışıldı)

yakınsama

Referans olarak Saber Elaydi "Fark Denklemlerine Giriş", 2005, 3d ed. Analiz, belirli bir veri örneği üzerinde koşulludur, bu nedenle sabit kabul edilir. $x's$

, cinsinden yinelemeli işlev olarak görülen objektif işlevin en aza indirilmesi için birinci dereceden koşul $m$

m (k + 1) = \sum_{i = 1}^{N} v_{i} [m (k)] x_{i}, v_{i} [m (k)] \equiv \frac{w_{i} [m (k)]}{\sum_{i = 1}^{N} w_{i} [m (k)]} [1]

$m(k+1) = \sum_{i=1}^{N} v_i[m(k)] x_i, \;\; v_i[m(k)] \equiv \frac{w_i[m(k)]}{ \sum_{i=1}^{N} w_i[m(k)]} \qquad [1]$

sabit bir noktaya (objektif fonksiyonun argminine) sahiptir. Teoreminin 1.13 s Elaydi 27-28, ile ilgili olarak, ilk türev halinde arasında RHS bölgesinin , sabit nokta değerlendirildi , bu ifade , mutlak değer olarak birden daha küçüktür , o zaman olduğu asimptotik stabil (AS). Daha fazla Teorem 4.3 s.179'a göre, bunun aynı zamanda sabit noktanın eşit olarak AS (UAS) olduğu anlamına gelir . "Asimptotik olarak kararlı", sabit nokta etrafındaki bazı değerler aralığı için, bir mahalle $m$ $[1]$ $m^*$ $A'(m^*)$ $m^*$
, boyut olarak küçük olması gerekmez, sabit noktacaziptirve bu nedenle algoritma bu mahallede değerler verirse, birleşecektir. "Tekdüze" özellik, bu mahallenin sınırının ve dolayısıyla büyüklüğünün algoritmanın başlangıç değerinden bağımsız olduğu anlamına gelir. Sabit nokta haleküreselise, UAS . Yani bizim durumumuzda, bunu kanıtlarsak $(m^* \pm \gamma)$ $\gamma = \infty$

| A^{'} (m^{*}) | \equiv | \sum_{i = 1}^{N} \frac{\partial v_{i} (m^{*})}{\partial m} x_{i} | < 1 [2]

$|A'(m^*)|\equiv \left|\sum_{i=1}^{N} \frac{\partial v_i(m^*)}{\partial m}x_i\right| <1 \qquad [2]$

UAS mülkünü kanıtladık, ancak küresel yakınlaşma olmadan. Daha sonra, çekim mahallesinin aslında tüm genişletilmiş gerçek sayılar olduğunu veya OP'nin yorumlarda belirtildiği gibi kullandığı spesifik başlangıç değerinin (ve IRLS yönteminde standart olduğu), yani örnek ortalama olduğunu belirlemeye çalışabiliriz. ait 'ler, , daima sabit noktanın çekim mahalle aittir. $x$ $\bar x$

türevini hesaplıyoruz

\frac{\partial v_{i} (m^{*})}{\partial m} = \frac{\frac{\partial w_{i} (m^{*})}{\partial m} \sum_{i = 1}^{N} w_{i} (m^{*}) - w_{i} (m^{*}) \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}}{{(\sum_{i = 1}^{N} w_{i} (m^{*}))}^{2}}

$\frac{\partial v_i(m^*)}{\partial m} = \frac {\frac{\partial w_i(m^*)}{\partial m}\sum_{i=1}^{N} w_i(m^*)-w_i(m^*)\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}}{\left(\sum_{i=1}^{N} w_i(m^*)\right)^2}$

Daha sonra

= \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\frac{\partial w_{i} (m^{*})}{\partial m} - v_{i} (m^{*}) \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}]

$=\frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\frac{\partial w_i(m^*)}{\partial m}-v_i(m^*)\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right]$

A^{'} (m^{*}) = \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} x_{i} - (\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}) \sum_{i = 1}^{N} v_{i} (m^{*}) x_{i}]

$A'(m^*) = \frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}x_i-\left(\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right)\sum_{i=1}^{N}v_i(m^*)x_i\right]$

= \frac{1}{\sum_{i = 1}^{N} w_{i} (m^{*})} \cdot [\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} x_{i} - (\sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m}) m^{*}]

$=\frac 1{\sum_{i=1}^{N} w_i(m^*)}\cdot\left[\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}x_i-\left(\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}\right)m^*\right]$

| A^{'} (m^{*}) | < 1 \Rightarrow | \sum_{i = 1}^{N} \frac{\partial w_{i} (m^{*})}{\partial m} (x_{i} - m^{*}) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) | [3]

$|A'(m^*)| <1 \Rightarrow \left|\sum_{i=1}^{N}\frac{\partial w_i(m^*)}{\partial m}(x_i-m^*)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right| \qquad [3]$

sahibiz

\begin{aligned} \frac{\partial w_{i} (m^{*})}{\partial m} = & \frac{- ρ^{″} (| x_{i} - m^{*} |) \cdot \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |} | x_{i} - m^{*} | + \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |} ρ^{'} (| x_{i} - m^{*} |)}{| x_{i} - m^{*} |^{2}} \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{3}} ρ^{'} (| x_{i} - m^{*} |) - ρ^{″} (| x_{i} - m^{*} |) \cdot \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [\frac{ρ^{'} (| x_{i} - m^{*} |)}{| x_{i} - m^{*} |} - ρ^{″} (| x_{i} - m^{*} |)] \\ = \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [w_{i} (m^{*}) - ρ^{″} (| x_{i} - m^{*} |)] \end{aligned}

$\begin{align}\frac{\partial w_i(m^*)}{\partial m} = &\frac{-\rho''(|x_i-m^*|)\cdot \frac {x_i-m^*}{|x_i-m^*|}|x_i-m^*|+\frac {x_i-m^*}{|x_i-m^*|}\rho'(|x_i-m^*|)}{|x_i-m^*|^2} \\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^3}\rho'(|x_i-m^*|) - \rho''(|x_i-m^*|)\cdot \frac {x_i-m^*}{|x_i-m^*|^2} \\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[\frac {\rho'(|x_i-m^*|)}{|x_i-m^*|}-\rho''(|x_i-m^*|)\right]\\ \\ &=\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[w_i(m^*)-\rho''(|x_i-m^*|)\right] \end{align}$

Inserting this into $[3]$ we have

| \sum_{i = 1}^{N} \frac{x_{i} - m^{*}}{| x_{i} - m^{*} |^{2}} \cdot [w_{i} (m^{*}) - ρ^{″} (| x_{i} - m^{*} |)] (x_{i} - m^{*}) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) |

$\left|\sum_{i=1}^{N}\frac {x_i-m^*}{|x_i-m^*|^2}\cdot \left[w_i(m^*)-\rho''(|x_i-m^*|)\right](x_i-m^*)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right|$

\Rightarrow | \sum_{i = 1}^{N} w_{i} (m^{*}) - \sum_{i = 1}^{N} ρ^{″} (| x_{i} - m^{*} |) | < | \sum_{i = 1}^{N} w_{i} (m^{*}) | [4]

$\Rightarrow \left|\sum_{i=1}^{N}w_i(m^*)-\sum_{i=1}^{N}\rho''(|x_i-m^*|)\right| < \left|\sum_{i=1}^{N} w_i(m^*)\right| \qquad [4]$

This is the condition that must be satisfied for the fixed point to be UAS. Since in our case the penalty function is convex, the sums involved are positive. So condition $[4]$ is equivalent to

\sum_{i = 1}^{N} ρ^{″} (| x_{i} - m^{*} |) < 2 \sum_{i = 1}^{N} w_{i} (m^{*}) [5]

$\sum_{i=1}^{N}\rho''(|x_i-m^*|) < 2\sum_{i=1}^{N}w_i(m^*) \qquad [5]$

If $\rho(|x_i-m|)$ is Hubert's loss function, then we have a quadratic ( $q$ ) and a linear ( $l$ ) branch,

ρ (| x_{i} - m |) = {\begin{cases} (1 / 2) | x_{i} - m |^{2} | x_{i} - m | \leq δ \\ δ (| x_{i} - m | - δ / 2) | x_{i} - m | > δ \end{cases}

$\rho(|x_i-m|)=\cases{ (1/2)|x_i- m|^2 \qquad\;\;\;\; |x_i-m|\leq \delta \\ \\ \delta\big(|x_i-m|-\delta/2\big) \qquad |x_i-m|> \delta}$

and

ρ^{'} (| x_{i} - m |) = {\begin{cases} | x_{i} - m | | x_{i} - m | \leq δ \\ δ | x_{i} - m | > δ \end{cases}

$\rho'(|x_i-m|)=\cases{ |x_i- m| \qquad |x_i-m|\leq \delta \\ \\ \delta \qquad \qquad \;\;\;\; |x_i-m|> \delta}$

ρ^{″} (| x_{i} - m |) = {\begin{cases} 1 | x_{i} - m | \leq δ \\ 0 | x_{i} - m | > δ \end{cases}

$\rho''(|x_i-m|)=\cases{ 1\qquad |x_i-m|\leq \delta \\ \\ 0 \qquad |x_i-m|> \delta}$

{\begin{cases} w_{i, q} (m) = 1 | x_{i} - m | \leq δ \\ w_{i, l} (m) = \frac{δ}{| x_{i} - m |} < 1 | x_{i} - m | > δ \end{cases}

$\cases{ w_{i,q}(m) =1\qquad \qquad \qquad |x_i-m|\leq \delta \\ \\ w_{i,l}(m) =\frac {\delta}{|x_i-m|} <1 \qquad |x_i-m|> \delta}$

Since we do not know how many of the $|x_i-m^*|$ 's place us in the quadratic branch and how many in the linear, we decompose condition $[5]$ as ( $N_q + N_l = N$ )

\sum_{i = 1}^{N_{q}} ρ_{q}^{″} + \sum_{i = 1}^{N_{l}} ρ_{l}^{″} < 2 [\sum_{i = 1}^{N_{q}} w_{i, q} + \sum_{i = 1}^{N_{l}} w_{i, l}]

$\sum_{i=1}^{N_q}\rho_q''+\sum_{i=1}^{N_l}\rho_l'' < 2\left[\sum_{i=1}^{N_q}w_{i,q} +\sum_{i=1}^{N_l}w_{i,l}\right]$

\Rightarrow N_{q} + 0 < 2 [N_{q} + \sum_{i = 1}^{N_{l}} w_{i, l}] \Rightarrow 0 < N_{q} + 2 \sum_{i = 1}^{N_{l}} w_{i, l}

$\Rightarrow N_q + 0 < 2\left[N_q +\sum_{i=1}^{N_l}w_{i,l}\right] \Rightarrow 0 < N_q+2\sum_{i=1}^{N_l}w_{i,l}$

which holds. So for the Huber loss function the fixed point of the algorithm is uniformly asymptotically stable, irrespective of the $x$ 's. We note that the first derivative is smaller than unity in absolute value for any $m$ , not just the fixed point.

What we should do now is either prove that the UAS property is also global, or that, if $m(0) = \bar x$ then $m(0)$ belongs to the neighborhood of attraction of $m^*$ .

— Alecos Papadopoulos
kaynak

Thanks for the response. Give me some time to analyze this answer.

— Chris A.

Certainly. After all, the question waited 20 months.

— Alecos Papadopoulos

Yeah, I was reminded of the problem and decided to put up a bounty. :)

— Chris A.

Lucky me. I wasn't there 20 months ago - I would have taken up this question, bounty or not.

— Alecos Papadopoulos

Thanks so much for this response. It's looking like, so far, that you've earned the bounty. BTW, your indexing on the derivative of

v_{i}

$v_i$ w.r.t

m

$m$ is notationally weird. Couldn't the summations on the second line of this use another variable, such as

j

$j$ ?

— Chris A.