Matris kısıtlamaları ile doğrusal programlama

genel bakış

kement tipi problemleri için şaşırtıcı bir şekilde hızlı bir şekilde yakınlaştığı tespit edilen Alternatif Yol Çarpanları Yöntemi'nin (ADMM) bir varyantını denemek isteyebilirsiniz . Strateji, sorunu artırılmış bir Lagrangian ile formüle etmek ve daha sonra ikili problem üzerinde gradyan yükselmesi yapmaktır. Bu özel düzenli sorunu için özellikle iyidir, çünkü yöntemin her yinelemesinin düz olmayan kısmı, öğeyi basitçe değerlendirebileceğiniz kesin bir çözüme sahiptir, pürüzsüz kısım ise doğrusal bir sistemi çözmeyi içerir. $l_1$ $l^1$

Bu yazıda biz

probleminizin genelleştirilmesi için genel bir ADMM formülasyonu türetmek,
her ADMM yinelemesi için alt problemleri elde edin ve durumunuza göre özelleştirin ve ardından
her bir yinelemenin çözülmesi gereken ortaya çıkan doğrusal sistemi araştırın ve ve için özdeğer ayrışmalarının (veya düşük kademeli yaklaşımlarının) önceden hesaplanmasına dayanan hızlı bir çözücü (veya ön koşullu) geliştirin . $M^TM$ $YY^T$
birkaç sonuçla özetleyin

Buradaki büyük fikirlerin çoğu aşağıdaki muhteşem inceleme belgesinde ele alınmıştır,

Boyd, Stephen ve ark. "Dağıtılmış optimizasyon ve istatistiksel öğrenme çarpanları alternatif yön yöntemi ile." Makine Öğreniminde Temeller ve Trendler® 3.1 (2011): 1-122. http://www.stanford.edu/~boyd/papers/pdf/admm_distr_stats.pdf

Ayrıntılara girmeden önce, bunun pratik bir mevcut kod yanıtı olmayan bir yöntem / algoritma cevabı olduğunu belirtmek isterim - bu yöntemi kullanmak istiyorsanız, kendi uygulamanızı yuvarlamanız gerekir.

ADMM formülasyonu

Genel olarak, çözmek istediğinizi varsayalım

\begin{aligned} min_{x} & \sum_{i} | x_{i} | \\ s.t. & A x = b \end{aligned} .

$\begin{array}{rl} \min_{x} & \sum_{i} |x_i|\\ \textrm{s.t.} & Ax = b \end{array}.$

Orijinal yazıdaki sorun, uygun vektörleştirmeden sonra bu kategoriye girer. (bu sadece prensipte - vektörleştirmenin pratikte yapılması gerekmediğini göreceğiz)

Bunun yerine eşdeğer sorunu çözebilirsiniz, Lagrange 'ye sahip

\begin{aligned} min_{x, z} & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z | |^{2} + \frac{β}{2} | | A z - b | |^{2} \\ s.t. & A z = b \\ & & x = z, \end{aligned}

$\begin{array}{rl} \min_{x,z} & \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 \\ \textrm{s.t.} & Az = b \\ \textrm{&} & x = z, \end{array}$

\begin{aligned} L (x, z, λ, γ) = & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z | |^{2} + \frac{β}{2} | | A z - b | |^{2} + λ^{T} (A z - b) + γ^{T} (x - z) \\ = & \sum_{i} | x_{i} | + \frac{α}{2} | | x - z + \frac{1}{α} γ | |^{2} + \frac{β}{2} | | A z - b + \frac{1}{β} λ | |^{2} \\ + \frac{α}{2} | | \frac{1}{α} γ | |^{2} + \frac{β}{2} | | \frac{1}{β} λ | |^{2} . \end{aligned}

$\begin{align} L(x,z,\lambda,\gamma) =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z||^2 + \frac{\beta}{2}||Az-b||^2 + \lambda^T(Az-b) + \gamma^T(x-z) \\ =& \sum_{i} |x_i| + \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2 \\ &+ \frac{\alpha}{2}||\frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||\frac{1}{\beta}\lambda||^2. \end{align}$

Çarpanları çözer arasında değişen yönü yöntemi ikili problem, ile hariç çift değişkenlere gradyan çıkış yoluyla ikili alt problemlerde hatalı dönüşümlü projeksiyonlar. Yani, yineleme

max_{λ, γ} min_{x, z} L (x, z, λ, γ),

$\max_{\lambda,\gamma} \min_{x,z} L(x,z,\lambda,\gamma),$

\begin{aligned} x^{k + 1} & = {a r g m i n}_{x} L (x, z^{k}, λ^{k}, γ^{k}) \\ z^{k + 1} & = {a r g m i n}_{z} L (x^{k + 1}, z, λ^{k}, γ^{k}) \\ γ^{k + 1} & = γ^{k} + α (x^{k + 1} - z^{k + 1}) \\ λ^{k + 1} & = λ^{k} + β (A z^{k + 1} - b) . \end{aligned}

$\begin{align} x^{k+1} &= \mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) \\ z^{k+1} &= \mathrm{argmin}_z L(x^{k+1},z,\lambda^k,\gamma^k) \\ \gamma^{k+1} &= \gamma^k + \alpha(x^{k+1}-z^{k+1}) \\ \lambda^{k+1} &= \lambda^k + \beta(Az^{k+1}-b). \end{align}$

ve parametrelerinde (yukarıda bağlanan Boyd & Parikh makalesinde açıklanmıştır) belirli yumuşak koşullar altında , ADMM yöntemi gerçek çözüme dönüşecektir. Yakınsama oranı, çekirdekte bir gradyan çıkış yöntemi olduğu için lineerdir. Genellikle 1) sezgisel tarama temeline göre ve parametrelerini değiştirerek veya 2) Nesterov hızlandırmayı kullanarak süper doğrusal olmak için hızlandırılabilir. Ceza parametrelerini değiştirme hakkında notlar için Boyd anket kağıdına ve ADMM ile Nesterov hızlandırmasını kullanmak için aşağıdaki makaleye bakın, $\alpha$ $\beta$ $\alpha$ $\beta$

Goldstein, Tom, Brendan O'Donoghue ve Simon Setzer. "Hızlı alternatif yön optimizasyon yöntemleri." CAM raporu (2012): 12-35. ftp://ftp.math.ucla.edu/pub/camreport/cam12-35.pdf

Bununla birlikte, toplam yakınsama oranı sadece doğrusal olsa bile, problemleri için yöntemin, sparite paternini çok hızlı bir şekilde bulduğu ve daha sonra kesin değerler üzerinde daha yavaş yakınsak olduğu gözlemlenmiştir. Seyreklik modelini bulmak en zor kısım olduğu için, bu çok tesadüfi! Mevcut araştırmanın bir alanı gibi görünmesinin kesin nedenleri. Herkes seyreklik modelinin hızlı bir şekilde birleştiğini görür, ancak kimse bunun tam olarak neden olduğunu bilmiyor gibi görünüyor. Bir süre önce Boyd ve Parikh'e e-posta üzerinden bunu sordum ve Parikh, yöntemi bir kontrol sistemleri bağlamında yorumlayarak açıklanabileceğini düşündüm. Bu fenomenin bir başka sezgisel açıklaması aşağıdaki makalenin ekinde bulunmaktadır, $l^1$

Goldstein, Tom ve Stanley Osher. "Bölünmüş Bregman yöntemi L1 düzenli sorunlar için." SIAM Görüntüleme Bilimleri Dergisi 2.2 (2009): 323-343. ftp://ftp.math.ucla.edu/pub/camreport/cam08-29.pdf

Tabii ki şimdi zorluk özel durumunuz için ve güncelleme alt problemlerini çözmektir . Lagrange kuadratik olduğundan, güncelleme alt problemi sadece doğrusal bir sistemin çözülmesini gerektirir. o türevlenemeyen olduğundan subproblem zor görünüyor, ama eleman tarafından uygulanan öğe olabilir çözümü için kesin bir formül var olduğu ortaya çıktı! Şimdi bu alt problemleri daha ayrıntılı olarak tartışıyoruz ve orijinal yayındaki soruna belirliyoruz. $x$ $z$ $z$ $z$ $x$

güncelleme alt probleminin kurulumu (doğrusal sistem) $z$

İçin güncelleme, var $z$

{a r g m i n}_{z} L (x_{k}, z, λ_{k}, γ_{k}) = {a r g m i n}_{z} \frac{α}{2} | | x - z + \frac{1}{α} γ | |^{2} + \frac{β}{2} | | A z - b + \frac{1}{β} λ | |^{2} .

$\mathrm{argmin}_z L(x_k,z,\lambda_k,\gamma_k) = \mathrm{argmin}_z \frac{\alpha}{2}||x-z + \frac{1}{\alpha}\gamma||^2 + \frac{\beta}{2}||Az-b + \frac{1}{\beta}\lambda||^2.$

Sorununuz için uzmanlaştıkça,

\begin{aligned} {bir r g m ben n}_{Z_{J}, Z_{B}} & \frac{α}{2} | | J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J} | |_{F r Ö}^{2} + \frac{α}{2} | | B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B} | |_{F r Ö}^{2} \\ + \frac{β}{2} | | M Z_{J} + Z_{B} Y - X + \frac{1}{α} Λ | |_{F r Ö}^{2}, \end{aligned}

$\begin{align} \mathrm{argmin}_{Z_J,Z_B} &\frac{\alpha}{2}||J^{k+1}-Z_J + \frac{1}{\alpha}\Gamma_J||_{Fro}^2 + \frac{\alpha}{2}||B^{k+1}-Z_B + \frac{1}{\alpha}\Gamma_B||_{Fro}^2 \\ &+\frac{\beta}{2}||MZ_J + Z_BY - X + \frac{1}{\alpha}\Lambda||^2_{Fro}, \end{align}$

burada , Frobenius (elementwise ) normunu belirtir . Bu, ve göre objektifin kısmi türevlerini alarak ve sıfıra ayarlayarak birinci dereceden optimallik koşullarının bulunabileceği kuadratik bir minimizasyon problemidir . Bu, $||\cdot||Fro$ $l_2$ $Z_J$ $Z_B$

\begin{aligned} 0 & = - \frac{α}{2} (J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J}) + \frac{β}{2} M^{T} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ), \\ 0 & = - \frac{α}{2} (B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B}) + \frac{β}{2} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ) Y^{T} . \end{aligned}

$\begin{align} 0 &= -\frac{\alpha}{2}(J^{k+1} - Z_J + \frac{1}{\alpha}\Gamma_J) + \frac{\beta}{2}M^T(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda), \\ 0 &= -\frac{\alpha}{2}(B^{k+1} - Z_B + \frac{1}{\alpha}\Gamma_B) + \frac{\beta}{2}(MZ_J + Z_BY - X + \frac{1}{\beta}\Lambda)Y^T. \end{align}$

Orijinal poster Justin Solomon'un yorumlarında belirtildiği gibi, için bu sistem simetriktir, bu nedenle eşlenik gradyan ideal bir yöntemdir. Daha sonraki bir bölüm, bu sistemi ve daha ayrıntılı olarak nasıl çözüleceğini / ön koşullandırılacağını açıklar. $Z_J,Z_B$

güncelleme alt problemini çözme (analitik eşik çözümü) $x$

Şimdi alt , $x$

{a r g m i n}_{x} L (x, z^{k}, λ^{k}, γ^{k}) = {bir r g m ben n}_{x} \underset{ben}{Σ} | x_{ben} | + \frac{α}{2} | | x - z^{k} + \frac{1}{α} γ^{k} | |^{2}

$\mathrm{argmin}_x L(x,z^k,\lambda^k,\gamma^k) = \mathrm{argmin}_x \sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2$

Görülecek ilk şey, toplamın öğeye göre ayrılabileceği,

\underset{ben}{Σ} | x_{ben} | + \frac{α}{2} | | x - z^{k} + \frac{1}{α} γ^{k} | |^{2} = \underset{ben}{Σ} | x_{ben} | + \frac{α}{2} \underset{ben}{Σ} (x_{ben} - z_{ben}^{k} + \frac{1}{α} γ_{ben}^{k})^{2},

$\sum_{i} |x_i| + \frac{\alpha}{2}||x-z^k + \frac{1}{\alpha}\gamma^k||^2 = \sum_{i} |x_i| + \frac{\alpha}{2}\sum_i (x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2,$

Dolayısıyla, optimizasyon problemi öğesini paralel olarak,

x_{i}^{k + 1} = {a r g m i n}_{x_{i}} | x_{i} | + \frac{α}{2} (x_{i} - z_{i}^{k} + \frac{1}{α} γ_{i}^{k})^{2} .

$x_i^{k+1} = \mathrm{argmin}_{x_i} |x_i| + \frac{\alpha}{2}(x_i-z_i^k + \frac{1}{\alpha}\gamma_i^k)^2.$

Bu denklemin genel biçimi,

min_{s} | s | + \frac{α}{2} (s - t)^{2} .

$\min_s |s| + \frac{\alpha}{2}(s-t)^2.$

Mutlak değer fonksiyonu en uygun noktayı çekmeye çalışırken, ikinci dereceden terim en uygun noktayı doğru çekmeye çalışıyor . gerçek çözüm bu nedenle ikisi arasında segmentinde bir yerde bulunur; artan en uygun noktayı doğru çekme eğilimi ve azalan en uygun noktayı doğru çeker . $s=0$ $s=t$ $[0,t)$ $\alpha$ $t$ $\alpha$ $0$

Bu dışbükey bir işlevdir, ancak sıfırda ayırt edilemez. Bir minimizasyon noktasının koşulu, o noktadaki hedefin alt türevinin sıfır içermesidir. İkinci dereceden terim türevine sahiptir ve mutlak değer fonksiyonu için türevine , olduğunda aralığı olarak set değerli alt türevine ve için türev . . Böylece, genel objektif fonksiyon için alt türev alırız, $\alpha(s-t)$ $-1$ $s < 0$ $[-1,1]$ $s=0$ $1$ $s > 0$

\partial_{s} (| s | + \frac{α}{2} (s - t)^{2}) = {\begin{cases} 1 + α (s - t) & s > 0 \\ [- 1, 1] + α t, & s = 0, \\ - 1 + α (s - t), & s < 0. \end{cases}

$\partial_s \left(|s| + \frac{\alpha}{2}(s-t)^2\right) = \begin{cases} 1 + \alpha (s-t)\, & s > 0 \\ [-1,1] + \alpha t, & s = 0, \\ -1 + \alpha (s-t), & s < 0. \end{cases}$

Bundan biz de objektif bir subderivative görüyoruz içeriyorsa ancak ve ancak , bu durumda küçültücüdür. Öte yandan, eğer minimizer değilse, tek değerli türevi sıfıra eşit olarak ayarlayabilir ve minimizer için çözebiliriz. Bunu yaptığınızda, $s=0$ $0$ $|t| \le \frac{1}{\alpha}$ $s=0$ $s=0$

{bir r g m ben n}_{s} | s | + \frac{α}{2} (s - t)^{2} = {\begin{cases} t - \frac{1}{α}, & t > \frac{1}{α}, \\ 0, & | t | \leq \frac{1}{α}, \\ t + \frac{1}{α}, & t < - \frac{1}{α} \end{cases}

$\mathrm{argmin}_s |s| + \frac{\alpha}{2}(s-t)^2 = \begin{cases} t - \frac{1}{\alpha}, & t > \frac{1}{\alpha}, \\ 0, & |t| \le \frac{1}{\alpha}, \\ t + \frac{1}{\alpha}, & t < -\frac{1}{\alpha} \end{cases}$

Bu sonucu tekrar asıl soruna özelleştirmek için verimi, için güncelleme basitçe $t = Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k$

J_{ben j}^{k + 1} = {\begin{cases} Z_{ben j}^{k} - \frac{1}{α} Γ_{ben j}^{k} - \frac{1}{α}, & Z_{ben j}^{k} - \frac{1}{α} Γ_{ben j}^{k} > \frac{1}{α}, \\ 0, & | Z_{ben j}^{k} - \frac{1}{α} Γ_{ben j}^{k} | \leq \frac{1}{α}, \\ Z_{ben j}^{k} - \frac{1}{α} Γ_{ben j}^{k} + \frac{1}{α}, & Z_{ben j}^{k} - \frac{1}{α} Γ_{ben j}^{k} < - \frac{1}{α} . \end{cases}

$J_{ij}^{k+1} = \begin{cases} Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k - \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k > \frac{1}{\alpha}, \\ 0, & |Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k| \le \frac{1}{\alpha}, \\ Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k + \frac{1}{\alpha}, & Z_{ij}^k - \frac{1}{\alpha}\Gamma_{ij}^k < -\frac{1}{\alpha}. \end{cases}$

B

$B$

B^{k + 1} = Z_{B} - \frac{1}{α} Γ_{B},

$B^{k+1} = Z_B - \frac{1}{\alpha}\Gamma_B,$

Orijinal poster Justin Solomon tarafından belirtildiği gibi yorumlarda. Genel olarak, için güncelleme yapmak sadece matrislerinizin girişleri arasında döngü ve her bir giriş için yukarıdaki formülleri değerlendirmeyi gerektirir. $J,B$

sistemi için Schur tamamlayıcısı $Z_J,Z_B$

Yinelemenin en pahalı adımı sistemi çözmek,

\begin{aligned} 0 & = - \frac{α}{2} (J^{k + 1} - Z_{J} + \frac{1}{α} Γ_{J}) + \frac{β}{2} M^{T} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ), \\ 0 & = - \frac{α}{2} (B^{k + 1} - Z_{B} + \frac{1}{α} Γ_{B}) + \frac{β}{2} (M Z_{J} + Z_{B} Y - X + \frac{1}{β} Λ) Y^{T} . \end{aligned}

Bu amaçla, bu sistem için iyi bir çözücü / ön koşullandırıcı oluşturmak biraz çaba sarf etmeye değer. Bu bölümde bunu vektörleştirerek , bir Schur tamamlayıcısı oluşturarak , bazı Krnoecker ürün manipülasyonları yaparak ve daha sonra vektörleştirerek yapıyoruz. Ortaya çıkan Schur tamamlayıcı sistemi, hafifçe değiştirilmiş bir Sylvester denklemidir .

Aşağıda, vektörizasyon ve Kronecker ürünleri ile ilgili aşağıdaki kimlikler kesinlikle önemlidir:

$\mathrm{vec}(ABC) = (C^T \otimes A)\mathrm{vec}(B),$
$(A \otimes B)(C \otimes D) = AC \otimes BD$ ,
$(A \otimes B)^{-1} = A^{-1} \otimes B^{-1}$ ve
$(A \otimes B)^T = A^T \otimes B^T$ .

Bu kimlikler, matris boyutları ve tersinirliği, denklemin her bir tarafının geçerli bir ifade olacağı şekilde tutulur.

Sistemin vektörleştirilmiş şekli,

(α ben + β [\begin{matrix} ben \otimes M^{T} M & (Y \otimes M)^{T} \\ Y \otimes M & Y Y^{T} \otimes ben \end{matrix}]) [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (α J + β M^{T} X + Γ_{J} - M^{T} Λ) \\ v e c (α B + β X Y^{T} + Γ_{B} - Λ Y^{T}) \end{matrix}],

$\left(\alpha I +\beta\begin{bmatrix}I \otimes M^TM & (Y \otimes M)^T \\ Y \otimes M & YY^T \otimes I\end{bmatrix}\right)\begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(\alpha J + \beta M^TX + \Gamma_J - M^T\Lambda) \\ \mathrm{vec}(\alpha B + \beta XY^T + \Gamma_B - \Lambda Y^T)\end{bmatrix},$

veya

[\begin{matrix} ben \otimes (α ben + β M^{T} M) & β (Y \otimes M)^{T} \\ β Y \otimes M & (α ben + β Y Y^{T}) \otimes ben \end{matrix}] [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (F) \\ v e c (G,) \end{matrix}],

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ \beta Y \otimes M & (\alpha I + \beta YY^T) \otimes I\end{bmatrix} \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G)\end{bmatrix},$

burada ve sağ taraf için yoğun gösterimlerdir. Şimdi, matrisin sol alt bloğunu ortadan kaldırmak için Kronecker ürünlerini yoğunlaştırma sürecinde blok-gauss-eliminasyon / Schur tamamlayıcısı gerçekleştiriyoruz. Bu, $F$ $G$

[\begin{matrix} ben \otimes (α ben + β M^{T} M) & β (Y \otimes M)^{T} \\ 0 & (α ben + β Y Y^{T}) \otimes ben - β^{2} Y Y^{T} \otimes M (α ben + β M^{T} M)^{- 1} M^{T} \end{matrix}] ... \cdot [\begin{matrix} v e c (Z_{J}) \\ v e c (Z_{B}) \end{matrix}] = [\begin{matrix} v e c (F) \\ v e c (G,) - β Y \otimes M (α ben + β M^{T} M)^{- 1} v e c (F) \end{matrix}] .

$\begin{bmatrix}I \otimes (\alpha I + \beta M^TM) & \beta (Y \otimes M)^T \\ 0 & (\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T\end{bmatrix} \dots \\ \cdot \begin{bmatrix}\mathrm{vec}(Z_J) \\ \mathrm{vec}(Z_B)\end{bmatrix} = \begin{bmatrix}\mathrm{vec}(F) \\ \mathrm{vec}(G) - \beta Y \otimes M(\alpha I + \beta M^TM)^{-1}\mathrm{vec}(F)\end{bmatrix}.$

Unvectorizing, sırayla çözmemiz gereken iki denklem,

$Z_{B} (α ben + β Y Y^{T}) - (β M (α ben + β M^{T} M)^{- 1} M^{T}) Z_{B} (β Y Y^{T}) ... = G, - β M (α ben + β M^{T} M)^{- 1} F Y^{T}$ $Z_B (\alpha I + \beta YY^T) - (\beta M (\alpha I + \beta M^TM)^{-1} M^T)Z_B(\beta YY^T) \dots \\ = G - \beta M (\alpha I + \beta M^TM)^{-1} F Y^T$
$(α ben + β M^{T} M) Z_{J} = F - β M^{T} Z_{B} Y .$ $(\alpha I + \beta M^TM) Z_J = F - \beta M^T Z_B Y.$

kare, yüksek rütbe olduğunda Schur tamamlayıcı sistemin çözümü $Y,M$

Bu bölümde, matrislerinin önceden hesaplanmış tam kullanarak ve Sylvester için Bartels-Stewart algoritmasının değiştirilmiş bir versiyonunu uygulayarak (yukarıdaki denklem 1) için Schur tamamlayıcı sistemini denklem. Algoritma, standart terimden ikinci ekstra hesaba katmak için biraz değiştirilir , bu da Sylvester denklemini tam olarak yapmaz. Bir kez $Z_B$ $YY^T, MM^T, M^TM$ $\beta YY^T$ $Z_B$ ilk denklem yoluyla bulunursa, kolayca ikinci denklemden bulunabilir. İkinci denklemi istediğiniz herhangi bir yöntemle çözmek önemsizdir. $Z_J$

Bu yöntem, ADMM işlemi başlamadan önce iki tam SVD'yi önceden hesaplamak için önceden bir maliyet gerektirir, ancak daha sonra gerçek ADMM yinelemelerinde uygulanması hızlıdır. Yöntem, kısıtlama matrislerinin tam SVD'leriyle uğraştığından, kareye ve yüksek rütbeye yakın oldukları zaman uygundur. Düşük seviyeli SVD'leri kullanan daha karmaşık bir yöntem de mümkündür, ancak daha sonraki bir bölümde sunulmaktadır.

Yöntem aşağıdaki gibi gelişir. Let göstermektedirler önceden hesaplanmış tam tekil değer ayrıştırma ve olmak sağ tarafı yoğunlaştırmak . Daha sonra ilk denklem haline gelir çarpma sola ve sağa temizlemek için dikey faktörler tarafından ve yeni bir geçici bilinmeyen ayarlamak , bu daha da,

S D S^{T} = Y Y^{T}, W Σ W^{T} = M M^{T}, V T V^{T} = M^{T} M

$Q D Q^T = YY^T, \\ W\Sigma W^T = MM^T, \\ VTV^T = M^TM$

H

$H$

Z_{B} S (α ben + D) S^{T} - W β Σ (α ben + Σ)^{- 1} Σ W^{T} Z_{B} S D S^{T} ='H .

$Z_B Q (\alpha I + D) Q^T - W \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma W^T Z_B Q D Q^T = H.$

A = W^{T} Z_{B} Q

$A = W^T Z_B Q$

bir (α ben + D) - β Σ (α ben + Σ)^{- 1} Σ bir D = W'H S^{T} .

$A (\alpha I + D) - \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma A D = W H Q^T.$

Şimdi çapraz sistemi çözerek bulabiliriz $A$

((α ben + D) \otimes ben + D \otimes β Σ (α ben + Σ)^{- 1} Σ) v e c (bir) = v e c (W'H S^{T}) .

$\left((\alpha I + D) \otimes I + D \otimes \beta \Sigma (\alpha I + \Sigma)^{-1}\Sigma \right)\mathrm{vec}(A) = \mathrm{vec}(W H Q^T).$

bulduktan sonra , ve , için yukarıdaki ikinci denklemi , bu zaten için özdeğer ayrışmasına sahip olduğumuz için önemsiz . $A$ $Z_B = W A Q^T$ $Z_B$ $Z_J$ $M^TM$

Ön maliyet, ve iki simetrik pozitif tanımlanmış özdeğer ayrışmasını hesaplıyor ve daha sonra tam bir çözüm için yineleme başına maliyete, aynı sırayla bulunan bir avuç matris-matris çarpımı hakimdir. büyüklük 1 CG alt sınırı yapıyor. Açık özde ayrışma çok maliyetli ise, örneğin Lanczos yinelemesini erken sonlandırarak ve en büyük özvektörleri koruyarak tam olarak hesaplanabilirler . Daha sonra yöntem, doğrudan çözücü yerine CG için iyi bir ön koşul olarak kullanılabilir. $M^TM$ $YY^T$

çok dikdörtgen olduğunda veya düşük sıralı yaklaşıma sahip olduğunda çözüm yöntemi $M,Y$

Şimdi dikkatimizi a) giriş matrisleri çok dikdörtgen olduğunda - veya sütunlardan çok daha fazla satıra sahip olduklarında veya tersi - veya b) düşük sıralı yaklaşıma sahip olduklarında çözmeye veya ön koşullandırmaya . Aşağıdaki derivasyon, Woodbury formülü, Schur tamamlayıcısı ve diğer benzer manipülasyonların kapsamlı kullanımını içerir. $Z_J,Z_B$ $M,Y$

Schur tamamlayıcı sistemimizle başlıyoruz,

(α ben + β Y Y^{T}) \otimes ben - β^{2} Y Y^{T} \otimes M (α ben + β M^{T} M)^{- 1} M^{T} .

$(\alpha I + \beta YY^T) \otimes I - \beta^2 YY^T \otimes M(\alpha I + \beta M^TM)^{-1} M^T.$

Birkaç manipülasyon bu sistemi daha simetrik bir forma dönüştürür,

(α ben + β ben \otimes M M^{T} + β Y Y^{T} \otimes ben) v e c (Z_{B}) = (ben \otimes (ben + \frac{β}{α} M M^{T})) v e c ('H) .

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)\mathrm{vec}(Z_B) = \left(I \otimes (I + \frac{\beta}{\alpha}MM^T)\right)\mathrm{vec}(H).$

Şimdi düşük seviyeli yaklaşımları getiriyoruz. Let olabilir ya da azaltılmış SVD en ya da düşük seviye yaklaşımları ve ( bir tutucudur olup Kullanılmış). Bunları sistemimize koymak, uygulamak istediğimiz tersi matrisi verir,

S D^{1 / 2} S_{2}^{T} = Y W Σ^{1 / 2} V^{T} = M

$Q D^{1/2} Q_2^T = Y \\ W \Sigma^{1/2} V^T = M$

Y

$Y$

M

$M$

Q_{2}

$Q_2$

(α ben + β ben \otimes W Σ W^{T} + β Y Y^{T} \otimes ben)^{- 1} .

$(\alpha I + \beta I \otimes W \Sigma W^T + \beta YY^T \otimes I)^{-1}.$

Tersine çevirmek için kullandığımız matris kimliğin düşük dereceli bir güncellemesi olduğundan, mantıksal strateji Woodbury formülünü kullanmaya çalışmaktır

(bir + U C U^{T})^{- 1} = {bir}^{- 1} - {bir}^{- 1} U (C^{- 1} + U^{T} {bir}^{- 1} U)^{- 1} U^{T} {bir}^{- 1} .

$(A + UCU^T)^{-1} = A^{-1} - A^{-1}U(C^{-1}+U^TA^{-1}U)^{-1}U^TA^{-1}.$

Bununla birlikte, ve düşük sıralı parçaları dik olmadığından biraz özen gösterilmelidir . Böylece Woodbury formülünü uygulamak için her iki düşük dereceli güncellemeyi tek bir büyük güncellemede topluyoruz. Bunu yapmak ve Woodbury formül verimlerini uygulamak, $I \otimes W$ $Y \otimes I$

{(\frac{1}{α} ben + β [\begin{matrix} ben \otimes W & S \otimes ben \end{matrix}] [\begin{matrix} ben \otimes Σ \\ D \otimes Y \end{matrix}] [\begin{matrix} ben \otimes Σ^{T} \\ S^{T} \otimes ben \end{matrix}])}^{- 1} = α ben - \frac{β}{α^{2}} [\begin{matrix} ben \otimes W & S \otimes ben \end{matrix}] {[\begin{matrix} ben \otimes (Σ^{- 1} + \frac{β}{α} ben) & \frac{β}{α} S \otimes W^{T} \\ \frac{β}{α} S^{T} \otimes W & (D^{- 1} + \frac{β}{α} ben) \otimes Y \end{matrix}]}^{- 1} [\begin{matrix} ben \otimes Σ^{T} \\ S^{T} \otimes ben \end{matrix}] .

$\left(\frac{1}{\alpha} I + \beta \begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes \Sigma & \\ & D \otimes Y\end{bmatrix}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}\right)^{-1} \\ = \alpha I - \frac{\beta}{\alpha^2}\begin{bmatrix}I\otimes W & Q \otimes I\end{bmatrix}\begin{bmatrix}I \otimes (\Sigma^{-1}+\frac{\beta}{\alpha}I) & \frac{\beta}{\alpha}Q \otimes W^T\\ \frac{\beta}{\alpha}Q^T\otimes W & (D^{-1} + \frac{\beta}{\alpha}I) \otimes Y\end{bmatrix}^{-1}\begin{bmatrix}I \otimes \Sigma^T \\ Q^T \otimes I\end{bmatrix}.$

Çekirdek ters 2x2 ters formülü ile hesaplanabilir,

{[\begin{matrix} bir & B \\ B^{T} & C \end{matrix}]}^{- 1} = [\begin{matrix} (bir - B C^{- 1} B^{T})^{- 1} & - {bir}^{- 1} B (C - B^{T} {bir}^{- 1} B)^{- 1} \\ - C^{- 1} B^{T} (bir - B C^{- 1} B^{T})^{- 1} & (C - B^{T} {bir}^{- 1} B)^{- 1} \end{matrix}] .

$\begin{bmatrix}A & B \\ B^T & C\end{bmatrix}^{-1} = \begin{bmatrix}(A-BC^{-1}B^T)^{-1} & -A^{-1}B(C-B^TA^{-1}B)^{-1} \\ -C^{-1}B^T(A-BC^{-1}B^T)^{-1} & (C-B^TA^{-1}B)^{-1}\end{bmatrix}.$

Bu yazı zaten yeterince uzun, bu yüzden hesaplamanın uzun ayrıntılarını yedekleyeceğim, ancak sonuçta gerekli alt matrisleri blok halinde tersine takmak ve her şeyi çarpmak, genel ters için aşağıdaki açık formu verir

(α ben + β ben \otimes M M^{T} + β Y Y^{T} \otimes ben)^{- 1} = \frac{1}{α} ben - \frac{β}{α^{2}} (t_{11} + s_{11} + t_{12} + s_{12} + t_{21} + s_{21} + t_{22} + s_{22}),

$(\alpha I + \beta I \otimes MM^T + \beta YY^T \otimes I)^{-1} = \frac{1}{\alpha} I - \frac{\beta}{\alpha^2}(t_{11} + s_{11} + t_{12} + s_{12} + t_{21} + s_{21} + t_{22} + s_{22}),$

burada

\begin{aligned} t_{11} & = \frac{α}{β} ben \otimes W l^{- 1} W^{T} \\ s_{11} & = (S \otimes W l^{- 1}) D_{11} (S^{T} \otimes l^{- 1} W^{T}) \\ t_{12} & = - \frac{α}{β} S h^{- 1} S^{T} \otimes W l^{- 1} W^{T} \\ s_{12} & = - (S h^{- 1} \otimes W l^{- 1}) D_{22} (h^{- 1} S^{T} \otimes W^{T}) \\ t_{21} & = t_{12} \\ s_{21} & = - (S h^{- 1} \otimes W) D_{22} (h^{- 1} S^{T} \otimes l^{- 1} W^{T}) \\ t_{22} & = \frac{α}{β} S h^{- 1} S^{T} \otimes ben \\ s_{22} & = (S h^{- 1} \otimes W) D_{22} (h^{- 1} S^{T} \otimes W^{T}) \\ D_{11} & = \frac{α}{β} {(h \otimes ben - ben \otimes l^{- 1})}^{- 1} \\ D_{22} & = \frac{α}{β} {(ben \otimes l - h^{- 1} \otimes ben)}^{- 1} \\ l & = \frac{α}{β} Σ^{- 1} + ben \\ h & = \frac{α}{β} D^{- 1} + ben . \end{aligned}

$\begin{align} t_{11} &= \frac{\alpha}{\beta}I \otimes W l^{-1} W^T \\ s_{11} &= (Q \otimes W l^{-1})D_{11}(Q^T \otimes l^{-1}W^T) \\ t_{12} &= -\frac{\alpha}{\beta} Q h^{-1} Q^T \otimes W l^{-1} W^T \\ s_{12} &= -(Q h^{-1} \otimes W l^{-1})D_{22}(h^{-1} Q^T \otimes W^T) \\ t_{21} &= t_{12} \\ s_{21} &= -(Q h^{-1} \otimes W)D_{22}(h^{-1} Q^T \otimes l^{-1} W^T) \\ t_{22} &= \frac{\alpha}{\beta}Q h^{-1} Q^T \otimes I \\ s_{22} &= (Q h^{-1} \otimes W)D_{22}(h^{-1}Q^T \otimes W^T) \\ D_{11} &= \frac{\alpha}{\beta}\left(h \otimes I - I \otimes l^{-1} \right)^{-1} \\ D_{22} &= \frac{\alpha}{\beta}\left(I \otimes l - h^{-1} \otimes I \right)^{-1} \\ l &= \frac{\alpha}{\beta} \Sigma^{-1} + I \\ h &= \frac{\alpha}{\beta} D^{-1} + I. \end{align}$

Bu formda, tersi uygulayabilir ve terimini 8 sol ve sağ matris çarpma sandviçinden terime göre bulabiliriz . Kronecker ürünlerinin toplamını uygulamak için genel formül, $Z_B$

(({bir}_{1} \otimes B_{1}) + ({bir}_{2} \otimes B_{2}) + ...) v e c (C) = v e c (B_{1}^{T} C {bir}_{1} + B_{2}^{T} C {bir}_{2} + ...) .

$\left((A_1 \otimes B_1) + (A_2 \otimes B_2) + \dots\right)\mathrm{vec}(C) = \mathrm{vec}(B_1^T C A_1 + B_2^T C A_2 + \dots ).$

Sonuçta ortaya çıkardığımız tüm açık tersler diyagonaldir, bu yüzden "çözülecek" hiçbir şey yoktur.

Doğrusal çözücü kodu

Matlab'da yukarıdaki iki çözücüsünü . İyi çalışıyor gibi görünüyor. Çözücü kodu burada. $z_J,Z_B$

https://github.com/NickAlger/MeshADMM/blob/master/zkronsolve.m

Çözücülerin çalışıp çalışmadığını kontrol etmek için bir test komut dosyası. Ayrıca örnek olarak çözücü kodunun nasıl çağrılacağını da gösterir.

https://github.com/NickAlger/MeshADMM/blob/master/test_zkronsolve.m

son sözler

ADMM türü yöntemler bu tür sorunlar için çok uygundur, ancak kendi uygulamanızı gerçekleştirmeniz gerekir. Yöntemin genel yapısı oldukça basittir, bu nedenle MATLAB gibi bir şeyde uygulama çok zor değildir.

Sorununuz için yöntemi tam olarak tanımlamak üzere belirtilmesi gereken bu gönderiden eksik olan parça, ceza parametreleri seçimidir . Neyse ki, parametre değerleri çılgın olmadığı sürece yöntem genellikle oldukça sağlamdır. Boyd ve Parikh gazetesinde buradaki referanslar gibi ceza parametreleri hakkında bir bölüm var, ancak makul yakınsama oranları elde edene kadar parametreleri deniyorum. $\alpha,\beta$

Sunulan çözücü stratejileri, eğer kısıtlama matrisleri a) yoğun, kare ve yüksek rütbe veya b) iyi bir düşük rütbe yaklaşımına sahipse oldukça etkilidir. Gelecekteki çalışmaların bir konusu olabilecek başka bir yararlı çözücü, aşağıdaki durum için optimize edilmiş bir çözücü olacaktır - kısıtlama matrisi seyrek ve kare şeklinde ve yüksek derecelidir, ancak için iyi bir önkoşul vardır . Örneğin, ayrıklaştırılmış bir Laplacian olması durum böyle olur . $Z_J,Z_B$ $M$ $\alpha I + MM^T$ $M$

— Nick Alger
kaynak

Bunu şimdi uyguluyoruz! Kontrol etmek için, ve için matris simetrik / pozitif olarak tanımlanmalıdır, çünkü en küçük karelerden gelir, değil mi? Bu ampirik olarak doğru gibi görünüyor :-). CG, GMRES'ten daha iyi bir seçenek midir?

Z_{B}

$Z_B$

Z_{J}

$Z_J$

— Justin Solomon

Ayrıca, B için güncelleme yanlış olduğunu düşünüyorum? Bu konuyu daha ayrıntılı bir şekilde inceliyorum, ancak enerji fonksiyonumda (hayır terim) geri çağırma görünmüyor , bu yüzden sadece değerleri alması gerektiğinden emin değilim Bunu yanlış düşünüyor muyum? Teşekkürler!

| B |

$|B|$

\pm (1 - 1 / α) .

$\pm (1-1/\alpha).$

— Justin Solomon

[ yerine, ]

B = Z_{B} - Γ_{B} / α

$B = Z_B-\Gamma_B/\alpha$

— Justin Solomon

İnanılmaz! ve için kendi formüllerimi koyduktan sonra (muhtemelen yayınladığınıza yakın / eşdeğer ama bir şey işe yaramadı), bu IRLS yönteminden daha iyi performans gösteriyor. Teşekkürler!

J

$J$

B

$B$

— Justin Solomon

Harika haber. Buradaki katkıların ne zaman gerçek sonuçlara yol açtığını görmek çok güzel.

— Michael Grant

Geoffrey Irving'in bahsettiği SVD'leri karşılayabilir misiniz? Mümkünse, yinelemeli olarak yeniden ağırlıklandırılmış en küçük kareler (IRLS) yaklaşımını düşünürüm . Bu yaklaşım ; burada bir ağırlık matrisidir.

\begin{array}{ll} küçültmek & \underset{ben j}{Σ} W_{ben j} J_{ben j}^{2} \\ tabi & M J + B Y = X \end{array}

$\begin{array}{ll}\text{minimize}&\sum_{ij} W_{ij}J_{ij}^2\\\text{subject to}&MJ+BY=X\end{array}$

W

$W$

Yinelemeler hepsi matris olarak ile başlar ; bu optimum . Yinelemeler burada sıfıra bölünmeyi önleyen küçük bir sabittir. Yakınsama ölçütlerinden tam olarak emin değilim, ancak belki de yukarıda önerdiğim Wikipedia bağlantısı size referans verebilir. $W^{(0)}$ $J^{(0)}$

W_{ben j}^{(k + 1)} = {| maksimum {J_{ben j}^{(k)}, ε} |}^{- 1}

$W_{ij}^{(k+1)}=\left|\max\{J_{ij}^{(k)},\epsilon\}\right|^{-1}$

ϵ

$\epsilon$

Ayrıca, düzgünleştirilmiş birinci dereceden bir yöntem de düşünebilirsiniz. Birlikte yazdığım TFOCS, bunu "düzgünleştirilmiş konik çift" (SCD) çözücüyü kullanarak halledebilir, ancak kullanımı o kadar kolay olmayacaktır.

Matrissiz bir iç nokta yöntemi denemek istiyorsanız, Jacek Gondzio'nun çalışmasını okuyun.

EDIT: hmm, IRLS çözümlerini hesaplamak için SVD kullanamazsınız olabilir. Eğer öyleyse diğer seçeneklerden birine geri düşerim.

— Michael Grant
kaynak

SVD'yi burada kullanıp kullanamayacağımdan emin değilim, ancak IRLS ne olursa olsun harika bir fikir! Hız bellek kadar endişe verici değil ve utanç verici bir şekilde birkaç ay önce ilgili bir araştırma için IRLS kullandım ve harika çalıştı (daha önce denemediğim için kendimi tekmeliyorum!). IRLS için SVD olmadan bile, tam sisteme ihtiyaç duymayan CG gibi doğrusal bir çözücü kullanarak bunu yapmak mümkün olmalıdır. Aslında, CG, önerdiğiniz gibi ayarlanmadan önce oldukça gevşek kısıtlamalarla durdurulabilir . Ayrıca bir ADMM yaklaşımına bakıyorum, ancak bu konuda daha az deneyime sahibim.

W_{i j}

$W_{ij}$

— Justin Solomon

Evet, ADMM de harika olurdu. Aslında Y'yi tamamen ortadan kaldırmanızı öneren bir bölüm yazdım, ancak daha sonra kare olmadığını gördüm .

M

$M$

— Michael Grant

IRLS stratejisini uyguladı - bir araya geldi, ancak sayısal olarak çok iyi sonuç vermiyor çünkü çözmesi gereken doğrusal sistem geniş bir yelpazede 'ler sayesinde kötü koşullandırılmış ; sistemi çözmek için GMRES kullanarak. Sonraki ADMM deneyecek!

w

$w$

— Justin Solomon