Karesel kuadratik polinomların toplamının sistematik olarak incelenmesi

Karesel karesel biçimlere benzer şekilde, özdeğer ayrışmasına (büyük pratik çıkarımlara sahip) yansıyan karesel kuadratik formların toplamlarının sistematik çalışmaları olup olmadığını merak ediyorum. Sorunun önemi ile ilgili birkaç örnek.

1. Temel bileşen analizleri (PCA) . Bir takım puanlar verildi$x_i \in \mathbb{R^n}, i=1..k$ eksen setini bul $u_1$, ... $u_m$, matris olarak yazılmış $U \in \mathbb{R^n x R^m}$ve projeksiyonlar $\xi_1$, ..., $\xi_k, \xi_{\circ} \in \mathbb{R^m}$ açıklanamayan varyansı en aza indirir, yani aşağıdaki dörtlü optimizasyon problemini çözer

   $\mathop{argmin} \limits_{u_1,.., u_n,\ \xi_1, .., \xi_k} \sum \limits_{i} \left( U^T \xi_i - x_i \right)^2$

   Simetrinin büyüsü ile tekil değer ayrıştırma çözümü vardır

2. Genelleştirilmiş PCA . PCA ile aynı, ancak şimdi hassas bir matris var$A_i \in \mathbb{R^n x R^n}$ her gözlemlenebilir ile ilişkili $x_i$. Sorun daha karmaşık hale geliyor

   $\mathop{argmin} \limits_{u_1,.., u_n,\ \xi_1, .., \xi_k} \sum \limits_{i} \left( A_i U^T \xi_i - x_i \right)^2$

   (hepsi $A_i$ kimlik matrisi bu sorun PCA ile eşdeğerdir. $A_i = A_j, \forall i,j$ve diyagonal ağırlıklı PCA). Bu problem aynı zamanda yarı tanımlamalı programlama (SDP) ile polinom zamanda da çözülebilir - Çözüm karelerin toplamı şeklinde olduğundan, NZ Shor (1987) ile konveks problemdir ve Parillo tezi (2000) pratik SDP üzerinden hesaplamanın yolu$\square$

SDP yaklaşımında, kuartik polinom kareli karesel polinomların toplamı olarak yazılır. Bu nedenle, karesel kuadratik formların toplamı olarak ne tür kuartik polinomların yazılabileceğini bilmek büyük önem taşımaktadır (iki-ikinci fonksiyona benzetilerek iki-ikinci formlar olarak adlandırılabilir). Literatürün çoğunda, en az kuartik polinom buldukları noktada durdum$p= \sum_k^n (x_k^2-1) + (a^T x)^2, a \in \mathbb{Z^n}$ bölüm problemini kodluyor ve neden olduğu konusunda herhangi bir argüman yok. $p$ bunun ötesinde, ikinci dereceden polinom karelerinin toplamı olarak temsil edilemez.

Herkesin sistematik incelemeleri, ikinci dereceden polinom karelerinin toplamı ile temsil edilebilir hale getirip getirmediğini merak ediyorum.

Bildiğim kadarıyla böyle bir çalışma yok; ayrıca, kareler toplamı (SOS) problemleri teknolojisinde bazı önemsiz ilerlemeler olmadan, şu anda böyle bir çalışmanın derhal faydasının ne olacağı açık değildir. (SOS bağlantısına odaklanacağım, çünkü bildiğim kadarıyla, bu genel dörtlü problemleri çözmenin en iyi yolu.) Bu ifade olumlu bir şekilde ele alınmalıdır: Bence çok fazla araştırma derinliği var. bu problemler. İddiamı birkaç şekilde, umarım insanların yararlı bulduğu şekillerde doğrulayacağım.

İlk olarak, tartıştığınız türün en temel sorunları için, SVD bağlantısı SOS kara kutusundan çok daha iyi bir çözücü sağlar; özellikle, ikincisi terimli bir SDP oluşturur ; burada , kaynak optimizasyonu problemindeki toplam değişken sayısıdır (örneğin, tüm bilinmeyen matrislerdeki toplam eleman sayısı; Bu sayıları aldığım yerde Pablo Parrilo'nun 2006 kursundan 10. derse bakın: http://ocw.mit.edu/courses/electrical-engineering-and-computer-science/6-972-algebraic-techniques-and-semidefinite-optimization -spring-2006 / ders-notları / lecture_10.pdf ). Bu, asla çözmek istemediğiniz bir SDP'dir (çalışma süresi olarak olarak değişir$\binom{n+2}{2}$$n$$n$$n^{6}$bir iç nokta çözücü kullanarak?), özellikle bir SVD çözücüsünün gülünç hızı ile karşılaştırıldığında (tutarlı gösterim kullanarak, SVD gibi bir şey olacaktır ; sütun, satır ve hedef sıralaması sayılır, ancak ihmalimi nasıl düzeltirseniz seçin bu bir felakettir). Bu damar boyunca, herhangi bir polinom içindeki maksimum derecenin iki olduğu SOS problemlerini çözmek için özel bir algoritma tasarladıysanız: bu şaşırtıcı olurdu ve sonra aradığınız anketin değeri çok olurdu.$\mathcal O(n^{1.5})$

İkincisi, bu sorunların temel formülasyonu pencereden dışarı çıktığından, bu sorunların bazı varyantlarının SOS çözücüleri tarafından iyi işlenip işlenmediğini merak edebiliriz. Önemli bir örnek olarak, optimizasyon yaptığınız (yukarıdaki formülasyonunuzda) bilmediğiniz matrisin artık negatif olmayan girdilere sahip olması gereken NMF (negatif olmayan matris çarpanlarına ayırma) sorununu düşünün. Ne yazık ki, bu sorunları çözmek için kullanılan standart SDP'yi alırsanız (örneğin Pablo Parrilo'nun yukarıdan notlarına bakın), bu kısıtlamaları tanıtmanın bir yolu yoktur. (Ve ortaya çıkan sorunların bazı formülasyonları NP-zor olduğu için, şimdi bir yaklaşım şeması oluşturuyorsunuz; yani, bu kötü olabilir.) Ayrıca, bu sorunun polinom yapısından yararlanarak, garantiler: bkz.http://arxiv.org/abs/1111.0952 Arora, Ge, Kannan ve Moitra tarafından yazılmıştır. Birkaç algoritma oluştururlar, ancak bir "tam" NMF problemini çözdüklerinde (tam bir çarpanlara ayırma, yani bir nesnel değer 0 veren), bir SOS çözücü kullanmazlar: "yarı" fizibilitesini kontrol eden bir çözücü kullanırlar -algebraic sets ", NMF'nin ortaya koyduğu kısıtlama türlerine izin veren çok daha zor bir optimizasyon problemidir, ancak şimdi üstel çalışma süresi ile.

Her neyse, özetlemek ve biraz daha perspektif vermek; SOS afaik olduğundan bahsettiğiniz dörtlü problemler için tek çözücü (yani özel bir dörtlü çözücü olduğunu düşünmüyorum) olduğundan, bu çözücülerin insanların önem verdiği dörtlü problemler için nasıl daha iyi alternatifleri olduğunu tartıştım. Burada SOS araçlarını etkili bir şekilde kullanmak için, ya dörtlü durum (en fazla 2 derece iç polinomları) için şaşırtıcı bir çözücü oluşturmanız ya da bu sorunlara kısıtlamalar eklemenin bir yolunu bulmanız gerekir. Aksi takdirde, SOS sorunlarıyla bağlantı, büyüleyici olsa da, size çok fazla vermez.

Ayrıca bulduğunuz literatürün bu bağlantıyı yapmadığına şaşırdığınızı da belirtiyorsunuz. Bunun çoğunlukla pratik SOS çözücülerinin yeniliğinden kaynaklandığını düşünüyorum (SOS sorunlarının soyut olarak ele alınması çok ileri gider) ve yukarıda söylediğim şey. Aslında, SOS çözücülerini ilk bulduğumda, Parrilo'nun notları ve kağıtları aracılığıyla yapıldı ve benzer şekilde "PCA tipi problemlerden neden bahsetmediğini" merak ettim? Sonra yukarıdaki gerçekleri kontrol ettim ve çok kaşlarını çattım. Sanırım Parrilo'nun kendisinin anlatabildiğim / yağmalayabildiğim kadarıyla bu problemleri tezinde bahsettiğiniz referansın dışında tartışmaması da kötü bir işaret (bu arada, çeşitli uzantılarla ilgili makaleleri var ve çok saygım var bu alandaki çalışmaları için: bu belirli dörtlü problemleri birçok kez düşünmüş olmalı ..http://arxiv.org/abs/1111.1498 ).