Python'da doğrusal kısıtlamalarla en küçük kareler problemini çözme

12

Çözmem gerek

\begin{aligned} min_{x} ‖ A x - b ‖_{2}^{2}, \\ s . t . & \sum_{i} x_{i} = 1, \\ x_{i} \geq 0, \forall i . \end{aligned}

$\begin{alignat}{1} & \min_{x}\|Ax - b\|^2_{2}, \\ \mathrm{s.t.} & \quad\sum_{i}x_{i} = 1, \\ & \quad x_{i} \geq 0, \quad \forall{i}. \end{alignat}$

Ben düşünüyorum onunla çözülebilir olması gereken bir kuadratik sorundur CVXOPT , ama nasıl dışarı çalışamaz.

— tillsten
kaynak

Umarım bu soru compsci için çok spesifik değildir.

— tillsten

Geoff Oxberry: Sadece bir merak, ama doğrusal kısmı neden düzenledin? Bence sorun tanımının iktidarsız bir parçası, çözüm doğrusal olmayan en küçük kareler optimizasyonu için oldukça farklı olurdu.

— tillsten

Btw, diğer düzenlemeler harika!

— tillsten

Bunu kendi kodunuzla çok verimli bir şekilde kolayca çözebilirsiniz. CVXOPT'a gerek yok.

— Royi

11

CVXPY'yi keşfetmeden önce (satırın altında) tam bir cevap yazdım ( ki bu MATLAB için CVX gibi) sizin için tüm zor şeyleri yapar ve burada neredeyse sizinkiyle çok kısa bir örneğe sahiptir . Yalnızca ilgili satırı

 p = program(minimize(norm2(A*x-b)),[equals(sum(x),1),geq(x,0)])

CVXOPT ile daha zor olan eski cevabım:

Geoff'un karesini alma önerisini takiben objektif fonksiyonunuz

‖ A x - b ‖_{2}^{2} = ⟨ x^{T} A^{T} - b^{T}, A x - b ⟩ = x^{T} A^{T} A x - b^{T} A x - x^{T} A b - b^{T} b

$\|Ax-b\|^2_2 = \langle x^TA^T - b^T,Ax-b\rangle = x^TA^TAx - b^TAx - x^TAb - b^Tb$

Tabii ki, tüm terimler skalerdir, bu nedenle üçüncü olanı transpoze edebilir ve sonuncuyu düşürebilirsiniz ( bağlı olmadığından ve hangi size minimum verdiğini değiştirmeyeceğinden , geri eklemeniz gerekir. çözdükten sonra hedefinizin doğru değerini elde etmek için) (Bu, kısıtlamalarınız dahil), CVXOPT belgeleri burada da böyle bir sorunun çözümü için örnek kod var. $x$ $x$

x^{T} A^{T} A x - b^{T} (A + A^{T}) x

$x^TA^TAx - b^T(A + A^T)x$

— David Ketcheson
kaynak

4

Çözdüğün problem yerine, çöz

\begin{aligned} min_{x} ‖ A x - b ‖_{2}^{2}, \\ s . t . & \sum_{i} x_{i} = 1, \\ x_{i} \geq 0, \forall i . \end{aligned}

$\begin{alignat}{1} & \min_{x}\|Ax - b\|^{2}_{2}, \\ \mathrm{s.t.} & \quad\sum_{i}x_{i} = 1, \\ & \quad x_{i} \geq 0, \quad \forall{i}. \end{alignat}$

Bu sorun, CVXOPT, IPOPT veya diğer herhangi bir dışbükey optimizasyon çözücüsünde çözülebilen farklı, dışbükey, doğrusal olmayan bir optimizasyon problemidir.

— Geoff Oxberry
kaynak