L-sonsuzluk normu doğrusal regresyonu çözmek için yazılım paketi [kapalı]

L-sonsuzluk normunu en aza indirgemek amacıyla doğrusal regresyonu çözmek için herhangi bir yazılım paketi var mı?

regression

— Fan Zhang
kaynak

Herhangi bir doğrusal programlama paketi işe yarayacaktır. Bu size birçok seçenek sunuyor. :)

— kardinal

@Cardinal Bunu doğrusal bir program olarak nasıl yeniden yaparsınız? Önemsiz durumlarda bile (iki veri noktası ve bir parametre gibi) nasıl yapılacağı açık değildir: kısıtlama yoktur ve nesnel işlev doğrusal değildir.

— whuber

Anahtar sözcük : Chebyshev yaklaşımı. (Takip edilecek daha fazla. Fikir, ekstra bir değişken sunmak ve daha sonra nesneyi kısıtlamalara dönüştürmek.)

— kardinal

@cardinal Bunu demek istediniz: mathworld.wolfram.com/ChebyshevApproximationFormula.html Oldukça karmaşık görünüyor.

— Fan Zhang

Biraz ilgili, ama bu sorun için almanca değil. Sorununuz basit bir LP ile çözülebilir. Bir bilgisayara ulaşabildiğim anda bir cevap göndereceğim.

— kardinal

Yanıtlar:

Kısa cevap : Sorununuz, görev için en sevdiğiniz LP çözücüsünü seçmenize izin veren doğrusal bir program (LP) olarak formüle edilebilir. Sorunun LP olarak nasıl yazılacağını görmek için okumaya devam edin.

Bu minimizasyon problemine genellikle Chebyshev yaklaşımı denir .

Let , satır ile ile gösterilen ve . Sonra fonksiyonu minimize etmeye göre . En uygun değeri $\newcommand{\y}{\mathbf{y}}\newcommand{\X}{\mathbf{X}}\newcommand{\x}{\mathbf{x}}\newcommand{\b}{\mathbf{\beta}}\newcommand{\reals}{\mathbb{R}}\newcommand{\ones}{\mathbf{1}_n} \y = (y_i) \in \reals^n$ $\X \in \reals^{n \times p}$ $i$ $\x_i$ $\b \in \reals^p$ $f(\b) = \|\y - \X \b\|_\infty$ $\b$

f^{⋆} = f (β^{⋆}) = inf {f (β) : β \in R^{p}} .

$f^\star = f(\b^\star) = \inf \{f(\b): \b \in \reals^p \} \>.$

Bunu LP olarak yeniden biçimlendirmenin anahtarı sorunu epigraf formunda yeniden yazmaktır . Aslında, olduğuna ikna etmek zor değildir

f^{⋆} = inf {t : f (β) \leq t, t \in R, β \in R^{p}} .

$f^\star = \inf\{t: f(\b) \leq t, \;t \in \reals, \;\b \in \reals^p \} \> .$

Şimdi, işlevinin tanımını kullanarak, yukarıdaki sağ tarafı olarak yeniden yazabiliriz ve bu nedenle bir regresyon ayarında normunu en aza indirmenin LP ile eşdeğer olduğunu görüyoruz. burada optimizasyon yapılır üzerinde ve uzunluğunda bir vektörü belirtir . Okuyucu için yukarıdaki LP'yi standart formda yeniden düzenlemeyi (kolay) bir egzersiz olarak bırakıyorum. $f$

f^{⋆} = inf {t : - t \leq y_{i} - x_{i} β \leq t, t \in R, β \in R^{p}, 1 \leq i \leq n},

$f^\star = \inf\{t: -t \leq y_i - \x_i \b \leq t, \;t \in \reals, \;\b \in \reals^p,\; 1 \leq i \leq n \} \>,$

ℓ_{\infty}

$\ell_\infty$

\begin{array}{ll} minimize & t \\ subject to & y - X β \leq t 1_{n} \\ y - X β \geq - t 1_{n}, \end{array}

$\begin{array}{ll} \text{minimize} & t \\ \text{subject to} & \y-\X \b \leq t\ones \\ & \y - \X \b \geq - t \ones \>, \\ \end{array}$

(β, t)

$(\b, t)$

1_{n}

$\ones$

n

$n$

Doğrusal regresyonun (toplam varyasyon) versiyonu ile ilişki $\ell_1$

normunda çok benzer bir şeyin yapılabileceğini . Let . Ardından, benzer argümanlar böylece karşılık gelen LP $\ell_1$ $g(\b) = \|\y - \X \b \|_1$

g^{⋆} = inf {t^{T} 1_{n} : - t_{i} \leq y_{i} - x_{i} β \leq t_{i}, t = (t_{i}) \in R^{n}, β \in R^{p}, 1 \leq i \leq n},

$\newcommand{\t}{\mathbf{t}} g^\star = \inf\{\t^T \ones : -t_i \leq y_i - \x_i \b \leq t_i, \;\t = (t_i) \in \reals^n, \;\b \in \reals^p,\; 1 \leq i \leq n \} \>,$

\begin{array}{ll} minimize & t^{T} 1_{n} \\ subject to & y - X β \leq t \\ y - X β \geq - t . \end{array}

$\begin{array}{ll} \text{minimize} & \t^T \ones \\ \text{subject to} & \y-\X \b \leq \t \\ & \y - \X \b \geq - \t \>. \\ \end{array}$

artık durumunda olduğu gibi skaler yerine uzunluğunda bir vektör olduğunu unutmayın . $\t$ $n$ $\ell_\infty$

Bu iki problemdeki benzerlik ve her ikisinin de LP olarak atılabilmeleri elbette tesadüf değildir. İki normları olduklarını şu şekilde ilişkilidir ikili normlar birbirinden.

— kardinal
kaynak

Parametreler ve / veya tahminler için bazı kesinlik ölçülerini nasıl bulabilirdiniz? Şu son soru yüzünden soruyorum: mathematica.stackexchange.com/questions/214226/… .

— JimB

Malab cvx kullanarak bunu yapabilir. cvx (ücretsiz) almak için:

http://cvxr.com/cvx/download/

CVX'de şöyle yazarsınız:

cvx_begin
   variable x(n);
   minimize( norm(A*x-b,Inf) );
cvx_end

( kılavuzun 12. sayfasına bakınız )

CVX'in bir Python uygulaması var ( burada ) ama komutlar biraz farklı ...

— user603
kaynak

@ cardinal'in cevabı iyi ifade edilmiş ve kabul edilmiştir, ancak bu konuyu tamamen kapatmak için aşağıdakileri sunacağım: IMSL Sayısal Kütüphaneleri , L-sonsuz norm regresyonunu gerçekleştirmek için bir rutin içerir. Rutin Fortran, C, Java, C # ve Python'da mevcuttur. I Yöntem ayrıca, genel destekler arama lnorm_regression, olduğu C ve Python sürümlerini kullandık -norm regresyon, . $L_p$ $p >= 1$

Bunların ticari kütüphaneler olduğunu, ancak Python sürümlerinin ticari olmayan kullanım için ücretsiz (biradaki gibi) olduğunu unutmayın.

— Josh Hemann
kaynak

Maalesef, bağlantı artık çalışmıyor. Güncelleyebilir misiniz?

— COOLSerdash