Plotkin-Shmoys-Tardos ve Arora-Kale çözücüler için Oyuncak Örnekleri

Arora-Kale SDP çözücüsünün Goemans-Williamson gevşemesine neredeyse lineer zamanda nasıl yaklaştığını, Plotkin-Shmoys-Tardos çözücüsünün kesirli “paketleme” ve “örtme” problemlerine neredeyse lineer zamanda nasıl yaklaşdığını ve algoritmaların nasıl olduğunu anlamak istiyorum. “Uzmanlardan öğrenme” soyut çerçevesinin somutlaşmış örnekleridir.

Kale'nin tezinin mükemmel bir sunumu var ama doğrudan soyut çerçeveye atlamayı çok zor buluyorum ve ne yapılacağı belli olan basit bir problem örneğinden başlamayı tercih ediyorum ve sonra daha genel problemlere geçmeyi tercih ediyorum. algoritmaya ve analizine aşamalı olarak “özellikler” eklenir.

Örneğin:

Plotkin-Shmoys, ağırlıklandırılmamış vertex kapağının doğrusal programlama gevşemesini nasıl çözer? Ağırlıklı tepe örtüsü? Kapağı ayarla? Bipartit eşleştirme?

Arora-Kale algoritmasının ilginç bir şey yaptığı en basit örnek nedir? Bir grafiğin Laplacianının en büyük özdeğerini nasıl hesaplar?

(Laplacian'ın en büyük özdeğerini hesaplamak, Goemans-Williamson SDP Max Cut'ın daha zayıf bir versiyonunu çözme problemine eşdeğerdir; buradaki her vektörün bir uzunluk olmasını istemek yerine, karelerin toplamını istediğinizde normlarının | V |.)

— Luca Trevisan
kaynak

Bu güzel bir soru.

— Suresh Venkat

Paketleme problemleri için PST tarzı algoritmaları anlamak için, PST'nin evrimleştiği çoklu emtia akış problemini yaklaşık olarak çözmek için algoritmalara bakmak iyi olacaktır. Neal Young'ın makalesinde set kapağı ayrıntılı olarak açıklanmaktadır. Ihttp: //www.cs.ucr.edu/~neal/non_arxiv/SODA_1995_170.pdf. Arora-Kale-Hazan'ın anketinin ayrıca uzmanlar çerçevesi ile ambalajlama / örtücü çözücüler arasındaki bağlantıyı açıkça yaptığını düşündüm.

— Chandra Chekuri

@ChandraChekuri: Oldukça gecikti, ama bunu bir cevap haline getirip getirmemeyi merak ediyorum?

— Suresh Venkat

FWIW, belirtilen SODA kağıdı @ChandraChekuri'de genişleyen bazı notlar için, bkz. Greedyalgs.info/blog/about .

— Neal Young,

Güncelleme bağlantısı: algnotes.info/on/obliv

— Neal Young

Luca, bir yıl geçtiğinden beri, muhtemelen kendi cevabını araştırdın. Buradaki bazı sorularınızı sadece kayıt için cevaplıyorum. Bahsettiğiniz problemler için bazı Lagrangian gevşeme algoritmalarını gözden geçiriyorum ve öğrenmeyle bağlantınızı çiziyorum (özellikle uzman tavsiyelerini izleyerek). Burada SDP algoritmaları hakkında yorum yapmıyorum.

Bahsettiğiniz belirli algoritmaların neredeyse doğrusal sürede çalışmadığını unutmayın. ( Açıkça verilen paketleme veya kaplama problemleri için neredeyse doğrusal bir zaman algoritması vardır . Bkz. Kesirli Paketleme ve Kaplama Doğrusal Programları için Simplex Beating'e bakınız .) Aklınızdaki algoritmalar tipik olarak neredeyse doğrusal bir yinelemede çalışan değişkenlere sahiptir ancak her biri yineleme tipik olarak en azından doğrusal zaman gerektirir. Bu algoritmaların bazılarını aşağıda tartışıyorum.

Bazı faydalı fonksiyonlar

Başlamadan önce, ihale taslaklarında kullanacağımız bazı fonksiyonlar. (Algoritmalarla ilgileniyorsanız, ancak ispat ayrıntılarıyla ilgilenmiyorsanız, ileri atlayabilirsiniz.) Herhangi bir vektör için $y$ $\mbox{Lmax}(y)$ $\ln \sum_i \exp(y_i)$ $\max_i y_i$

max_{i} y_{i} \leq Lmax (y) \leq max_{i} y_{i} + \ln m .

$\max_i y_i ~\le~ \mbox{Lmax}(y) ~\le~ \max_i y_i + \ln m.$

Lmin (y)

$\mbox{Lmin}(y)$

- Lmax (- y)

$-\mbox{Lmax}(-y)$

min_{i} y_{i}

$\min_i y_i$

İzleyenlerde kolaylık sağlamak için, gradyanını olarak göstermek için kullanın . Kullandığımız gradyanı belirtmek için Lmax arasında. $g(y)$ $\nabla \mbox{Lmin}(y)$ $G(y)$ $\nabla \mbox{Lmax}(y)$

Açıkça, ise ise ise . $g_i(y)$ $\exp(-y_i)/\sum_{i'} \exp(-y_{i'})$ $G_i(y)$ $\exp(y_i)/\sum_{i'} \exp(y_{i'})$

Lmin ve Lmax şu anlamda pürüzsüzdür : herhangi bir vektörde ve , ve $d\in[0,\varepsilon]^n$ $y\in R^n$

Lmin (y + d) \geq Lmin (y) + (1 - O (ε)) d \cdot g (y)

$\mbox{Lmin}(y+d) ~\ge~ \mbox{Lmin}(y) ~+~ (1-O(\varepsilon))\, d \cdot g(y)$

Lmax (y + d) \leq Lmax (y) + (1 + O (ε)) d \cdot G (y) .

$\mbox{Lmax}(y+d) ~\le~ \mbox{Lmax}(y) ~+~ (1+O(\varepsilon))\, d \cdot G(y).$

Her iki degradenin 1'e eşit 1-normuna sahip olduğunu unutmayın: . (Boyunca i 1 normunu göstermek için kullanırız.) $|G(y)| = |g(y)| = 1$ $|z|$

Ayrıca dikkat, bir matris için , fonksiyon gradyanı ile ilgili olarak (zincir kuralı ile), . Daha açık bir ifadeyle, fonksiyonun kısmi türevi, göre . Benzer şekilde, Lmax kısmi türevi göre hiç isimli . $A$ $x\mapsto \mbox{Lmin}(Ax)$ $x$ $(g(Ax))^T A$ $x_j$ $\sum_i A_{ij} \exp(-A_i x) / \sum_i \exp(-A_i x)$ $(Ax)$ $x_j$ $\sum_i A_{ij} \exp(A_i x)/\sum_i \exp(A_i x)$

Kesirli Set Kapağı

Set-Cover örneğini düzeltin. Let elemanı / set insidansı matrisi göstermektedir. Bu nedenle, eğer , eğer ise , ve , fraksiyonel kapak elementini kapsadığı . $A$ $A_{es} = 1$ $e\in s$ $A_e x$ $x$ $e$

LP . Verilen , algoritma ise $\min\{ |x| : A x \ge 1; x \ge 0\}$ $\varepsilon\in (0,1)$

Tümünü başlat . Let . $x_s = 0$ $N=\log(n)/\varepsilon$
kadar tekrar edin : $\min_e A_e x \ge N$

2.1. Seç Lmin kısmi türevi maksimize wrt . (Açıkça, tercih maksimize ). $s$ $(Ax)$ $x_s$
$s$ $\sum_{e\in s} \exp(-\sum_{s'\ni e} x_{s'})$

2.2. Artış tarafından . $x_s$ $\varepsilon$
Döndür . $x/\min_{e} A_e x$

Algoritma , yinelemelerinde yaklaşık bir çözüm döndürür , burada , öğelerin sayısıdır ve , en uygunudur kesirli küme kapağı (önemsiz ). ( Chandra de belirtilen gazetede benzer bir algoritma belirir . Vertex Cover elbette özel bir durumdur.) $(1+O(\varepsilon))$ $O(|x^*|\log(n)/\varepsilon^2)$ $n$ $x^*$ $|x^*|\le n$

( Not: Sınırlamanın yinelemenin kümelerin sayısına, sadece öğelerin sayısına bağlı olmadığını unutmayın. Bu nedenle, algoritma, öğeler üzerinde ağırlıklar verildiği sürece, etkin bir şekilde tanımlanabilen bir küme sistemi ile kullanılabilir. bir dizi maksimum (veya maksimum-maksimum) toplam ağırlık bulursunuz.Bu tür oracle, elipsoid algoritmasını ikili soruna uygulamak için gerekli olan ayırma oracle ile aynıdır .. Set paketleme gibi paketleme problemleri için, oracle, elemanlar üzerindeki ağırlıklar verilen toplam ağırlığı en aza indiren bir set döndürür Çoklu mal akışı gibi problemler için, örneğin, bazı kenar ağırlıklarının toplamını en aza indiren bir yol bulmanız gerekebilir.)

İşte performans garantisinin ispatı. Her bir yinelemede, kısmi türev wrt seçilen , en azından,burada optimal kesirli küme kapaktır. $s$ $1/|x^*|$ $x^*$

(Lmin gradyan göre, neden hatırlama görmek için göre olan bir dizi seçim olsaydı. dağılımdan rasgele , göre kısmi türevi beklenen değeri böylece olacaktır . yana , bu en az bir . yana , bu en az bir . Bu nedenle, var olmalıdır bazı en azından kısmi türev veren . Algoritma seçtiğinden $(Ax)$ $x$ $(g(Ax))^T A$ $s'$ $x^*/|x^*|$ $x_{s'}$ $(g(Ax))^T \,A x^*/|x^*|$ $Ax^* \ge 1$ $|g(Ax)|/|x^*|$ $|g(Ax)|=1$ $1/|x^*|$ $s$ $1/|x^*|$ $x_s$ kısmi türevini maksimize etmek için her yinelemede , en az.) $1/|x^*|$

Ardından, adım boyutu yeterince küçük seçilmiştir, böylece koordinatı yok değerinden fazla artmaz . Bu nedenle, düzgünlüğü nedeniyle, - arttırılması değerini en az . $\varepsilon$ $A x$ $\varepsilon$ $x_s$ $x_s+\varepsilon$ $\mbox{Lmin}(Ax)$ $(1-O(\varepsilon))\varepsilon/|x^*|$

Bu şekilde, algoritma değişmeyen (Not Lmin olduğu eşit .)

Lmin (A x) \geq (1 - O (ε)) | x | / | x^{*} | - \ln n .

$\mbox{Lmin}(Ax) \ge (1-O(\varepsilon)) |x|/|x^*| - \ln n.$

(\bar{0})

$(\overline 0)$

\ln n

$\ln n$

Sonlandırmada, değişmezde, terimi, değerinin sol tarafının , bu nedenle hesaplamada bir. Algoritmanın son satırındaki normalizasyondan sonra, bu. $\ln n$ $O(\varepsilon)$ $\min_e A_e x \ge (1-O(\varepsilon)) |x|/|x^*|$ $|x| \le (1+O(\varepsilon))|x^*|$

FWIW, değişmezliği kanıtlamada rol oynayan eşitsizlikler, esasen Chernoff'un sınırını kanıtlayanlarla aynıdır. (Aslında bu algoritma bir randomize-yuvarlama Şema şartlı olasılık yöntemi uygulayarak elde edilebilir dağılımından sürekli örnekler setleri (değiştirme) ile, artan örnek alınan her bir kümesi için Bunun derandomizasyonu algoritmayı verir: alttaki değişmez sadece kötümser tahmin edicinin 1 altında kalmasıdır. Kötümser tahmin edicideki üstel cezalar, yuvarlama düzeninin analizinde bağlı olan Chernoff'un kullanımından kaynaklanmaktadır. içinde Chandra bahsedilen kağıt ). $x^*/|x^*|$ $x_s$ $s$

Kesirli Ağırlıklı Set Kapağı (ve genel kesirli Kaplama)

Weighted Set Cover gibi problemleri etkin bir şekilde ele almak için , algoritmayı düzgün olmayan artışlar ( Garg ve Konemann kaynaklı bir fikir) kullanmak için algoritmayı değiştiririz .

LP, , burada elementlerin üzerinde, setlerin üzerindedir ve tüm değişkenler değişken değildir. -negatif. Algoritmayı sunmak için önce problemi genel bir örtme problemi olarak yeniden yazın. Let için ve , aksi. Sonra (değişkenlerin değişmesi, her ile ), LP , genel olarak LP'yi kapsayan bir görünüm olarak görebiliriz. İşte algoritma: $\min\{ c\cdot x : (\forall e) \sum_{s\ni e} x_s \ge 1\}$ $e$ $s$ $A_{es} = 1/c_s$ $e\in s$ $A_{es} = 0$ $x_s$ $c_s$ $\min\{ |x| : A x \ge 1; x \ge 0\}$

Tümünü başlat . Let . $x_s = 0$ $N=\log(n)/\varepsilon$
Tüm kaplama kısıtlamaları silinene kadar tekrarlayın:

2.1. Seç Lmin kısmi türevi maksimize wrt . (Açıkça, tercih maksimize .) $s$ $(Ax)$ $x_s$
$s$ $\sum_{e\in s} \exp({-\sum_{s'\ni e} x_{s'}})/c_s$

2.2. Artış tarafından , kalan her kaplama kısıtlama için, bu maksimum şekilde seçilir , artış isimli en . $x_s$ $\delta$ $\delta$ $e$ $A_e \cdot x$ $\varepsilon$

2.3 bütün kaplama kısıtlar silme bu şekilde . $e$ $A_e\cdot x \ge N$
Döndür . $x/\min_e A_e\cdot x$

Algoritma , yinelemesinde yaklaşık bir çözüm döndürür , burada , kaplama sınırlamalarının sayısıdır. (Her yineleme de bazı artar ile , bu sadece olabilir silinmeden önce bir kısıtlama kez). Doğruluğunun kanıtlanması Seti Kapak için olan aynı değişmez yoluyladır. $(1+O(\varepsilon))$ $O(n\log(n)/\varepsilon^2)$ $n$ $A_e x$ $\varepsilon$ $N/\varepsilon$

Ağırlıklı Vertex Kapağı özel bir durumdur.

Maksimum Kesirli Bipartit Eşleştirme

grafiği verildiğinde sorunun doğal LP'si . $G=(U,W,E)$ $\max\{|x| : \forall v.\, \sum_{e\ni v} x_e \le 1\}$

Matris sunumunda, bu bir paketleme LP 0-1 katsayılı ( eğer ise olur ). Bu tür problemler düzgün olmayan artışlar gerektirmez, bu yüzden ağırlıklandırılmamış Set Cover algoritmasına benzer basit bir algoritma (ancak paketleme için) şunları yapar: $\max\{|x| : Ax \le 1; x \ge 0\}$ $A_{ve} = 1$ $v\in e$

Hepsini başlat . Let . $x_e = 0$ $N=\log(n)/\varepsilon$
iken : $A x < N$

2.1. Seç Lmax kısmi türevi minimize wrt . (Açıkça, seçim en aza indirmek için ). $e$ $(Ax)$ $x_e$
$e$ $\sum_{v\in e} \exp(\sum_{e'\ni v} x_{e'})$

2.2. Artış tarafından . $x_e$ $\varepsilon$
Dönüş . $x/\max_{v} A_v x$

Algoritma , yinelemelerde yaklaşık bir çözüm sunar . (Bunun nedeni, her yinelemenin tarafından artması ve son olarak normalizasyondan önce .) $(1-O(\varepsilon))$ $O(n\log(n)/\varepsilon^2)$ $|x|$ $\varepsilon$ $|x| = O(N n)$

Sadece eğlence için, işte Perfect Bipartite Matching için ilginç bir alternatif algoritma. hatırlayın . Let. $G=(U,W,E)$ $n=|U|=|W|$

Hepsini başlat . Let . $x_e = 0$ $N=4\ln(n)/\varepsilon$
kere tekrarla : $n\,N$

2.1. dan rastgele seçin . 2.2. Seç öyle ki minimize . 2.3. Artış tarafından . $u$ $U$
$w$ $(u,w)\in E$ $\sum_{e\ni w} x_e$
$x_{uw}$ $\varepsilon$
Dönüş . $x/N$

Eğer bir tam bir uyum, bir algoritma döner sahip öyle ki ve yüksek olasılıkla, tüm köşeler için , ve tüm köşeler için , . Kanıtın detayları ile ilgileniyorsanız, lütfen sorunuz ... $G$ $x$ $|x|=n$ $u\in U$ $1-O(\varepsilon) \le \sum_{e\ni u} x_e \le 1+O(\varepsilon)$ $w\in W$ $\sum_{e\ni w} x_e \le 1+O(\varepsilon)$

Karışık Paketleme ve Kaplama

Karma bir paketleme ve örtme problemi örneği için iki taraflı eşleşme umudunu sormuş olabilirsiniz , yani, olan formlardan biri İşte bu tür problemler için bir algoritma. Öncelikle, ve olacak şekilde normalleştirin .

\exists x ? P x \leq p; C x \geq c; x \geq 0.

$\exists x?~ Px \le p; Cx \ge c; x \ge 0.$

p = \bar{1}

$p=\overline 1$

c = \bar{1}

$c=\overline 1$

Let (satır kısıtlar sayı artı satır ). $m$ $P$ $C$

Tümünü başlat . Let . $x_j = 0$ $N=2\ln(m)/\varepsilon$
iken : $P x < N$

2.1. Seç Lmax kısmi türevi, böylece göre Lmin kısmi türevi en olduğu ile ilgili olarak . (Açıkça, tercih bu şekilde $j$ $(Px)$ $x_j$ $(Cx)$ $x_j$ $j$
$\frac{\sum_{i} P_{i j} \exp (P_{i} x)}{\sum_{i} \exp (P_{i} x)} \leq \frac{\sum_{i} C_{i j} \exp (- C_{i} x)}{\sum_{i} \exp (- C_{i} x)} .)$ $\frac{\sum_i P_{ij} \exp(P_i x)}{\sum_{i}\exp(P_i x)} \le \frac{\sum_i C_{ij} \exp(-C_i x)}{\sum_{i}\exp(-C_i x)}.)$

2.2. Artış tarafından , hiçbir kısıtlama bu maksimum şekilde seçilir ya da kalan kısıtlama 'den daha fazla bir artış . $x_j$ $\delta$ $\delta$ $P_i x$ $C_i x$ $\varepsilon$

2.3. Tüm kaplama kısıtlamaları sil bu şekilde . $i$ $C_i x \ge N$
Döndür . $x/\max_i P_i x$

Verilen bir problemi varsayarak mümkündür, algoritma döner bir şekilde ve . Yinelemelerin sayısı , çünkü her yineleme tarafından bir miktar kısıtlamayı arttırır ve bu her kısıtlama için en fazla defa gerçekleşebilir. $x$ $Px\le 1$ $Cx\ge 1-O(\varepsilon)$ $O(m\ln(m)/\varepsilon^2)$ $\varepsilon$ $N$

Doğruluğun kanıtı değişmez Değişmez, Sonlandırmada sol taraf ve performans garantisini kanıtlar.

Lmax (P x) \leq 2 \ln (m) + (1 + O (ε)) Lmin (C x) .

$\mbox{Lmax}(Px) \le 2\ln(m) + (1+O(\varepsilon)) \mbox{Lmin}(Cx).$

max P x \leq 2 \ln (m) + (1 + O (ε)) min C x .

$\max Px \le 2\ln(m) + (1+O(\varepsilon)) \min Cx.$

Ω (\log (m) / ε)

$\Omega(\log(m)/\varepsilon)$

2.1 Adımı'nda, istenen , asıl sorun mümkün olduğu sürece mevcut olmalıdır. (Bunun nedeni, uygun olan herhangi bir ve herhangi bir , dağılımından rastgele bir seçersek , Lmax'ın kısmi türevinin beklenen değeridir. ile ilgili olarak en olacaktır . (Set Kapak önceki geçirmez çizime bakınız) Benzer bir şekilde, Lmin kısmi türevinin beklenen değer ile ilgili olarak en az . Böylece, bir $j$ $x^*$ $x$ $j'$ $x^*/|x^*|$ $(Px)$ $x_{j'}$ $1/|x^*|$ $(Cx)$ $x_{j'}$ $1/|x^*|$ $j$ Bu tür Lmax kısmi türevi olduğu göre Lmin kısmi türevi en olduğu ). $(Px)$ $x_{j'}$ $(Cx)$

Daha sonra, değişmeyen her yinelemede tutulur, çünkü, ve seçimi ve Lmin ve düzgünlüğü, ila arttırılması, Lmax en fazla kat daha fazla arttırır . Lmin'deki artış . $x_j$ $\delta$ $x_j$ $x_j+\delta$ $(Px)$ $1+O(\varepsilon)$ $(Cx)$

Öğrenme (uzmanları takip etme / güçlendirme)

Bu bağlantıyı anlamak için bir referans , Freund ve Schapire tarafından çok ağırlıkları kullanarak uyarlamalı oyun oynamadır. İşte teknik fikir vermek için kısa bir özet.

Aşağıdaki tekrarlanan oyunu düşünün. Her turda : $t$

Olasılık dağılımını ( adlandırılan uzmanlar ) üzerinden seçersiniz . $p^t$ $[n]$ $n$
bilerek , rakip daha sonra bir ödeme vektörü seçer . $p^t$ $a^t\in [0,1]^{n}$
Tur için ödeme alırsınız . $p^t\cdot a^t$

Oyun birkaç turdan sonra durur. Amacınız herhangi bir tek uzman (yani saf stratejisi) ile karşılaştırıldığında da pişmanlık minimize etmektir . Yani, hedefiniz simge durumuna küçültmek . $i$ $(\max_i \sum_t a^t_i) - \sum_t p^t\cdot a^t$

Herhangi bir düzeltildi . Vektör olsun göstermektedirler , olduğu, süresi için ödeme vektörlerinin katı vektör toplamı . nin Lmax nin gradyanı olduğunu hatırlayın . $\varepsilon>0$ $y^t$ $\varepsilon \sum_{s \le t} a^s$ $\varepsilon$ $t$ $G(y)$ $(y)$

Burada analiz eder temel strateji: tur üzerinde , tercih olduğu . $t$ $p^t$ $G(y^{t-1})$

Muayene ile, bu ödeme veren yuvarlak . $a^t \cdot G(y^{t-1})$ $t$

düzgünlüğü özelliği nedeniyle , Yani, her turda, , kazancınızın katından daha fazla . Yana , bu durum değişmez muhafaza toplam ödeme günlerin en olduğunu artı diğer taraftan, iyi uzman kıyasla sizin pişmanlık. ise , yani $F$

Lmax (y^{t}) \leq Lmax (y^{t - 1}) + (1 + O (ε)) ε a^{t} \cdot G (y^{t - 1}) .

$\mbox{Lmax}(y^t) \le \mbox{Lmax}(y^{t-1}) + (1+O(\varepsilon)) \varepsilon a^t \cdot G(y^{t-1}).$

Lmax (y^{t})

$\mbox{Lmax}(y^t)$

ε (1 + O (ε))

$\varepsilon(1+O(\varepsilon))$

Lmax (\bar{0}) = \ln n

$\mbox{Lmax}(\overline 0) = \ln n$

Lmax (y^{t})

$\mbox{Lmax}(y^t)$

ε (1 + O (ε)

$\varepsilon(1+O(\varepsilon)$

\ln (n)

$\ln(n)$

i

$i$

max_{i} \sum_{t} a_{i}^{t}

$\max_i \sum_t a^t_i$

ε^{- 1} max_{i} y_{i}^{t}

$\varepsilon^{-1} \max_i y^t_i$ , sırasıyla .

ε^{- 1} Lmax (y^{t})

$\varepsilon^{-1} \mbox{Lmax}(y^t)$

Bu nedenle, pişmanlığınız en fazla , artı toplam kazancınızın çarpıdır. $\varepsilon^{-1} \ln(n)$ $O(\varepsilon)$

Not: Freund ve Schapire'ın işaret ettiği gibi, bir "artırıcı" algoritmanın (öğrenme teorisinde) bu analizde de önemli olduğunu düşünüyorum. Daha fazla ayrıntı için makalelerine bakın.

Toplam kazancı minimize etmek

Hedefin toplam getiriyi en üst düzeye çıkarmak yerine en aza indireceği ortam için benzer bir strateji türetebilirsiniz . Hala en aza indirmek istediğiniz pişmanlığınız . Bu durumda, karşılık gelen strateji nin degradesi olarak seçmektir . Bu strateji ile pişmanlığınız yine en fazla artı toplam kazancınızın çarpı. $\sum_t p^t\cdot a^t - \min_i a^t_i$ $p^t$ $\mbox{Lmin}(y^t)$ $\varepsilon^{-1} \ln n$ $O(\varepsilon)$

Lagrangian gevşeme algoritmalarına bağlantı

Lagrangian gevşeme algoritmalarına bağlantıyı görmek için bir Set-Cover örneği düzeltin. Uzmanlar elemanları karşılık, (minimize bir ödeme amacı ile) oyunun ikinci tip düşünün set sisteminin. Her turda, olasılık dağılımı tercih Lmin gradyanı olarak , yukarıdaki gibi, ve rakip vektör kazancını tercih sahip bir fonksiyonu olarak aşağıdaki gibi: grubu tercih maksimize , daha sonra izin ise ve , aksi. $e$ $p^t$ $(y^t)$ $a^t$ $p^t$ $s^t$ $\sum_{e\in s} p^t_e$ $a^t_e = 1$ $e\in s^t$ $a^t_e = 0$

Doğru durdurma koşulu göz önüne alındığında (aşağıda tartışılmıştır), bu işlem size başlangıçta tartışılan Set-Cover algoritmasını verir.

Algoritmanın performans garantisi aşağıdaki gibi bağlı pişmanlık izler. Let hasım seti seçti kaç kez olmak oyun sırasında. Let optimum fraksiyonel kümesi kapak olsun. Letoynanan tur sayısı olun. Bağlanan pişmanlık $X_s$ $s$ $x^*$ $T=|X_s|$

\sum_{t} a^{t} \cdot p^{t} \leq ε^{- 1} \ln (m) + min_{e} \sum_{t} a_{e}^{t} .

$\textstyle \sum_t a^t\cdot p^t \le \varepsilon^{-1}\ln(m) + \min_e \sum_t a_e^t.$

Tanımını kullanarak , inci ödeme ( soldaki toplamı inci terimi) eşittir . Düşman tercih , bu kazancını en aza indirmek için. Eğer rakip, bunun yerine rastgele seçmişse ,, ödeme beklentisi (O kullanımı üzerinde için tüm ve ). Her bir ödeme az olduğu $a^t$ $t$ $t$ $\sum_{e\in s^t} p^t_e$ $s^t$ $s^t$ $x^*/|x^*|$

\sum_{s} \frac{x_{s}^{*}}{| x^{*} |} \sum_{e \in s} p_{e}^{t} = \frac{1}{| x^{*} |} \sum_{e} p_{e}^{t} \sum_{s ∋ e} x_{s}^{*} \geq \frac{1}{| x^{*} |} \sum_{e} p_{e}^{t} = \frac{1}{| x^{*} |} .

$\sum_s \frac{x^*_s}{|x^*|} \sum_{e\in s} p^t_e ~=~ \frac{1}{|x^*|} \sum_e p^t_e \sum_{s\ni e} x^*_s ~\ge~ \frac{1}{|x^*|} \sum_e p^t_e ~=~ \frac{1}{|x^*|}.$

\sum_{s ∋ e} x_{s}^{*} \geq 1

$\sum_{s\ni e} x^*_s \ge 1$

e

$e$

| p^{t} | = 1

$|p^t| = 1$

1 / | x^{*} |

$1/|x^*|$ , bağlı pişman tanımına göre , (her turda bir set seçer) ve , vererek Bu işlem stop yapmak , böylece daha sonra (yeniden düzenleme terimleri) Yani, normalleştirildiğinde , en çok kesirli boyutta bir küme kapak verilir optimum zamanlar.

\frac{T}{| x^{*} |} \leq ε^{- 1} \ln (m) + min_{e} \sum_{t} a_{e}^{t} .

$\frac{T}{|x^*|} \le \varepsilon^{-1}\ln(m) + \min_e \sum_t a_e^t.$

X

$X$

| X | = T

$|X| = T$

\sum_{t} a_{e}^{t} = \sum_{e} [e \in s^{t}] = \sum_{s ∋ e} X_{s}

$\sum_t a_e^t = \sum_e [e\in s^t] = \sum_{s\ni e} X_s$

\frac{| X |}{| x^{*} |} \leq ε^{- 1} \ln (m) + min_{e} \sum_{s ∋ e} X_{s} .

$\frac{|X|}{|x^*|} \le \varepsilon^{-1}\ln(m) +\min_e \sum_{s\ni e} X_s.$

min_{e} \sum_{s ∋ e} X_{s} = Ω (ε^{- 2} \ln m)

$\min_e \sum_{s\ni e} X_s = \Omega(\varepsilon^{-2}\ln m)$

\frac{| X |}{min_{e} \sum_{s ∋ e} X_{s}} \leq (1 + O (ε) | x^{*} | .

$\frac{|X|}{\min_e \sum_{s\ni e} X_s}~ \le~ (1+O(\varepsilon)|x^*|.$

X

$X$

(1 + O (ε))

$(1+O(\varepsilon))$

Not: Bir anlamda, bu öğrenme teorisi yorumlaması algoritmik yorumlamayı genelleştirir. Bununla birlikte, verimlilik için gerekli olan algoritmik tekniklerin bazıları (tek biçimli olmayan artışlar ve tatmin edici kaplama sınırlamalarını bırakmak gibi), doğal olarak öğrenme teorisi ortamına taşımıyor gibi görünmektedir. Benzer şekilde, karışık paketleme ve LP'leri kapsayan algoritmalar (örneğin bunlar ) öğrenme-teori ortamında doğal analoglara sahip görünmüyor.

— Neal Young
kaynak

Bu oldukça cevap!

— Suresh Venkat

Teşekkürler. Muhtemelen abarttı. Geribildirim ile ilgileniyorum: bu fikirleri erişilebilir bir şekilde nasıl sunacağımı, başka neler dahil edebileceğimizi ...

— Neal Young