“Derin Noether Teoremi”: Simetri Kısıtlarında İnşa Etmek

İçsel bir simetriye sahip olması gereken bir öğrenme sorunum varsa, öğrenme sorunumu öğrenmeyi geliştirmek için bir simetri kısıtlamasına tabi tutmanın bir yolu var mı?

Örneğin, görüntü tanıma yapıyorsam, 2D dönme simetrisi isteyebilirim. Bu, bir görüntünün döndürülmüş sürümünün orijinalle aynı sonucu alması gerektiği anlamına gelir.

Ya da tic-tac-toe oynamayı öğreniyorsam, 90 derece döndürmek aynı oyun oyununu vermelidir.

Bu konuda herhangi bir araştırma yapıldı mı?

machine-learning

— aidan.plenert.macdonald
kaynak

Evet, biraz; örneğin, Eşdeğer Değişken Ağlar ( kod ), Harmonik Ağlar: Derin Çeviri ve Dönme Eşdeğeri , Derin Dönme Eşdeğer Ağı , Konvolüsyonel Sinir Ağlarında Döngüsel Simetriyi Sömürmek vb.

— Emre

@Emre Teşekkürler! CNN'lerin dışında herhangi bir çalışma biliyor musunuz?

— aidan.plenert.macdonald

Hayır, sadece bu niş hakkında yüzeysel bilgiye sahibim. Buna rağmen, CNN'ler doğal bir ortam gibi görünüyor ...

— Emre

Ayrıca Risi Kondor'un doktora tezinden, makine öğrenmede Grup teorik yöntemlerinden (pdf) bahsetmeliyim

— Emre

Emre'nin yukarıdaki yorumundan, Risi Kondor'un makine öğrenmesinde Grup teorik yöntemlerinin Bölüm 4.4'ü, doğası gereği simetrileri olan çekirdek yöntemleri oluşturma hakkında ayrıntılı bilgi ve kanıtlara sahiptir. Bunu umarım sezgisel bir şekilde özetleyeceğim (ben bir matematikçi değil fizikçiyim!).

Çoğu ML algoritması, gibi bir matris çarpımına sahiptir. ile girdi ve eğitmek istediğimiz ağırlıklardır.

\begin{aligned} s_{i} & = \sum_{j} W_{i j} x_{j} \\ = \sum_{j} W_{i j} ({\vec{e}}_{j} \cdot \vec{x}) \end{aligned}

$\begin{align} s_i &= \sum_j W_{ij}~x_j \\ &= \sum_j W_{ij}~(\vec{e}_j \cdot \vec{x}) \end{align}$

\vec{x}

$\vec{x}$

W_{i j}

$W_{ij}$

Çekirdek Yöntemi

Çekirdek yöntemleri alanını girin ve algoritmanın girdiyi işleyebilmesini sağlayın, , şimdi .

\begin{aligned} s_{i} & = \sum_{j} W_{i j} k (e_{j}, x) \end{aligned}

$\begin{align} s_i &= \sum_j W_{ij}~k(e_j,~x) \end{align}$

x, e_{j} \in X

$x, e_j \in \mathcal{X}$

için üzerinden üzerinde hareket eden bir grubu düşünün . Algoritmamızı bu grup altında değişmez yapmanın basit bir yolu bir çekirdek yapmaktır, ile . $G$ $\mathcal{X}$ $x \rightarrow T_g(x)$ $g \in G$

\begin{aligned} k^{G} (x, y) & = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g} (y)) \end{aligned}

$\begin{align} k^G(x, y) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_g(y)) \end{align}$

k (x, y) = k (T_{g} (x), T_{g} (y))

$k(x, y) = k(T_g(x), T_g(y))$

Böylece,

\begin{aligned} k^{G} (x, T_{h} (y)) & = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g h} (y)) \\ = \frac{1}{| G |} \sum_{g \in G} k (x, T_{g} (y)) \\ = \frac{1}{| G |} \sum_{g \in G} k (T_{g} (x), y) \end{aligned}

$\begin{align} k^G(x, T_h(y)) &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{gh}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(x, T_{g}(y)) \\ &= \frac{1}{|G|} \sum_{g \in G} k(T_{g}(x), y) \end{align}$

İçin birimsel temsilleri için çalışır, $k(x, y) = x \cdot y$

\begin{aligned} k^{G} (x, T_{h} (y)) & = [\frac{1}{| G |} \sum_{g \in G} T_{g} (x)] \cdot y \end{aligned}

$\begin{align} k^G(x, T_h(y)) &= \left[ \frac{1}{|G|} \sum_{g \in G} T_{g}(x) \right] \cdot y \end{align}$

Hangi algoritmaya girişi simetize edebilen bir dönüşüm matrisi sunuyor.

SO (2) Örnek

Aslında basitlik için dönüşle eşleşen grup. $\frac{\pi}{2}$

Dönme simetrisi beklediğimiz üzerindeki veriler üzerinde doğrusal regresyon çalıştıralım . $(\vec{x}_i, y_i) \in \mathbb{R}^2 \times \mathbb{R}$

Optimizasyon sorunumuz,

\begin{aligned} min_{W_{j}} & \sum_{i} \frac{1}{2} (y_{i} - {\tilde{y}}_{i})^{2} \\ {\tilde{y}}_{i} & = \sum_{j} W_{j} k_{G} (e_{j}, x_{i}) + b_{i} \end{aligned}

$\begin{align} \min_{W_{j}} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= \sum_j W_{j} k_G(e_j, x_i) + b_i \end{align}$

Çekirdek tatmin . Ayrıca ve çeşitli çekirdekleri de kullanabilirsiniz. $k(x, y) = \| x - y \|^2$ $k(x, y) = k(T_g(x), T_g(y))$ $k(x, y) = x \cdot y$

Böylece,

\begin{aligned} k_{G} (e_{j}, x_{i}) & = \frac{1}{4} \sum_{n = 1}^{4} ‖ R (n π / 2) {\vec{e}}_{j} - {\vec{x}}_{i} ‖^{2} \\ = \frac{1}{4} \sum_{n = 1}^{4} (\cos (n π / 2) - {\vec{x}}_{i 1})^{2} + (\sin (n π / 2) - {\vec{x}}_{i 2})^{2} \\ = \frac{1}{4} [2 {\vec{x}}_{i 1}^{2} + 2 {\vec{x}}_{i 2}^{2} + (1 - {\vec{x}}_{i 1})^{2} + (1 - {\vec{x}}_{i 2})^{2} + (1 + {\vec{x}}_{i 1})^{2} + (1 + {\vec{x}}_{i 2})^{2}] \\ = {\vec{x}}_{i 1}^{2} + {\vec{x}}_{i 2}^{2} + 1 \end{aligned}

$\begin{align} k_G(e_j, x_i) &= \frac{1}{4} \sum_{n=1}^4 \| R(n\pi/2)~\vec{e}_j - \vec{x}_i \|^2 \\ &= \frac{1}{4} \sum_{n=1}^4 ( \cos(n\pi/2) - \vec{x}_{i1} )^2 + ( \sin(n\pi/2) - \vec{x}_{i2} )^2 \\ &= \frac{1}{4} \left[ 2 \vec{x}_{i1}^2 + 2 \vec{x}_{i2}^2 + (1 - \vec{x}_{i1} )^2 + (1 - \vec{x}_{i2} )^2 + (1 + \vec{x}_{i1} )^2 + (1 + \vec{x}_{i2} )^2 \right] \\ &= \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \end{align}$

Her ikisinde de aynı olduğu için üzerinden gerekmediğini unutmayın . Böylece bizim problemimiz, $j$

\begin{aligned} min_{W} & \sum_{i} \frac{1}{2} (y_{i} - {\tilde{y}}_{i})^{2} \\ {\tilde{y}}_{i} & = W [{\vec{x}}_{i 1}^{2} + {\vec{x}}_{i 2}^{2} + 1] + b_{i} \end{aligned}

$\begin{align} \min_{W} &\sum_i \frac{1}{2} (y_i - \tilde{y}_i)^2 \\ \tilde{y}_i &= W \left[ \vec{x}_{i1}^2 + \vec{x}_{i2}^2 + 1 \right] + b_i \end{align}$

Bu beklenen küresel simetriyi verir!

Tic-Tac-Toe

Örnek kod burada görülebilir . Simetriyi kodlayan bir matrisi nasıl oluşturabileceğimizi ve kullanabileceğimizi gösterir. Aslında çalıştırdığımda bunun gerçekten kötü olduğunu unutmayın ! Şu anda diğer çekirdeklerle çalışmak.

— aidan.plenert.macdonald
kaynak

İyi iş, Aidan! Zamanınız varsa, daha ayrıntılı bir blog yazısı yazabilirsiniz. Topluluk en çok ilgilenecek.

— Emre

Hangi topluluktan bahsettiğinizden emin değilim, ancak daha fazla yazmaya başladım. Bir veri kümesi verildiğinde en uygun çekirdeği tahmin etmenin bir yolunu bulmak istedim. Bu yüzden simetrik olarak kısıtlanmış ve aynı zamanda maksimal entropik (yani bilgilendirici) yeni özellikler kümesi sezgisel olarak elde etmek için çekirdek uzayında entropiyi optimize ettim. Şimdi bu doğru yaklaşım olsun. Söyleyemem. Sadece bir uyarı, matematik şu anda bir kesmek iş biraz ve stat mech bir tür düz. overleaf.com/read/kdfzdbyhpbbq

— aidan.plenert.macdonald

Simetri grubu bilinmediğinde anlamlı bir yaklaşım var mı?

— leitasat

@leitasat Grubu tanımıyorsanız simetrik olduğunu nasıl anlarsınız?

— aidan.plenert.macdonald

@ aidan.plenert.macdonald. Diyelim ki her biri 100 resimden oluşan 1000 setimiz var ve her sette farklı bakış açılarından bir nesnenin resimleri var. Herhangi bir algoritma SO (3) simetrisinin "fikrini öğrenebilir" ve bunu daha önce görülmemiş nesnelerde kullanabilir mi?

— leitasat

Bunun sadece Makine Öğrenimine uygulanan Değişmez Teori çalışması olduğu ortaya çıkıyor

— aidan.plenert.macdonald
kaynak