Maksimum Ortalama Tutarsızlık (mesafe dağılımı)

Farklı dağılımı takip eden iki veri setim (kaynak ve hedef veriler) var. Kaynak ve hedef veriler arasındaki marjinal dağılımı hesaplamak için MMD - bu parametrik olmayan bir mesafe dağılımı - kullanıyorum.

kaynak veri, Xs

hedef veriler, Xt

adaptasyon Matrix A

* Yansıtılan veriler, Zs = A '* Xs ve Zt = A' Xt

* MMD => Mesafe (P (Xs), P (Xt)) = | ortalama (A'Xs) - ortalama (A ' Xt) |

Bunun anlamı: Orijinal boşluktaki kaynak ve hedef veriler arasındaki dağılımın, gömülü alandaki yansıtılan kaynak ve hedef veriler arasındaki mesafeye eşit olmasıdır.

MMD kavramı hakkında bir sorum var.

MMD formülünde, neden gizli boşluktaki hesaplama mesafesiyle, dağılımın orijinal boşluktaki mesafesini ölçebiliriz?

Teşekkürler

MMD hakkında biraz daha genel bilgi vermek faydalı olabilir. $\DeclareMathOperator{\E}{\mathbb E}\newcommand{\R}{\mathbb R}\newcommand{\X}{\mathcal X}\newcommand{\h}{\mathcal H}\DeclareMathOperator{\MMD}{MMD}$

Genel olarak MMD, dağılımlar arasındaki mesafelerin , özelliklerin ortalama yerleştirmeleri arasındaki mesafeler olarak temsil edilmesi fikri ile tanımlanır . Olduğunu biz dağılımları söylüyorlar ve kümesi üzerinde . MMD, özellik eşlemesi ile tanımlanır ; burada , çoğaltma çekirdeği Hilbert alanı olarak adlandırılır. Genel olarak, MMD $P$$Q$$\X$ $\varphi : \X \to \h$$\mathcal H$

$$\MMD(P, Q) = \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h .$$

Bir örnek olarak ve . Bu durumda: böylece bu MMD iki dağıtımın ortalamaları arasındaki mesafedir. Bu şekilde eşleşen dağılımlar, varyanslarında veya başka şekillerde farklılık gösterse de araçlarıyla eşleşir.$\X = \h = \R^d$$\varphi(x) = x$

$$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ X ] - \E_{Y \sim Q}[ Y ] \rVert_{\R^d} \\&= \lVert \mu_P - \mu_Q \rVert_{\R^d} ,\end{align}$$

Durumunuz biraz farklı: ve , , burada bir matrisidir. Bu yüzden Bu MMD, ortalamanın iki farklı projeksiyonu arasındaki farktır. Eğer ya da eşlem aksi takdirde ters çevrilebilir değildir,$\mathcal X = \mathbb R^d$$\mathcal H = \mathbb R^p$$\varphi(x) = A' x$$A$$d \times p$

$$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[ \varphi(X) ] - \E_{Y \sim Q}[ \varphi(Y) ] \rVert_\h \\&= \lVert \E_{X \sim P}[ A' X ] - \E_{Y \sim Q}[ A' Y ] \rVert_{\R^p} \\&= \lVert A' \E_{X \sim P}[ X ] - A' \E_{Y \sim Q}[ Y ] \rVert_{\R^p} \\&= \lVert A'( \mu_P - \mu_Q ) \rVert_{\R^p} .\end{align}$$ $p < d$$A'$ öncekinden daha fazla: bir öncekinin yaptığı bazı dağılımları ayırt etmez.

Ayrıca daha güçlü mesafeler de oluşturabilirsiniz. Örneğin, ve , MMD ve sadece farklı yollarla değil, farklı varyanslarla da dağılımları ayırt edebilir.$\X = \R$$\varphi(x) = (x, x^2)$$\sqrt{(\E X - \E Y)^2 + (\E X^2 - \E Y^2)^2}$

Ve bundan çok daha güçlü olabilirsiniz: genel üreme çekirdeği Hilbert uzayına eşlenirse, MMD'yi hesaplamak için çekirdek hile uygulayabilirsiniz ve Gauss çekirdeği de dahil olmak üzere birçok çekirdek MMD'ye yol açar ve sadece dağılımlar aynı ise sıfırdır.$\varphi$

Özellikle, , ; örneklerle doğrudan tahmin edebilirsiniz.$k(x, y) = \langle \varphi(x), \varphi(y) \rangle_\h$

$$\begin{align} \MMD^2(P, Q) &= \lVert \E_{X \sim P} \varphi(X) - \E_{Y \sim Q} \varphi(Y) \rVert_\h^2 \\&= \langle \E_{X \sim P} \varphi(X), \E_{X' \sim P} \varphi(X') \rangle_\h + \langle \E_{Y \sim Q} \varphi(Y), \E_{Y' \sim Q} \varphi(Y') \rangle_\h - 2 \langle \E_{X \sim P} \varphi(X), \E_{Y \sim Q} \varphi(Y) \rangle_\h \\&= \E_{X, X' \sim P} k(X, X') + \E_{Y, Y' \sim Q} k(Y, Y') - 2 \E_{X \sim P, Y \sim Q} k(X, Y) \end{align}$$

---

Güncelleme: Burada addaki "maksimum" değeri geliyor.

özellik eşlemesi , çoğaltılmış bir Hilbert uzayına eşlenir. Bunlar işlev alanlarıdır ve bir anahtar özelliği ( reproducing özelliği olarak adlandırılır) karşılar : herhangi bir .$\varphi: \X \to \h$$\langle f, \varphi(x) \rangle_\h = f(x)$$f \in \h$

En basit örnekte, ile , her görüntülemek işlevi bazı karşılık gelen ile, . Sonra çoğaltma özelliği mantıklı olmalıdır.$\X = \h = \R^d$$\varphi(x) = x$$f \in \h$$w \in \R^d$$f(x) = w' x$$\langle f, \varphi(x) \rangle_\h = \langle w, x \rangle_{\R^d}$

Gauss çekirdeği gibi daha karmaşık ortamlarda çok daha karmaşık bir işlevdir, ancak çoğaltma özelliği hala geçerlidir.$f$

Şimdi, alternatif bir karakterizasyonunu verebiliriz: İkinci satır, Hilbert uzaylarındaki normlar hakkında genel bir gerçektir:

$$\begin{align} \MMD(P, Q) &= \lVert \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rVert_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] - \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \langle f, \E_{X \sim P}[\varphi(X)] \rangle_\h - \langle f, \E_{Y \sim Q}[\varphi(Y)] \rangle_\h \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[\langle f, \varphi(X)\rangle_\h] - \E_{Y \sim Q}[\langle f, \varphi(Y) \rangle_\h] \\&= \sup_{f \in \h : \lVert f \rVert_\h \le 1} \E_{X \sim P}[f(X)] - \E_{Y \sim Q}[f(Y)] .\end{align}$$ $\sup_{f : \lVert f \rVert \le 1} \langle f, g \rangle_\h = \lVert g \rVert$ , ile elde edilir . Dördüncü, Bochner entegrasyonu olarak bilinen teknik bir koşula bağlıdır, ancak örneğin sınırlı çekirdekler veya sınırlı destekli dağıtımlar için geçerlidir. Sonunda reproducing özelliğini kullanıyoruz.$f = g / \lVert g \rVert$

Bu son satır neden "maksimum ortalama tutarsızlık" olarak adlandırılır - bu iki dağılım arasındaki ortalama farkın birim topundaki maksimum, aşırı test fonksiyonları .$f$$\h$

MMD'yi şöyle yorumladım. Anları benzerse iki dağılım benzerdir. Bir çekirdek uygulayarak, değişkeni tüm momentlerin (birinci, ikinci, üçüncü vb.) Hesaplanacağı şekilde dönüştürebilirim. Gizli alanda, momentler arasındaki farkı hesaplayabilir ve ortalayabilirim. Bu, veri kümeleri arasındaki benzerlik / farklılığın bir ölçüsünü verir.