Kosinüs benzerliği doğrusal bir dönüşümden sonra nasıl değişir?

9

Arasında matematiksel bir ilişki var mı:

iki ve vektörünün kosinüs benzerliği ve $\operatorname{sim}(A, B)$ $A$ $B$
ve kosinüs benzerliği , belirli bir matrisi aracılığıyla eşit olmayan bir şekilde ölçeklendirilmiş mi? Burada , diyagonal üzerinde eşit olmayan elemanlara sahip verilen bir diyagonal matristir. $\operatorname{sim}(MA, MB)$ $A$ $B$ $M$ $M$

Hesaplamaları gözden geçirmeye çalıştım, ancak basit / ilginç bir bağlantıya (ifade) ulaşamadım. Acaba biri var mı?

Örneğin, açılar düzgün olmayan ölçeklemede korunmaz, ancak orijinal açılar ile düzgün olmayan ölçeklemeden sonraki açılar arasındaki ilişki nedir? Bir dizi S1 vektörü ve başka bir S2 vektörleri kümesi arasındaki bağlantı hakkında ne söylenebilir - burada S2 eşit olmayan bir şekilde ölçeklendirilen S1 ile elde edilir?

linear-algebra cosine-similarity

— turdus-merula
kaynak

@whuber, teşekkür ederim! Evet, M belirli bir matristir (bir ölçeklendirme matrisi - dolayısıyla çapraz bir matris, başka kısıtlama yok). Bir anlamda, doğrusal olmayan bir ölçeklendirme yaşayan bir vektör uzayına (herhangi bir vektör çifti için kosinüs benzerliği açısından) ne olduğunu bilmek istedim.

— turdus-merula

2

Tüm ölçek faktörleri negatif değilse (doğal olarak varsayıldığı gibi), o zaman tüm simetrik pozitif tanımlı matrislerin "ölçekleme" matrisleri olarak kabul edilebileceğini belirtmek gerekir. Aradığınız ilişki, diğer şeylerin yanı sıra , harita projeksiyonlarındaki çarpıklığın araştırılmasında ve tanımlanmasında yaygın olarak kullanılmaktadır . Burada, dünya yüzeyinde , haritada iki dikey yön ile ilişkilendirilecek maksimum ve minimum açılardaki ilgi merkezleri . Bu açılarla iki ölçek faktörünün oranları arasında doğrudan bir ilişki vardır.

— whuber

8

Çünkü oldukça genel ve kosinüs benzerlik değişim özellikle bağlıdır ve ve ilişkileri , kesin bir formül mümkündür. Bununla birlikte, kosinüs benzerliğinin ne kadar değişebileceği konusunda pratik olarak hesaplanabilir sınırlar vardır . ve arasındaki kosinüs benzerliğinin , örneğin (burada , ve arasındaki açıdır belirtilen bir değer olduğu göz önüne alındığında, ve arasındaki açının ekstrüze edilmesiyle bulunabilir . Cevap bize herhangi bir açının ne kadar olduğunu söyler $M$ $A$ $B$ $M$ $MA$ $MB$ $A$ $B$ $\cos(2\phi)$ $2\phi$ $A$ $B$ $2\phi$ muhtemelen dönüşümüyle bükülebilir . $M$

Hesaplamalar dağınık olmakla tehdit ediyor. Bazı zekice gösterim seçenekleri, bazı ön basitleştirmelerle birlikte, çabayı azaltır. O çıkıyor iki boyutta çözüm bilmemiz gereken her şeyi ortaya koymaktadır. Bu yalnızca bir tane gerçek değişken olarak bir uysal problem, kolaylıkla Analiz teknikleri kullanılarak çözülmektedir. Basit bir geometrik argüman bu çözümü boyutlarına kadar genişletir . $\theta$ $n$

Matematiksel ön bilgiler

Tanım olarak, herhangi bir ve vektörü arasındaki açının kosinüsü, bunların birim uzunluğuna normalleştirilmesi ve ürünlerinin alınmasıyla elde edilir. Böylece, $A$ $B$

\frac{A^{'} B}{\sqrt{(A^{'} A) (B^{'} B)}} = \cos (2 ϕ)

$\frac{A^\prime B}{\sqrt{(A^\prime A)\, (B^\prime B)}} = \cos(2\phi)$

ve, yazma , görüntüleri arasındaki açının kosinüs ve dönüşüm altında olduğu $\Sigma = M^\prime M$ $A$ $B$ $M$

\begin{matrix} (1) & \frac{(M A)^{'} (M B)}{\sqrt{((M A)^{'} (M A)) ((M B)^{'} (M B))}} = \frac{A^{'} Σ B}{\sqrt{(A^{'} Σ A) (B^{'} Σ B)}} . \end{matrix}

$\frac{(MA)^\prime (MB)}{\sqrt{((MA)^\prime (MA))\, ((MB)^\prime (MB))}} = \frac{A^\prime \Sigma B}{\sqrt{(A^\prime \Sigma A) (B^\prime \Sigma B)}}.\tag{1}$

Analizde sadece önemli olduğuna dikkat edin, $\Sigma$ kendisi değil . Bu nedenle istismar edebilir tekil değer ayrışımı (SVD) ait sorunu basitleştirmek için. Bunun dikey bir matrisi , köşegen bir matrisi ve başka bir dikey matris bir ürünü olarak (sağdan sola) ifade ettiğini hatırlayın : $M$ $M$ $M$ $V^\prime$ $D$ $U$

M = U D V^{'} .

$M = U\,D\,V^\prime.$

Diğer bir deyişle, ayrıcalıklı vektörlerin bir taban vardır (sütunları üzerinde) , her yeniden ölçeklendirilmesi ile hareket ayrı ayrı diyagonal giriş (I arayacak ) ve daha sonra bir rotasyon (veya rotasyon karşıtı) uygulanması. Bu son dönüş herhangi bir uzunluğu veya açıyı değiştirmeyecektir ve bu nedenle etkilememelidir . Bunu resmi olarak hesaplama ile görebilirsiniz. $e_1, \ldots, e_n$ $V$ $M$ $e_i$ $i^\text{th}$ $D$ $d_i$ $U$ $\Sigma$

Σ = M^{'} M = (U D V^{'})^{'} (U D V^{'}) = V D (U^{'} U) D V^{'} = V D^{2} V^{'} .

$\Sigma = M^\prime M = (U D V^\prime)^\prime (U D V^\prime) = V D (U^\prime U) D V^\prime = V D^2 V^\prime.$

Sonuç olarak, incelemek için de aynı değerleri üreten herhangi bir matrisle serbestçe değiştirebiliriz . Sipariş ederek böylece boyut (ve varsayarak azalma özdeş sıfır değildir), güzel bir seçim ise $\Sigma$ $M$ $(1)$ $e_i$ $d_i$ $M$ $M$

M = \frac{1}{d_{1}} D V^{'} .

$M = \frac{1}{{d_1}} D V^\prime.$

nin köşegen öğeleri şunlardır: $(1/{d_1})D$

1 = d_{1} / d_{1} \geq λ_{2} = d_{2} / d_{1} \geq λ_{3} = d_{3} / d_{1} \geq \dots \geq λ_{n} = d_{n} / d_{1} \geq 0.

$1 = d_1/d_1 \ge \lambda_2 = d_2/{d_1} \ge \lambda_3 = d_3/{d_1} \ge \cdots \ge \lambda_n = d_n/{d_1} \ge 0.$

Özellikle, (orijinal veya değiştirilmiş formunda) tüm açılar üzerindeki etkisi tamamen $M$

M e_{i} = λ_{i} e_{i} .

$M e_i = \lambda_i e_i.$

Özel bir vakanın analizi

Let . Vektörlerin uzunluklarının değiştirilmesi aralarındaki açıyı değiştirmediğinden, ve birim vektörler olduğunu varsayabiliriz . Düzlemde, tüm bu vektörler ile yaptıkları açı ile ve izin verir $n=2$ $A$ $B$ $e_1$

A = \cos (θ - ϕ) e_{1} + \sin (θ - ϕ) e_{2} .

$A = \cos(\theta-\phi)e_1 + \sin(\theta-\phi)e_2.$

bu nedenle

B = \cos (θ + ϕ) e_{1} + \sin (θ + ϕ) e_{2} .

$B = \cos(\theta+\phi)e_1 + \sin(\theta+\phi)e_2.$

(Aşağıdaki şekle bakın.)

uygulanması basittir: ve ilk koordinatlarını sabitler ve ikinci koordinatlarını . Bu nedenle gelen açı için olduğunu $M$ $A$ $B$ $\lambda_2$ $MA$ $MB$

f (θ) = \arctan (λ_{2} \tan (θ + ϕ)) - \arctan (λ_{2} \tan (θ - ϕ)) .

$f(\theta) = \arctan(\lambda_2 \tan(\theta+\phi)) - \arctan(\lambda_2 \tan(\theta-\phi)).$

Çünkü sürekli bir fonksiyonudur, bu açıların, bu fark, sürekli bir fonksiyondur . Aslında, farklılaşabilir. Bu, türevinin sıfırlarını inceleyerek uç açıları bulmamızı sağlar . Bu türev hesaplamak kolaydır: trigonometrik fonksiyonların bir oranıdır. Sıfırlar yalnızca payının sıfırları arasında gerçekleşebilir, bu yüzden paydayı hesaplama zahmetine girmeyelim. Elde ederiz $M$ $\theta$ $f^\prime(\theta)$

f^{'} (θ) = \frac{λ_{2} (1 - λ_{2}) (λ_{2} + 1) \sin (2 θ) \sin (2 ϕ)}{*} .

$f^\prime(\theta) = \frac{\lambda_2(1-\lambda_2)(\lambda_2+1)\sin(2\theta)\sin(2\phi)}{*}.$

, ve özel durumları kolayca anlaşılır: düşük sıralı olduğu durumlara karşılık gelir (ve böylece tüm vektörleri bir satıra sıkıştırır); burada , kimlik matrisinin bir katıdır; ve burada ve paraleldir (bu nedenle aralarındaki açı ne olursa olsun değişemez ). Durumda durum engellemediği . $\lambda_2=0$ $\lambda_2=1$ $\phi=0$ $M$ $M$ $A$ $B$ $\theta$ $\lambda_2=-1$ $\lambda_2 \ge 0$

Bu özel durumlar dışında, sıfırlar yalnızca : yani veya . Bu, tarafından belirlenen çizginin açısını ikiye anlamına gelir . Artık ve arasındaki açının aşırı değerlerinin değerleri arasında olması gerektiğini biliyoruz , bu yüzden bunları hesaplayalım: $\sin(2\theta)=0$ $\theta=0$ $\theta=\pi/2$ $e_1$ $AB$ $MA$ $MB$ $f(\theta)$

\begin{aligned} f (0) & = \arctan (λ_{2} \tan (ϕ)) - \arctan (λ_{2} \tan (- ϕ)) = 2 \arctan (λ_{2} \tan (ϕ)); \\ f (π / 2) & = \arctan (λ_{2} \tan (π / 2 + ϕ)) - \arctan (λ_{2} \tan (π / 2 - ϕ)) = 2 \arctan (λ_{2} \cot (- ϕ)) . \end{aligned}

$\eqalign{ f(0) &= \arctan(\lambda_2 \tan(\phi)) - \arctan(\lambda_2 \tan(-\phi)) = 2\arctan(\lambda_2\tan(\phi)); \\ f(\pi/2) &= \arctan(\lambda_2 \tan(\pi/2+\phi)) - \arctan(\lambda_2 \tan(\pi/2-\phi)) = 2\arctan(\lambda_2\cot(-\phi)). }$

Karşılık gelen kosinüsler

\begin{matrix} (2) & \cos (f (0)) = \frac{1 - λ_{2}^{2} \tan (ϕ)^{2}}{1 + λ_{2}^{2} \tan (ϕ)^{2}} \end{matrix}

$\cos(f(0)) = \frac{1 - \lambda_2^2 \tan(\phi)^2}{1 + \lambda_2^2 \tan(\phi)^2}\tag{2}$

ve

\begin{matrix} (3) & \cos (f (π / 2)) = \frac{1 - λ_{2}^{2} \cot (ϕ)^{2}}{1 + λ_{2}^{2} \cot (ϕ)^{2}} = \frac{\tan (ϕ)^{2} - λ_{2}^{2}}{\tan (ϕ)^{2} + λ_{2}^{2}} . \end{matrix}

$\cos(f(\pi/2)) = \frac{1 - \lambda_2^2 \cot(\phi)^2}{1 + \lambda_2^2 \cot(\phi)^2} = \frac{\tan(\phi)^2 - \lambda_2^2 }{\tan(\phi)^2 + \lambda_2^2}.\tag{3}$

Genellikle dik açıları nasıl bozduğunu anlamak yeterlidir . Bu durumda, önceki formüllere ekleyebileceğiniz yol açan . $M$ $2\phi=\pi/2$ $\tan(\phi) = \cot(\phi) = 1$

ne kadar küçük , bu açılar o kadar aşırı olur ve bozulma o kadar büyük olur. $\lambda_2$

Bu şekil, açısıyla ayrılmış ve vektörlerinin dört konfigürasyonunu göstermektedir . Birim çemberi ve altındaki eliptik görüntüsü referans için gölgelendirilmiştir ( hareketi olacak şekilde eşit olarak yeniden ölçeklendirilmiştir ). Şekil başlıkları değerini , ve orta noktasını gösterir . ile dönüştürüldüğünde böyle bir ve en yakın gelebilir ile soldakine benzer bir yapılandırma $A$ $B$ $2\phi = \pi/3$ $M$ $M$ $\lambda_1=1$ $\theta$ $A$ $B$ $A$ $B$ $M$ $\theta=0$ . En uzak olmaları, ile sağdaki gibi bir yapılandırmadır . İki ara olasılık gösterilmiştir. $\theta=\pi/2$

Tüm boyutlar için çözüm

her bir boyutu bir faktör genişleterek nasıl . Bu, birim küresini elipsoide çarpıtır . onun ana eksenleri belirler. elipsoide, bu eksenler boyunca, kökeni gelen mesafeler vardır. Sonuç olarak, en küçük olan , başlangıç noktasından elipsoide en kısa mesafedir (herhangi bir yönde) ve en büyük uzaklık , , başlangıç noktasından elipsoide en uzak mesafedir (herhangi bir yönde). $M$ $i$ $\lambda_i$ $\{A\,|\, A^\prime A = 1\}$ $e_i$ $\lambda_i$ $\lambda_n$ $\lambda_1$

Daha yüksek boyutlarda , ve iki boyutlu bir altuzayın parçasıdır. , bu alt uzaydaki birim daireyi, ve içeren bir düzlemle elipsoidin kesişimine eşler . Bir dairenin doğrusal bir bozulması olan bu kavşak bir elipstir. Açıkçası, bu elipse olan en uzak mesafe fazla değildir ve en kısa mesafe az değildir . $n\gt 2$ $A$ $B$ $M$ $MA$ $MB$ $\lambda_1=1$ $\lambda_n$

Nitekim, önceki bölümde sonunda gözlemlenen zamanda zaman, en uç olasılık ve iki içeren bir düzlem içinde yer alır olan karşılık gelen oranı mümkün olduğu kadar küçük olduğu gibi. Bu düzleminde olacak. Bu dava için zaten bir çözümümüz var. $A$ $B$ $e_i$ $\lambda_i$ $e_1, e_n$

Sonuçlar

Uygulayarak kosinüs benzerliği, mümkün olan uç sahip olan iki vektörlere kosinüs benzerliği tarafından verilmiştir ve . Bunlar yerleştirerek tarafından elde edilmektedir ve bir yöne eşit açılarda maksimum (örneğin bir vektör uzatır yönü) ve bir yönde bunları ayıran (minimal bir vektör uzatır gibi ) yönünde. $M$ $\cos(2\phi)$ $(2)$ $(3)$ $A$ $B$ $\Sigma=M^\prime M$ $e_1$ $\Sigma$ $e_n$

Bu aşırılıklar SVD'si olarak hesaplanabilir . $M$

— whuber
kaynak

Bu harika bir cevap! Bu ayrıntılı tartışma için çok teşekkür ederim! Sadece genel bir eksi işareti olması gereken eqn (3) 'de bir işaret hatası olduğuna inanıyorum.

— LFH

açısının sıfıra yaklaştığı durumla ilgileniyorum ve ve arasında bir eşitsizlik elde etmek istiyorum . Hesaplamanıza dayanarak, sadece en uç (en küçük) ve bu durumda asimptotik eşitsizliğin olarak ?

2 ϕ

$2\phi$

2 ϕ

$2\phi$

f

$f$

λ_{n}

$\lambda_n$

2 λ_{n} ϕ \leq f \leq 2 λ_{n}^{- 1} ϕ

$2\lambda_n\phi\leq f\leq 2\lambda_n^{-1}\phi$

ϕ \to 0

$\phi\to0$

— LFH

6

Muhtemelen ilginizi çekiyor:

(M A, M B) = A^{T} (M^{T} M) B,

$(MA,MB)=A^T(M^TM)B,$

Bu köşegenleştirebiliriz (veya millet, PCA çağrı gibi), bu benzerliği anlatır, dönüşüm altında çıkıntı hareket etmektedir daha sonra da temel bileşenler üzerine ve bu yeni alanda benzerlik hesaplanıyor. Bunu biraz daha fazla ifade etmek için, temel bileşenlerin özdeğerleri ile olmasına izin . Sonra $M^TM=U\Sigma U^T$ $A,B$ $M$ $A,B$ $u_i$ $\lambda_i$

U B = \sum_{i} (u_{i}, b_{i}) u_{i}, U A = \sum_{i} (u_{i}, a_{i}) u_{i},

$UB=\sum_i(u_i,b_i)u_i, \ UA=\sum_i(u_i,a_i)u_i,$

hangi size verir:

(M A, M B) = \sum_{i = 1}^{n} (u_{i}, a_{i}) (u_{i}, b_{i}) λ_{i} .

$(MA,MB)=\sum_{i=1}^n (u_i,a_i)(u_i,b_i)\lambda_i.$

Burada bir ölçekleme olduğuna dikkat edin: / küçülüyor. Tüm birim vektörleri ve her ise , o zaman olsun bir dönüşüne karşılık gelir, ve: , ki iç ürünlerin rotasyon altında değişmez olduğunu söylemeye eşdeğerdir. Genel olarak, açı kalır aynı zaman , bu durumda gerektiren bir uygun dönüşüm olduğunu tersinirdir ve polar ayrışma tatmin ile , yani . $\lambda_i$ $A,B$ $\lambda_i=1$ $M$ $\mbox{sim}(MA,MB)=\mbox{sim}(A,B)$ $M$ $M$ $M$ $M=OP$ $P=aI$ $M^TM=a^2I$

— Alex R.
kaynak

1

Sorunun ilk ifadesi , kosinüs benzerliğini hesaplamak için gerekli olan , , ve vektörlerinin normalleştirilmesini ihmal eder . Sonraki analizin de bu normalleşmeye yönelik olduğu görülmemektedir. Özellikle, tüm özdeğerler farklı (pozitif) bir değere eşit olsa bile kosinüs benzerliklerinin korunduğuna dikkat edin . Bu, bu basit durumda bile, çok daha fazlasının söylenebileceğini gösterir.

A

$A$

B

$B$

M A

$MA$

M B

$MB$

1

$1$

— whuber

@whuber: tam olarak ne zaman kosinüs benzerliği korunur bu durumda gerektiren denk bir uygun dönüşüm olduğunu ters çevrilebilir olması ve kimlik katı olmalıdır. Başka bir yolla, polar ayrışması tatmin eder , burada . Normalleştirme konusunda haklısınız, ancak normalleştirilmemiş vektörleri ile kosinüs benzerliği hakkında konuşmak aptalca görünüyor .

M

$M$

M

$M$

M^{T} M = a^{2} I

$M^TM=a^2I$

M

$M$

M = O P

$M=OP$

P = a I

$P=aI$

A, B

$A,B$

— Alex

2

Hiç saçma değil! Bu "benzerlik" vektörler arasındaki açının kosinüsü tarafından verildiğinden, sıfır olmayan iki vektör için mantıklıdır. Ne "çok daha söylenebilir" demek görüntüleri arasındaki açıya o etkili sınırları olan ve arasındaki açı cinsinden elde edilebilir ve ve öz değerlerine .

A

$A$

B

$B$

A

$A$

B

$B$

M

$M$

— whuber