Neden tensörlerle ani büyülenme?

171

Son zamanlarda birçok insanın tensör eşdeğeri geliştirdiğini fark ettim (tensör faktörizasyonu, tensör çekirdekleri, konu modellemesi için tensörler, vb.) Merak ediyorum, neden dünya aniden tensörlerle büyülendi? Bu konuda ortaya çıkan özellikle şaşırtıcı olan son makaleler / standart sonuçlar var mı? Hesaplamalı olarak daha önce şüphelenilenden çok daha ucuz mu?

Glib olmuyorum, içtenlikle ilgileniyorum ve bu konuda bildiri ile ilgili herhangi bir işaretçi varsa, okumayı çok isterim.

— YS
kaynak

25

“Büyük veri tensörlerinin” normal matematiksel tanımla paylaşan tek tutucu özelliği, çok boyutlu diziler olmalarıdır. Bu yüzden, büyük veri tensörlerinin "çok boyutlu dizi" demenin pazarlanabilir bir yolu olduğunu söyleyebilirim, çünkü makine öğrenen insanların, normal matematik tensörlerinin, özellikle de faydalı tensörlerinin zevk aldığı simetrileri veya dönüşüm yasalarını umursamayacağından şüpheliyim. koordinat serbest denklemlerinin oluşturulmasında.

— Alex R.

2

@AlexR. dönüşümleri etkilemeksizin hiçbir tansör yoktur

— Aksakal

2

@Aksakal Fizikte tensör kullanımına kesinlikle aşinayım. Demek istediğim, fizik tensörlerinde simetrilerin fizik simetrisinden kaynaklandığı, tensörün tanımında gerekli olmayan bir şey olduğu.

— aginensky

3

@aginensky Eğer bir tensör çok boyutlu bir diziden başka bir şey değilse, matematik ders kitaplarında bulunan tensörlerin tanımları neden bu kadar karmaşık geliyor? Vikipedi: "Çok boyutlu dizideki sayılar, tensörün skaler bileşenleri olarak bilinir ... Tıpkı vektör uzayının temelini değiştirdiğimizde bir vektörün bileşenleri değiştiğinde, bir tensörün bileşenleri de böyle dönüşüm Her tensör, tensörün bileşenlerinin temel bir değişime nasıl cevap verdiğini ayrıntılandıran bir dönüşüm yasasıyla donatılmıştır. ” Matematikte, bir tensör sadece bir dizi değildir.

— littleO

4

Bu tartışma üzerine sadece bazı genel düşünceler: Bence, vektörler ve matrislerde olduğu gibi, gerçek uygulama çoğu zaman daha zengin teorinin çok basitleştirilmiş bir örneklemesine dönüşür. Bu makaleyi daha ayrıntılı olarak okuyorum : epubs.siam.org/doi/abs/10.1137/07070111X?journalCode=siread ve beni gerçekten etkileyen bir şey, matrisler için "temsil edici" araçlar (özdeğer ve tekil değer ayrışımları). yüksek derecelerde ilginç genellemeler var. Eminim daha fazla endeks için güzel bir kabın ötesinde, daha birçok güzel özellik de vardır. :)

— YS

89

Tensörler çoğu zaman verilerin daha doğal gösterimlerini sunar, örneğin zaman içinde açıkça ilişkilendirilmiş görüntülerden oluşan videoyu düşünün. Sen olabilir (ne yaptığını videonun bazı matris-bir temsil çarpanlara demek?) Bir matris dönüştürelim, ama sadece doğal veya sezgisel değil.

Tensörler birkaç nedenden dolayı eğilimlidir:

Çok hatlı cebir anlayışımız, özellikle yeni türden potansiyel uygulamaları tanımlamamıza yardımcı olan (örneğin, çok yollu bileşen analizi ) çeşitli faktörizasyon türlerinde hızla gelişmektedir.
yazılım araçları ortaya çıkmaktadır (örneğin, Tensorlab ) ve memnuniyetle karşılanmaktadır.
Büyük Veri uygulamaları genellikle, örneğin öneri sistemleri gibi tensörler kullanılarak çözülebilir ve Büyük Veri'nin kendisi sıcaktır.
Bazı tensör operasyonları ağır olabileceğinden hesaplama gücünde artışlar (bu aynı zamanda derin öğrenmenin şu anda bu kadar popüler olmasının temel nedenlerinden biridir)

— Marc Claesen
kaynak

9

Hesaplamalı güç kısmında: Bence en önemlisi, doğrusal cebirin GPU'larda çok hızlı olabileceği ve son zamanlarda daha büyük ve daha hızlı hatıralar elde ettikleri, bu büyük verileri işlerken en büyük sınırlama olduğunu düşünüyorum.

— Davidmh

6

Marc Claesen'in cevabı iyi bir cevap. Duke'daki İstatistik Profesörü David Dunson, bu sunumda olduğu gibi, Bayesian Tensor Regression'ın sunumunda olduğu gibi, tensör temelli modellemelerin anahtar üslerinden biri olmuştur . icerm.brown.edu/materials/Slides/sp-f12-w1/…

— Mike Hunter

David tarafından belirtildiği gibi, Tensor algoritmaları genellikle hangi donanımın (GPU hızlandırıcıları gibi) gittikçe daha iyi hale geldiği paralelliğini iyi bir şekilde ödünç vermektedir.

— Thomas Russell

1

Daha iyi bellek / CPU yeteneklerinin bir rol oynadığını varsaydım, ancak son zamanlardaki dikkat çekimi ilginçti; Bence tavsiye sistemleriyle yapılan son şaşırtıcı şaşırtıcı başarılar ve belki de SVM'ler için çekirdekler vs. olması gerektiğini düşünüyorum. Bağlantılar için teşekkürler! bu

— YS

5

Bir videoyu çok boyutlu bir dizi olarak saklarsanız, bu çok boyutlu dizinin bir tensörün sahip olması gereken değişmez özelliklerinden herhangi birine nasıl sahip olacağını göremiyorum. Bu örnekte "tensör" kelimesi uygun görünmüyor.

— littleO

73

Bence sorunuz aynı derecede serbest akan ve sorunun kendisi olarak açık fikirli bir cevapla eşleştirilmesi gerektiğini düşünüyorum. Yani, işte onlar benim iki analojim.

Birincisi, eğer saf bir matematikçi olmadığınız sürece, muhtemelen ilk önce tek değişkenli olasılıklar ve istatistikler öğretildi. Örneğin, büyük olasılıkla ilk OLS örneğiniz muhtemelen bunun gibi bir : Büyük olasılıkla, tahminleri türeterek en az karelerin toplamını en aza indirerek : Sonra FOC s'yi parametreler için yazarsın ve çözümü elde edersin:

y_{i} = a + b x_{i} + e_{i}

$y_i=a+bx_i+e_i$

T S S = \sum_{i} (y_{i} - \bar{a} - \bar{b} x_{i})^{2}

$TSS=\sum_i(y_i-\bar a-\bar b x_i)^2$

\frac{\partial T T S}{\partial \bar{a}} = 0

$\frac{\partial TTS}{\partial \bar a}=0$

Daha sonra bunu vector (matrix) notasyonu ile yapmanın daha kolay bir yolu olduğu söylenir:

y = X b + e

$y=Xb+e$

ve TTS olur:

T T S = (y - X \bar{b})^{'} (y - X \bar{b})

$TTS=(y-X\bar b)'(y-X\bar b)$

FOC'ler:

2 X^{'} (y - X \bar{b}) = 0

$2X'(y-X\bar b)=0$

Ve çözüm

\bar{b} = (X^{'} X)^{- 1} X^{'} y

$\bar b=(X'X)^{-1}X'y$

Doğrusal cebir konusunda iyiyseniz, öğrendikten sonra ikinci yaklaşıma sadık kalırsınız, çünkü ilk yaklaşımdaki tüm toplamları, özellikle de çok değişkenli istatistiklere girdikten sonra yazmaktan daha kolaydır.

Dolayısıyla benzetmem, matrislerden tensörlere hareket etmenin vektörlerden matrislere geçmeye benzemesidir: tensörleri bilirseniz bazı şeyler bu şekilde daha kolay görünür.

İkincisi, tensörler nereden geliyor? Bu şeyin tüm geçmişinden emin değilim, ama onları teorik mekanikte öğrendim. Elbette, tensörlerle ilgili bir kurs yaptık, ama o matematik kursunda endeksleri değiştirmek için tüm bu süslü yöntemlerle ne olduğunu anladım. Hepsi gerilim kuvvetlerinin incelenmesi bağlamında anlam kazanmaya başladı.

Böylece, fizik olarak, aynı zamanda birim alan başına kuvvet olarak tanımlanır basınç basit bir örnek ile başlar, böylece: Bu kuvvet vektörü hesaplamak anlamına gelir basınç çarparak alanının birimi (skalar) (normal vektör). İşte o zaman sadece bir tane sonsuz düzlem yüzeyine sahibiz. Bu durumda sadece bir dikey kuvvet var. Büyük bir balon iyi bir örnek olabilir.

F = p \cdot d S

$F=p\cdot dS$

F

$F$

p

$p$

d S

$dS$

Bununla birlikte, malzemelerin içindeki gerilimi inceliyorsanız, olası tüm yön ve yüzeylerle ilgileniyorsunuzdur. Bu durumda, yalnızca dik olanları değil, her yöne çeken veya iterek verilen herhangi bir yüzeye kuvvet uygularsınız. Bazı yüzeyler "yana doğru" vb. Teğetsel kuvvetlerle parçalanır. Böylece, denkleminiz olur: Kuvvet hala bir vektörüdür ve yüzey alanı hala normal vektör temsil edilir , ancak bir tensördür şimdi, skaler değil.

F = P \cdot d S

$F=P\cdot dS$

F

$F$

d S

$dS$

P

$P$

Tamam, bir skaler ve bir vektör de tensördür :)

Tensörlerin doğal olarak ortaya çıktığı bir başka yer kovaryans veya korelasyon matrisleridir. düşünün: korelasyon matrisini bir nasıl dönüştürün ? Sadece bu şekilde yapamayacağımızın farkındasınız: nerede çünkü yarı-kesin olarak tutmamız gerekiyor . $C_0$ $C_1$

C_{θ} (i, j) = C_{0} (i, j) + θ (C_{1} (i, j) - C_{0} (i, j)),

$C_\theta(i,j)=C_0(i,j)+ \theta(C_1(i,j)-C_0(i,j)),$

θ \in [0, 1]

$\theta\in[0,1]$

C_{θ}

$C_\theta$

Öyleyse, yolunu bulmalıyız, böylece , burada bir matriste küçük bir rahatsızlıktır. Çok farklı yollar var ve en kısa yollardan birini arayabiliriz. Riemann geometrisine, manifoldlarına ve tensörlerine giriyoruz. $\delta C_\theta$ $C_1=C_0+\int_\theta\delta C_\theta$ $\delta C_\theta$

GÜNCELLEME: Neyse, tensör nedir?

@ amoeba ve diğerleri, tensörün anlamını ve bunun bir dizi ile aynı olup olmadığını canlı bir şekilde tartıştılar. Böylece, bir örneğin sırayla olduğunu düşündüm.

De ki, biz yiyecek almak için bir pazara gidiyor ve iki tüccar ahbaplar vardır ve . Biz fark biz ödemek eğer için dolar ve için dolar sonra bize satar elma pound ve bize satar portakal. Örneğin, eğer her ikisine de 1 dolar, yani , o zaman 1 pound elma ve 1.5 portakal almalıyız. $d_1$ $d_2$ $x_1$ $d_1$ $x_2$ $d_2$ $d_1$ $y_1=2x_1-x_2$ $d_2$ $y_2=-0.5x_1+2x_2$ $x_1=x_2=1$

Bu ilişkiyi matrisi şeklinde ifade edebiliriz : $P$

 2   -1
-0.5  2

Sonra tüccarlar bu kadar elma ve portakal üretirler, eğer onlara dolar : $x$

y = P x

$y=Px$

Bu tam olarak vektör çarpımının matrisi gibi çalışır.

Şimdi, diyelim ki bu satıcılardan malları ayrı ayrı satın almak yerine, kullandığımız iki harcama paketi olduğunu beyan ediyoruz. Ya her ikisi 0,71 dolar ödemek veya biz ödemek 0,71 dolar ve gelen 0,71 dolar talep geri. İlk durumda olduğu gibi, bir pazara ve paket 1 için , paket 2 için . $d_1$ $d_2$ $z_1$ $z_2$

Öyleyse, paket 1'de sadece harcadığımız bir örneğe bakalım. Bu durumda, ilk satıcı dolar alır ve ikinci satıcı aynı . Bu nedenle, yukarıdaki örnekteki gibi aynı miktarda ürünü almalıyız, değil mi? $z_1=2$ $x_1=1$ $x_2=1$

Belki, belki değil. matrisinin köşegen olmadığını farkettiniz . Bu, bazı nedenlerden dolayı, bir tüccarın ürettiği ürün için ne kadar ücret talep edeceğini de diğer tüccara ne kadar ödediğimize bağlı olduğunu gösteriyor. Onlara ne kadar ödediklerine dair bir fikir edinmeliler, belki de söylentiler yoluyla? Bu durumda, paket satın almaya başlarsak, her birine ne kadar ödediğimizi kesin olarak bileceklerdir, çünkü paketlerimizi piyasaya ilan ediyoruz. Bu durumda, matrisinin aynı kalması gerektiğini nasıl bilebiliriz ? $P$ $P$

Belki de piyasadaki ödemelerimizin tam bilgisiyle fiyatlandırma formülleri de değişebilir! Bu bizim matrisimizi değiştirecek ve tam olarak ne olduğunu söylemenin bir yolu yok. $P$

Burası tensörlere girdiğimiz yer. Temel olarak, tensörlerle, hesapların doğrudan her satıcıyla değil, paketlerle işlem yapmaya başladığımızda değişmediğini söylüyoruz. Bu, tensör dediğimiz dönüşüm kuralları uygulayacak olan kısıtlamadır . $P$

Özellikle biz bir ortonormal taban var olduğunu fark edebilirsiniz , bir tüccara 1 dolar ödemeyi demektir diğer ve hiçbir şey. Paketlerin ayrıca ortonormal bir temel oluşturduğunu da fark edebiliriz ki , . Aynı zamanda ilk temelden bir PC'nin ayrıştırılması. bu nedenle demelere geçmenin, koordinatların değişmesi olduğunu ve hesaplamaları değiştirmemesi gerektiğini söylüyoruz. Bunun, modele dayatılan bir dış kısıtlama olduğuna dikkat edin. Matrislerin saf matematik özelliklerinden gelmedi. $\bar d_1,\bar d_2$ $d_i$ $i$ $\bar d_1',\bar d_2'$

Artık alışverişlerimiz vektörü olarak ifade edilebilir . Vektörler de tensörlerdir, btw. Tensör ilginçtir: ve bakkaliye . Bakkaliye ile tüccardan ürünlerin kiloluk anlamına değil, ödenen dolar. $x=x_1 \bar d_1+x_2\bar d_2$

P = \sum_{i j} p_{i j} {\bar{d}}_{i} {\bar{d}}_{j}

$P=\sum_{ij}p_{ij}\bar d_i\bar d_j$

y = y_{1} {\bar{d}}_{1} + y_{2} {\bar{d}}_{2}

$y=y_1 \bar d_1+y_2 \bar d_2$

y_{i}

$y_i$

i

$i$

Şimdi, koordinatları demetlemek için değiştirdiğimizde, tensör denklemi aynı kalıyor:

y = P z

$y=Pz$

Güzel, ama ödeme vektörleri artık farklı bir temelde: , üretim vektörlerini eski bazda . Tensör de değişiyor: . Tensörün nasıl dönüştürülmesi gerektiğinin türetilmesi kolaydır , dönme matrisinin olarak tanımlandığı olacaktır . Bizim durumumuzda bu paketin katsayısıdır.

z = z_{1} {\bar{d}}_{1}^{'} + z_{2} {\bar{d}}_{2}^{'}

$z=z_1 \bar d_1'+z_2\bar d_2'$

y = y_{1} {\bar{d}}_{1} + y_{2} {\bar{d}}_{2}

$y=y_1 \bar d_1+y_2 \bar d_2$

P = \sum_{i j} p_{i j}^{'} {\bar{d}}_{i}^{'} {\bar{d}}_{j}^{'}

$P=\sum_{ij}p_{ij}'\bar d_i'\bar d_j'$

P A

$PA$

{\bar{d}}^{'} = A \bar{d}

$\bar d'=A\bar d$

Tensör dönüşümü için formüller hazırlayabiliriz ve ve olan örneklerle aynı sonucu . $x_1=x_2=1$ $z_1=0.71,z_2=0$

— Aksakal
kaynak

2

Buralarda kafam karıştı:

So, let's look at an example where we spend just z1=1.42 on bundle 1. In this case, the first merchant gets x1=1 dollars, and the second merchant gets the same x2=1.

Daha önce demiş olduğunuz ilk demenin biz olduğudur pay both 0.71 dollars. Öyleyse ilk pakette 1.42 harcama, her biri 0.71 olmalı, 1 değil mi?

— amip

@ameba, fikir şu ki, bir paket 1 , yani paket 1 ile , yani her biri 1 $ olsun

{\bar{d}}_{1} / \sqrt{2} + {\bar{d}}_{2} / \sqrt{2}

$\bar d_1/ \sqrt 2+\bar d_2/ \sqrt 2$

\sqrt{2}

$\sqrt 2$

{\bar{d}}_{1} + {\bar{d}}_{2}

$\bar d_1+\bar d_2$

— Aksakal

2

@Aksakal, bu tartışmanın oldukça eski olduğunu biliyorum, ancak bunu da anlamadım (gerçekten denememe rağmen). Bir paket 1'in olduğu fikri nereden geliyor? Ayrıntılı misiniz? Her iki tüccarın 1 aldığı paket için 1,42 ödemeniz nasıl olur?

{\bar{d}}_{1} / \sqrt{2} + {\bar{d}}_{2} / \sqrt{2}

$\bar d_1/ \sqrt 2+\bar d_2/ \sqrt 2$

— Matek

@Aksakal Bu harika, teşekkürler! Bence, son satırda bir yazım hatası olduğunu düşünüyorum; burada x1 = x2 = 1 (doğru) ve z1 = 0.71, z2 = 0 dedin. ila 2 ^ 0.5).

— Mike Williamson

71

Bu, sorunuza bir cevap değil, burada farklı insanlar tarafından yorumlarda ortaya konulan konuya ilişkin genişletilmiş bir yorum, yani: “tensörleri” makinede matematikte tensörlerle aynı şeyi mi öğreniyorlar?

Şimdi, Cichoki 2014'e göre , Büyük Veri İşleme Dönemi: Tensor Ağları ve Tensör Ayrışımları Üzerinden Yeni Bir Yaklaşım ve Cichoki ve ark. 2014, Sinyal İşleme Uygulamaları İçin Tensör Ayrıştırmaları ,

Daha yüksek dereceli bir tensör çok yollu bir dizi olarak yorumlanabilir, [...]

Bir tensör çok endeksli sayısal bir dizi olarak düşünülebilir, [...]

Tensörler (yani, çok yönlü diziler) [...]

Bu nedenle, makine öğrenmesinde / veri işlemesinde, bir tensörün çok boyutlu bir sayısal dizi olarak tanımlandığı görülmektedir. Böyle bir 3D tensörün bir örneği, boyutunda video karesi olacaktır . Genel veri matrisi, bu tanıma göre 2B tensör örneğidir. $1000$ $640\times 480$ $n\times p$

Bu, tensörlerin matematik ve fizikte tanımlanma şekli değildir!

Bir tensör, koordinat değişikliği altında belirli dönüşüm yasalarına uyarak çok boyutlu bir dizi olarak tanımlanabilir ( bkz. Wikipedia veya MathWorld makalesindeki ilk cümle ). Daha iyi ancak eşdeğer bir tanım ( bkz. Vikipedi ), vektör uzayındaki bir tensörün un bir unsuru olduğunu . Bunun, çok boyutlu diziler olarak temsil edildiğinde, tensörlerin veya vb. Olduğu anlamına gelir , burada , boyutudur . $V$ $V\otimes\ldots\otimes V^*$ $p\times p$ $p\times p\times p$ $p$ $V$

Fizikte iyi bilinen tüm tensörler şöyledir: mekanikte atalet tensörü , özel görelilikte elektromanyetik tensör , genel görelilikte Riemann eğrilik tensörü . Eğrilik ve elektromanyetik tensörler gerçekte tensör demetlerinin bölümleri olan tensör alanlarıdır (bakınız, örneğin buraya bakınız , ancak teknik olur), ancak hepsi bir vektör uzayı üzerinde tanımlanmıştır . $3\times 3$ $4\times 4$ $4\times 4\times 4\times 4$ $V$

Tabii ki, bir bir gerçekleştirebilmesi tensör ürün bir bölgesinin boyutlu ve boyutlu ama belirtildiği gibi unsurları genellikle "tansörleri" olarak adlandırılan değildir Ekşi burada örneğin : $V\otimes W$ $p$ $V$ $q$ $W$

Prensip olarak, herhangi bir tensör ürününün bir elemanı olarak bir "tensör" tanımlanabilir. Bununla birlikte, matematik literatürü, genellikle, tek bir vektör uzayının ( ve onun ikili bir tensör ürününün bir elemanı için tensör terimini yukarıdaki gibi ayırır . $V$

İstatistiklerdeki gerçek bir tensör örneği bir kovaryans matrisi olabilir. Bu ve -boyutlu özellik uzayında koordinat sistemi değiştirildiğinde belirli bir şekilde dönüşür . Bu bir tensördür. Fakat veri matrisi değildir. $p\times p$ $p$ $V$ $n\times p$ $X$

Fakat, en azından düşünebiliriz tensör ürün bir unsuru olarak , bir boyutlu ve olan boyutlu? Somutluk için, satırların insanlara (öznelere) karşılık gelmesine ve bazı ölçümlerin (özelliklere) sütun yapmasına izin verin . koordinatların değişimi, özelliklerin doğrusal dönüşümüne tekabül eder ve bu her zaman istatistikte yapılır (PCA düşünün). Ama koordinatlar değişikliği anlamlı bir şey karşılık görünmüyor (ve bir karşı örnek vardır herkes bana yorum olarak bildirin çağrısı) $X$ $W\otimes V$ $W$ $n$ $V$ $p$ $X$ $V$ $W$ . Bu yüzden, bir unsuru olarak ele alarak kazanılmış bir şey olduğu görünmüyor . $X$ $W\otimes V$

Gerçekten de, ortak bir gösterim yazmak için , her bir dizi arada, matrisler ( vardır varsayılan dönüşüm özellikleri olmadan, sayıların dikdörtgen dizileri olarak tanımlanır ). $X\in\mathbb R^{n\times p}$ $R^{n\times p}$ $n\times p$

Sonuç olarak: (a) makine öğrenim tensörleri matematik / fizik tensörleri değildir ve (b) onları tensör ürünlerinin unsurları olarak görmek de çoğunlukla yararlı değildir.

Bunun yerine, matrislerin çok boyutlu genelleştirmeleridir. Ne yazık ki, bunun için belirlenmiş matematiksel bir terim yok, bu yüzden "tensör" ün bu yeni anlamının şimdi burada kaldığı görülüyor.

— amip
kaynak

19

Ben saf bir matematikçiyim ve bu çok iyi bir cevap. Özellikle, bir kovaryans matrisinin örneği, yukarıda karışıklığa neden gibi görünen "dönüşüm özelliklerini" veya "simetrileri" anlamanın mükemmel bir yoludur. Eğer üzerinde koordinatları değiştirirseniz boyutlu özellik alanı, kovaryans matrisi bir dönüştürür belli ve muhtemelen şaşırtıcı bir şekilde; kovaryanslarınız üzerinde daha naif bir dönüşüm yaptıysanız, yanlış sonuçlarla sonuçlanırsınız.

p

$p$

— Tom Church,

10

Teşekkürler @Tom, bu yorumu bırakmak için CrossValidated'e kaydolduğunuz için teşekkür ederiz. Diferansiyel geometri okuduğumdan bu yana çok zaman geçti, o yüzden biri yazdığımı onaylarsa mutlu olurum. Matematikte "çok boyutlu matrisler" için belirli bir terim bulunmaması üzücüdür; Görünüşe göre, "tensör" makine öğrenme topluluğuna bunun için bir terim olacak. Sizce nasıl olsa bir kişi demeyi düşünüyorsunuz? Aklıma gelen en iyi şey, matrisleri (örneğin bir video nesnesine gönderme yapan matris ), kategorilerine benzer şekilde .

n

$n$

3

$3$

n

$n$

— amip

4

@ amoeba, programlamada çok boyutlu matrisler genellikle diziler olarak adlandırılır , ancak MATLAB gibi bazı diller onlara matrisler derdi . Örneğin, FORTRAN'da diziler 2'den fazla boyuta sahip olabilir. C / C ++ / Java gibi dillerde, diziler bir boyutludur, ancak dizileri de olabilir, bu da onları çok boyutlu diziler gibi çalışmasını sağlar. MATLAB sözdiziminde 3 veya daha fazla boyutlu diziyi destekler.

— Aksakal

3

Bu çok ilginç. Umarım bu noktayı vurgulayacaksınız. Fakat bir setin belirlediği vektör alanıyla karıştırmamaya özen gösterin, çünkü istatistikte ayrım önemlidir. Özellikle (örneklerden birini almak için), insanların doğrusal bir birleşimi anlamsız olsa da , bir dizi insan üzerinde gerçek değerli işlevlerin doğrusal bir kombinasyonu hem anlamlı hem de önemlidir. Örneğin doğrusal regresyon çözmenin anahtarı budur.

— whuber

8

T. Kolda, B, Bada, "Tensör Ayrışımları ve Uygulamaları" SIAM Review 2009, epubs.siam.org/doi/pdf/10.1137/07070111X 'Bir tensör çok boyutlu bir dizidir. Daha resmi olarak, N yönlü veya N. sıradaki bir tensör, her biri kendi koordinat sistemine sahip olan N vektör uzaylarının tensör ürününün bir elemanıdır. Tansörlerin Bu kavram değil, genel olarak "matematik tensör alanları olarak adlandırılır fizik ve (örneğin stres tensörleri gibi) mühendislikte tensörlerle ,, ile karıştırılmamalıdır

— Mark L. Taş

14

Sinir ağlarını inceleyen ve inşa eden ve bu soruyu defalarca sormuş biri olarak, tensör notasyonunun yararlı yönlerini ödünç aldığımız sonucuna vardım, çünkü türetmeyi çok daha kolay hale getiriyorlar ve gradyanlarımızı doğal şekillerinde tutuyorlar. Tensör zincir kuralı gördüğüm en şık türetme araçlarından biridir. Diğer tensör notasyonları, genel olarak hesaplanmış vektör matematiğinin yaygın versiyonlarını kullanırken bulmak için kabus olan, hesaplama açısından verimli basitleştirmeleri teşvik eder.

In Vektör / Matris hesap örneğin matris ürünleri (A. Edison, Olağan Kronecker, ve elementwise) 4 türü vardır ama tensör analizi çarpma yalnızca bir tür var henüz tüm matris çarpımı ve daha kapsar. Cömert olmak istiyorsanız, türev bulmak için tensör bazlı hesabı kullanmak istediğimiz çok boyutlu bir dizi demek için tensörü yorumlayın, manipüle ettiğimiz nesnelerin tensör olduğunu değil .

Tüm dürüstlük içinde muhtemelen çok boyutlu diziler tensörleri olarak adlandırıyoruz, çünkü çoğu makine öğrenimi uzmanı yüksek seviye matematik veya fiziğin tanımlarına uymayı pek önemsemiyor. Gerçek şu ki biz sadece iyi gelişmiş Einstein Summation Conventions ve Calculi'yi ödünç alıyoruz , bunlar tipik olarak tensörleri tarif ederken kullanılır ve Einstein toplama sözleşmesini temel alan hesabı tekrar tekrar söylemek istemezler. Belki bir gün, özellikle sinir ağlarını analiz etmek için, ancak zaman alan genç bir alan olarak sadece tensör hesaplarından ihtiyaç duydukları şeyleri çalan yeni bir notasyon ve kongre dizisi geliştirebiliriz.

— James Ryland
kaynak

Lütfen hesaplarınızı kaydedin ve / veya birleştirin (bunun nasıl yapılacağı ile ilgili bilgileri yardım merkezimizin Hesabım bölümünde bulabilirsiniz ), sonra kendi yanıtlarınızı düzenleyebilir ve yorumlayabilirsiniz.

— gung

10

Şimdi aslında diğer cevapların içeriğinin çoğuna katılıyorum. Ama bir noktada Şeytanın Avukatı'nı oynayacağım. Yine, serbestçe akacak, bu yüzden özür dilerim ...

Google derin öğrenme için Tensor Flow adlı bir program açıkladı. Bu beni derin öğrenme hakkında 'tensörün' ne olduğunu merak etti, çünkü gördüğüm tanımlarla bağlantı kuramadım.

Derin öğrenme modelleri, elementlerin bir uzaydan diğerine dönüşümü ile ilgilidir. Örneğin biz koordine yazma olabilecek bazı şebekenin iki kat düşünün eğer bir dönüştürülmüş değişken bir fantezi toplamıdır gösterimi kullanarak, önceki katmanın doğrusal olmayan bir fonksiyonu olarak: $i$ $y$

$y_i = \sigma(\beta_i^j x_j)$

Şimdi, asıl koordinatların yararlı bir temsiline ulaşmak için bir dizi bu tür dönüşümleri bir araya getirmektir . Dolayısıyla, örneğin, bir görüntünün son dönüşümünden sonra basit bir lojistik regresyon mükemmel sınıflandırma doğruluğu üretecektir; Oysa ham görüntüde kesinlikle olmazdı.

Şimdi, gözden kaybolmuş gibi görünen şey, uygun bir tensörde aranan değişmez özelliktir. Özellikle dönüştürülmüş değişkenlerin boyutları katmandan katmana farklılık gösterebiliyorsa. [Tensörlerde gördüğüm bazı şeyler kare olmayan Jacobianlar için bir anlam ifade etmiyor - bazı yöntemler bulunmuyor olabilir]

Tutulan, değişkenlerin dönüşümleri kavramıdır ve bir vektörün belirli temsillerinin, belirli görevler için diğerlerinden daha yararlı olabileceğidir. Analoji, Kartezyen ya da kutupsal koordinatlarda bir problemle başa çıkmanın daha anlamlı olup olmadığıdır.

@Aksakal'a cevaben EDIT:

Koordinat sayısındaki değişiklikler nedeniyle vektör mükemmel bir şekilde korunamaz. Bununla birlikte, bir anlamda en azından faydalı bilgiler dönüşüm altında korunabilir. Örneğin PCA ile bir koordinat bırakabiliriz, bu yüzden dönüşümü tersine çeviremeyiz, ancak boyutluluk azaltma yine de faydalı olabilir. Tüm ardışık dönüşümler ters çevrilebilseydi, son kattaki katmandan giriş alanına geri eşleyebilirsiniz. Olduğu gibi, sadece örnekleme yoluyla bunu (RBM) mümkün kılan olası modelleri gördüm.

— Konjektürler
kaynak

1

Sinir ağları bağlamında, her zaman tensörlerin aynı zamanda çok boyutlu diziler gibi davrandıklarını varsaymıştım. Değişmezlik özelliklerinin sınıflandırma / temsillere nasıl yardımcı olduğunu açıklayabilir misiniz?

— YS

Belki de yukarıda net değildim, ama bana öyle geliyor - yorum doğruysa - değişmez özelliklerin hedefi düşmüştür. Tutulmuş gibi görünen değişken dönüşümleri fikridir.

— varsayımlar

Bir vektör varsa @conjectures, Kartezyen koordinatlarda, daha sonra kutupsal koordinatlara dönüştürmek, vektör hala aynı yönde aynı noktadan işaret yani aynı kalır. Makine öğrenmede koordinat dönüşümünün ilk vektörü değiştirdiğini mi söylüyorsunuz?

\bar{r}

$\bar r$

— Aksakal

ama bu dönüşümün bir özelliği tensörden daha fazla değil mi? En azından sinir ağlarında daha popüler görünen lineer ve element-bilge tip dönüşümlerde, vektörler ve matrisler ile aynı oranda bulunurlar; Tensörlerin ilave faydaları nelerdir?

— YS

1

@conjectures, PCA sadece bir dönme ve izdüşümdür. N-boyutlu alanı PC'ye döndürmek, sonra da alt-uzaya yansıtmak gibi. Tensörler, fizikte benzer durumlarda, örneğin, bedenlerin içindeki yüzeylerde kuvvetlere bakarken vb. Kullanılır.

— Aksakal

7

İşte en azından bazılarının neden tensörlerle büyülendiğinin kalbini oluşturan , Olumsuz Tensör Faktörleşmesinin İstatistik ve Bilgisayarla Görülebilen Uygulamalara Uygulanması, A. Shashua ve T. Hazan'dan hafifçe düzenlenmiş (bağlam için) .

Herhangi bir n-boyutlu problem, boyutları birleştirerek iki boyutlu olarak gösterilebilir. Bu nedenle, örneğin, bir görüntü grubunun negatif olmayan düşük kademeli bir ayrışım bulma problemi, 3 boyutlu bir küpün dilimlerini oluşturan görüntüler ile 3-NTF'dir (negatif olmayan Tensör Faktörleşmesi), ancak aynı zamanda temsil edilebilir. görüntüleri (bir matrisin sütunlarını oluşturan görüntüler) vektörleştirerek NMF (Negatif Olmayan Matris Faktoringi) problemi.

Bir resim koleksiyonunun matris gösteriminin uygun olmamanın iki nedeni vardır:

Mekansal fazlalık (mutlaka komşu olmayan, benzer değerlere sahip olan pikseller) vektörleşmede kaybolur, böylece daha az verimli bir faktörleşmeyi bekleriz ve

Bir NMF ayrışması benzersiz değildir, bu nedenle, üretici bir model (yerel parçalardan) olsa bile, NMF, Chu, M., Diele, F., Plemmons, R., tarafından ampirik olarak doğrulanmış olan bu yönde hareket etmeyecektir. & Ragni, S. "Olumsuz matris faktörleşmelerinin optimizasyonu, hesaplanması ve yorumlanması" SIAM Matris Analizi Dergisi, 2004. Örneğin, görüntü setindeki değişmez kısımlar tüm faktörlerde hayaletler oluşturma ve seyreklik etkisini kirletme eğiliminde olacaktır. Bir NTF neredeyse her zaman benzersizdir, bu nedenle NTF planının üretici modeline doğru hareket etmesini ve özellikle değişmeyen kısımlardan etkilenmemesini beklerdik.

— Mark L. Stone
kaynak

6

[EDIT] Kitabı Peter McCullagh, İstatistikte Tensor Yöntemleri tarafından keşfetti .

Tensörler, özellikle Kanonik Polyadik (CP) tensör ayrışımı kavramı etrafında, bir sinyalde (veya bir görüntüdeki) bilinmeyen karışım tanımlamasında ilgi özelliklerini gösterir, örneğin Tensors: Kısa Bir Giriş , P. Comon, 2014'e bakınız. Alan bilinmektedir. "kör kaynak ayırma (BSS)" adı altında:

Tensör ayrıştırmaları, açıkça veya dolaylı olarak, bir çok Kör Kaynak Ayırma (BSS) algoritmasının çekirdeğindedir. Özellikle, Kanonik Polyadik (CP) tensör ayrışması, belirlenmemiş karışımların tanımlanmasında merkezi bir rol oynar. Bazı benzerliklere rağmen, CP ve Tekil Değer Ayrışımı (SVD) oldukça farklıdır. Daha genel olarak, tensörler ve matrisler bu kısa girişte belirtildiği gibi farklı özelliklere sahiptir.

Son zamanlarda üçüncü dereceden tensörler için bazı benzersiz sonuçlar elde edilmiştir: Üçüncü dereceden tensörlerin kanonik poliadik ayrışmasının benzersizliği üzerine ( bölüm 1 , bölüm 2 ), I. Domanov et al. , 2013.

Tensör ayrışımları, çoğunlukla, ayrışmazlıklara uyum sağlamak için, ayrışma faktörlerine (ortogonalite, Vandermonde, Hankel) ve düşük rütbe üzerine bir yapı empoze ederek seyrek ayrışmalara bağlı olan nodalardır.

Eksik veri analizi ve sensör dizilerinden karmaşık ölçümlerin belirlenmesi için artan bir ihtiyaçla, tensörler matris tamamlama, gizli değişken analizi ve kaynak ayrımı için giderek daha fazla kullanılmaktadır.

Ek not: görünüşe göre, Kanonik Polyadik ayrışma, sistem tanımlamasında (blok yapılı, paralel Wiener-Hammerstein veya doğrusal olmayan durum modeli modelleri) uygulamalarla, homojen bir polinomun lineer formların toplamı olarak Waring ayrışmasına eşdeğerdir.

— Laurent Duval
kaynak

3

Kitabımı tavsiye edebilir miyim: Kroonenberg, PM Applied Multiway Veri Analizi ve Smilde et al. Çok Yollu Analiz. Kimyasal Bilimlerdeki Uygulamalar (her ikisi de Wiley). Ayrıca ilgimi çeken bir yazı olabilir: Kroonenberg, PM (2014). Çok yollu bileşen analizinin tarihçesi ve üç yönlü yazışma analizi. Blasius, J. ve Greenacre, MJ (Eds.). Verilerin görselleştirilmesi ve sözelleştirilmesi (s. 77–94). New York: Chapman ve Salon / CRC. ISBN 9781466589803.

Bu referanslar, tensörlerden ziyade çok yollu verilerden bahseder, ancak aynı araştırma alanına işaret eder.

— Başbakan Kroonenberg
kaynak

-1

Makine Öğrenimindeki kişilerin, tensörleri matematikçiler ve hekimlerle aynı özenle görmedikleri doğrudur. İşte bu tutarsızlığı açıklığa kavuşturmak için bir makale: Comon P., "Tensörler: kısa bir giriş" IEEE Sig. Proc. Dergi , 31 Mayıs 2014

— Moun
kaynak

5

Matematik / fizikteki bir tensör ile makine öğrenimindeki bir tensör arasındaki fark gerçekten “bakım” dan biri mi? Makine öğrenen kişilerin "tensörü", sayılar dizileri (skaler, vektör, matris ve 3 veya daha fazla eksenli diziler, örneğin TensorFlow'da) için genel bir terim olarak kullandıkları, matematik / fizik bağlamında "tensör" ün farklı olduğu görülüyor anlamına gelir. Sorunun "bakım" ile ilgili olduğunu öne sürmek, aslında makine öğrenme bağlamında matematik / fizik kullanımının tam olarak çoğaltılması niyetinde olmadığında, makine öğrenme kapasitesinde kullanımı "yanlış" olarak nitelendirmek olduğunu düşünüyorum.

— Sycorax