Hızlı matris çarpımı için bellek gereksinimi

Farzedelim ki $n \times n$ matrisleri çarpmak istiyoruz . Yavaş matris çarpma algoritması zamanında çalışır ve belleği kullanır. En hızlı matris çarpımı zamanında çalışır , burada doğrusal cebir sabiti, ancak bellek karmaşıklığı hakkında bilinenler nelerdir? $O(n^3)$ $O(n^2)$ $n^{\omega + o(1)}$ $\omega$

Hızlı matris çarpımının bellek tüketmesi bir a priori olabilir . bellekte yapılabileceğine dair bir garanti var mı ? Şu anda bilinen matris çarpma algoritmalarının belleği kullanması söz konusu mudur? $n^{\omega}$ $O(n^2)$ $O(n^2)$

(Aslında dikdörtgen matris çarpımı ile ilgileniyorum, ancak bu durumda cevabın kare durumla aynı olacağını ve kare durumun daha iyi çalışıldığını varsayıyorum.)

ds.algorithms linear-algebra

— David Harris
kaynak

Alanı kullanım en olduğu tüm Strassen benzeri algoritmaları (yani, bu üst cebirsel matris çarpımı rank sınırlama göre). Bakın Coppersmith-Winograd algoritmasının uzay karmaşıklığı $O(n^2)$

Ancak, önceki cevabımda alan kullanımının neden olduğunu açıklamadığımı fark ettim ... işte el-dalgalı bir şey oluyor. Strassen benzeri bir algoritmanın ne yaptığını düşünün. Bunun için sabit bir algoritma başlar matris çarpım kullanan bir sabit için çarpma . Özellikle, bu algoritma (ne olursa olsun) WLOG yazılabilir, böylece: $O(n^2)$ $K \times K$ $K^c$ $c < 3$

Bu hesaplar farklı matrisler ilk matris çoklu girişler , çeşitli skalerler tarafından matrisleri ikinci matris gelen benzer bir biçimde olan, $K^c$ $L_1,\ldots,L_{K^c}$ $A$ $K^c$ $R_1,\ldots,R_{K^c}$ $B$
Bu doğrusal kombinasyonları çarpar , $L_i \cdot R_i$
Ve bu çarpma girişleri , çeşitli skalarlar, daha sonra elde etmek için entrywise kadar bu matrisler ekler . $L_i \cdot R_i$ $A \cdot B$

(Bu sözde "bilinear" algoritmasıdır, ancak her "cebirsel" matris çarpım algoritmasının bu şekilde yazılabileceği ortaya çıkar.) Her , bu algoritmanın yalnızca mevcut ürün ve mevcut değer alanı kullanımı, bu yüzden herhangi bir noktada bellekte (başlangıçta her sıfıra ayarlanır) . $i=1,\ldots,K^c$ $L_i \cdot R_i$ $A \cdot B$ $O(K^2)$

Bu sonlu algoritma göz önüne alındığında, daha sonra rasgele bir şekilde genişletilmiştir içine büyük matrisler kırarak, matrisler boyutları blok , uygulama sonlu algoritma bloğuna ve iki bloğu çarpması gerektiğinde algoritmayı tekrar tekrar çağırır. Her özyineleme düzeyinde, yalnızca alan öğelerini bellekte tutmamız gerekir ( depolamak $K^{\ell} \times K^{\ell}$ $K \times K$ $K^{\ell-1}\times K^{\ell-1}$ $K \times K$ $O(K^{2\ell})$ $O(1)$ farklı matrisleri). matris çarpımı için alan kullanımının olduğu varsayılarak, bu özyinelemeli algoritmanın alan kullanımı için olan $K^{\ell} \times K^{\ell}$ $K^{\ell-1}\times K^{\ell-1}$ $S(\ell-1)$ $S(\ell) \leq S(\ell-1) + O(K^{2\ell})$ $S(1) = 2K^2$ için çözer . $S(\ell) \leq O(K^{2\ell})$

— Ryan Williams
kaynak

Herhangi bir Strassen tarzı algoritma için, bu benim için doğru görünüyor. Ancak Coppersmith-Winograd,

aslında her biri gerçek üsse yaklaşan ve yaklaşan Strassen tarzı algoritmaların sonsuz bir dizisini gerektirdiğini kanıtladı . Gerçekten de, hem CW tarzı algoritmalar hem de CU tarzı algoritmalar bu sekansları sağlar ( bildiğimiz kadarıyla

yaklaşmasa da ). Gerekçelerde, böyle bir dizide kullanılan sabitlerin çok hızlı bir şekilde büyümesi mümkündür, böylece "

algoritması

boşluğu kullanarak sonuçlanabilir .

n^{ω}

$n^\omega$

ω

$\omega$

n^{ω}

$n^\omega$

ω (n^{2})

$\omega(n^2)$

— Joshua Grochow

... Ama argüman tarafından, hep zaman içinde bir algoritma elde edebilirsiniz

ve uzay

herhangi biri için

O (n^{ω + δ})

$O(n^{\omega + \delta})$

O (n^{2})

$O(n^2)$

δ > 0

$\delta > 0$

— Joshua Grochow

@Joshua, bu Strassen tipi algoritmaların bellek gereksinimi

, burada i algoritmanın dizin numarasıdır ve f hesaplanabilir. Dan Yani, bu algoritmaları üzerinde arama yaparsanız

ve k n'nin yavaş büyüyen bir işlevidir, daha sonra çalışma

ve bellek

f (i) * n^{2}

$f(i) * n^2$

i = 0, . . ., k

$i = 0, ..., k$

n^{ω + o (1)}

$n^{\omega+o(1)}$

n^{2 + o (1)}

$n^{2+o(1)}$

— David Harris

@DavidHarris: Elbette,

yeterince yavaş büyüdüğü sürece , yani

en fazla

kadar hızlı büyümelidir . Soru, herhangi bir aile için,

ne kadar hızlı büyür. Ancak

genel olarak

bellek kullanımı elde edecek kadar yavaş büyüyeceğine dair bir garanti yoktur ...

k

$k$

f

$f$

k

$k$

f^{- 1}

$f^{-1}$

f

$f$

k

$k$

k

$k$

n^{2 + o (1)}

$n^{2+o(1)}$

— Joshua Grochow

@Joshua. Fikir,

uzunluğundaki girdilerde , ilk

varsayılan Strassen tipi algoritmaları araştırır , geçerli olup olmadığını doğrular ve en hızlı olanı seçeriz.

bir fonksiyonu olarak

seçin , böylece

. Yana

, bu herhangi bir Strassen tipi algoritması seçilecektir anlamına gelir

yeterince büyük. Böylece zaman

n

$n$

k

$k$

k

$k$

n

$n$

f (k (n)) = n^{o (1)}

$f(k(n)) = n^{o(1)}$

k (n) \to \infty

$k(n) \rightarrow \infty$

n

$n$

de.

n^{ω + o (1)}

$n^{\omega+o(1)}$

— David Harris

Daha genel olarak, işlemci başına belleğindeki işlemcilerde hızlı matris çarpımı yapılabilir . Bununla birlikte, işlemciler arasındaki iletişim yetersizdir. Daha fazla bellek kullanılarak optimum iletişim sağlanabilir. Bildiğim kadarıyla, optimal iletişimin ve optimal belleğin aynı anda elde edilip edilemeyeceği bilinmemektedir. Ayrıntılar http://dx.doi.org/10.1007/PL00008264 $p$ $O(n^2/p)$

— Alexander Tiskin
kaynak