Flop sayımı ile algoritmik analiz yapmak eski mi?

Sayısal analiz kurslarımda, problemin büyüklüğüne göre ihtiyaç duydukları kayan nokta işlemlerinin (floplar) sayısını sayarak algoritmaların verimini analiz etmeyi öğrendim. Örneğin, Trefethen & Bau'nun Sayısal Doğrusal Cebir'deki metninde flop sayımlarının 3B görünümlü resimleri bile var.

Şimdi "floplar ücretsiz" demek modaya uygun, çünkü önbellekte olmayan herhangi bir şeyi almak için hafıza gecikmesi bir flop maliyetinden çok daha büyük. Ama yine de öğrencilere flop saymalarını öğretiyoruz, en azından sayısal analiz derslerinde. Onlara hafıza erişimini saymalarını öğretmeli miyiz? Yeni ders kitapları yazmamız gerekiyor mu? Yoksa bellek erişimi, zaman harcayacak kadar makineye özgü mü? Flop veya hafıza erişiminin tıkanıklık olup olmadığına dair uzun vadeli eğilim ne olacak?

Not: Aşağıdaki yanıtlardan bazıları, "Birkaç flop tasarrufu yapmak veya önbellek performansını artırmak için uygulamamı saplantılı olarak yeniden yazmalı mıyım?" Gibi farklı bir soruyu cevaplıyor gibi görünüyor. Ancak sorduğum şey, " Aritmetik işlemler veya hafıza erişimleri açısından algoritmik karmaşıklığı tahmin etmek daha mı faydalı ?"

$\beta$$F_{\mathrm{max}}$$B_{\mathrm{max}}$$\frac{F_{\mathrm{max}}}{\beta} > B_{\mathrm{max}}$$B_{\mathrm{max}}\beta > F_{\mathrm{max}}$

Bellek erişimini saymanın zorunlu olduğunu düşünüyorum, ancak şunu da düşünmeliyiz:

• Ne kadar yerel hafıza gerekli

• Ne kadar olası eşzamanlılık var

Ardından, modern donanım için algoritmaları analiz etmeye başlayabilirsiniz.

$O(N^4)$$O(N)$$O(N \log N)$$O(N^2)$

Daha geniş bir perspektiften, algoritmik performans analizinin "her şey dahil" olması gerektiğini düşünüyorum. İnsanlara gerçek HPC geliştiricileri ve kullanıcıları olmalarını öğretiyorsak, gerçek dünyadaki programlamanın maliyetini anlamaları gerekir. Sahip olduğumuz soyut analiz modelleri programcının zamanını dikkate almıyor. Flop sayıları ve algoritmik verimlilikten ziyade "toplam çözüm zamanı" anlamında düşünmeliyiz. Birkaç milyon hesaplama yapmayı planlamıyorsanız, bilgisayar başına bir saniyelik zaman kazandıracak bir rutini yeniden yazmak için üç veya dört programcı günü harcamak çok mantıklı değildir. Benzer şekilde, bir veya iki saatlik hesaplama süresinden tasarruf etmek için yapılan birkaç günlük yatırım çabucak karşılığını verir. Bu yeni algoritma şaşırtıcı olabilir,

Diğerlerinin de belirttiği gibi, cevap elbette darboğazın CPU mu yoksa hafıza bant genişliği mi olduğuna bağlı. Rasgele boyutta bazı veri kümelerinde çalışan birçok algoritma için, darboğaz genellikle veri kümesi CPU önbelleğine sığmadığından bellek bant genişliğidir.

Dahası, Knuth, bellek erişim analizinin zaman testine dayanma ihtimalinin yüksek olduğunu, muhtemelen modern CPU boru hatlarının ve şube tahminlerinin karmaşıklığı ile karşılaştırıldığında nispeten basit (hatta önbellek dostu olduğu göz önüne alındığında bile) olduğunu belirtti.

Knuth , BDD'leri analiz ederken TAOCP'nin 4A Birimindeki gigamemleri kullanır . Önceki ciltlerde kullanıp kullanmadığından emin değilim. 2010'daki yıllık Noel Ağacı Dersi'nde zamanın testine dayanmakla ilgili söz konusu yorumu yaptı.

İlginçtir, Yapıyorsun Yanlış , bellek işlemlerine dayanan performansı analiz etmenin bile, verilerin bir kerede fiziksel RAM'e sığmaması durumunda ortaya çıkan VM baskısı gibi unsurlar olduğu için her zaman kolay olmadığını göstermektedir.

Bir algoritmanın maliyetini nasıl belirleyeceğiniz, hangi bilimsel bilgi işlem seviyesinin çalıştığınıza ve hangi (dar veya geniş) problem sınıfını düşündüğünüze bağlıdır.

Önbellek optimizasyonu hakkında düşünürseniz, bu, örneğin BLAS ve benzeri kütüphaneler gibi sayısal lineer cebir paketlerinin uygulanması ile açıkça ilgilidir. Dolayısıyla bu düşük seviye optimizasyona aittir ve belirli bir problem için ve girdi üzerinde yeterli kısıtlamalara sahip sabit bir algoritmanız varsa, sorun yoktur. Örneğin, Önbellek optimizasyonu, eğer matrisin yeterince seyrek olacağına söz verilirse, eşlenik gradyan yinelemesinin hızlı bir şekilde uygulanması ile ilgili olabilir.

Öte yandan, sorun sınıfı ne kadar genişse, gerçek hesaplamada o kadar az tahmin edersiniz (örneğin, CG uygulamanızın giriş matrislerinin ne kadar seyrek olacağını bilmiyorsunuz gibi). Programınızın çalışması gereken makinelerin sınıfı ne kadar genişse, Önbellek mimarisinde o kadar az öngörüde bulunabilirsiniz.

Ayrıca, daha yüksek düzeyde bir bilimsel hesaplamada, problem yapısını değiştirmek daha uygun olabilir. Örneğin, doğrusal bir denklem sistemi için iyi bir önkoşullayıcı bulmak için zaman harcıyorsanız, bu tür bir optimizasyon genellikle düşük seviyeli optimizasyonları atar, çünkü yineleme sayısı büyük ölçüde azalır.

Sonuç olarak, önbellek optimizasyonu yalnızca, asimptotik FLOP sayılarının paralelliği ve azalması ile optimize edilecek hiçbir şey kalmadığında yararlıdır.

Teorik bilgisayar bilimi duruşunu uyarlamanın akıllıca olacağını düşünüyorum: Sonunda, bir algoritmanın asimptotik karmaşıklığını geliştirmek, varolan bazı kod satırlarının mikro-optimizasyonundan daha fazla geri dönüşe sahip. Bu nedenle FLOP sayımı hala tercih edilmektedir.

Her zaman flopları saymayı, hafızaya erişimi ya da her neye sahip olduğunuzu düşünmeyi reddettim. Bu, 1960'larda yaptığınız ve neredeyse yaptığınız şeyin sadece algoritmik optimizasyona bağlı olduğu bir kavram. Jacobi yinelemesinin her ikisini de ortadan kaldırarak, bir sonlu eleman problemini düzgün bir xyz ağında çözmeyi düşünün.

Şimdi, cehenneme optimize edebilir ve çalışma süresinin% 10'unu alarak birkaç floptan tasarruf edebilirsiniz. Veya, çalışma süresinde 10'luk bir faktör alarak, multigrid bir metot ve optimal bir blok ön şartlandırıcı kullanmayı düşünebilirsiniz. Öğrencilerimizi yapmaları için eğitmemiz gereken şey budur - daha iyi bir iç algoritma bulmaya çalışırken size hangi karmaşık, dış algoritmaların size kazandırdığını düşünün. Patronunuz (Keyes), MHD hesaplamalarında bu noktayı oldukça belirgin hale getiren bu slaytları sürdürmektedir.

Evet, eski. Floplar veya başka herhangi bir yöntemle yapılan algoritmik analiz, eldeki problemin büyüklüğü göz önüne alındığında, makinenin soyut modeli kadar faydalıdır. Gerçek performans hem uygulamaya hem de donanıma bağlıdır ve herhangi bir soyut modelin gerçekliğe uygulanabilirliği zamanla azalmaktadır. Örneğin, moleküler dinamikler gibi karmaşık bir algoritmanın uygulanmasını daha da paralel hale getirdiğinizde, farklı özellikler farklı donanımlarda hızı sınırlandırır ve algoritmik analizin gözlemlerle ilgisi yoktur. Bir anlamda, önemli olan tek şey, algoritmaların / uygulamaların uygulanmasının söz konusu donanım türleri üzerindeki performansını ölçmektir.

Bu tür soyutlamalar bir öğrenme aracı olarak faydalı mıdır? Evet, öğretim için kullanılan birçok model gibi, modelin sınırlarını anlamanın yanı sıra yerleştirildikleri sürece faydalıdırlar. Klasik mekanik, küçük mesafeli veya büyük hızlı skalalarda çalışmadığını takdir ettiğiniz sürece gayet iyi ...

Sorunuzu gerçekten cevaplamıyor, fakat dikkate alınması gereken başka bir değişken daha eklemek: dikkate alınması gereken bir şey de programlama dilinin özellikleri. Örneğin, Python's sort, Python nesneleri için potansiyel olarak yavaş olabilecek karşılaştırma sayısını en aza indirmek için tasarlanmış (diğer iyi özelliklerin yanı sıra) tasarlanmış Timsort algoritmasını kullanır . Öte yandan, iki kayan noktayı karşılaştırmak C ++ 'da hızlı bir şekilde cayır cayır yanıyor, ancak takas etmek daha pahalı, bu yüzden başka algoritmalar kullanıyorlar.

Diğer örnekler, dinamik bellek tahsisidir (Python listesinde önemsizdir, hem çalışma zamanında hem de geliştirici zamanında hızlıdır .append()), FORTRAN veya C, uygun şekilde uygulandığında mümkün ve hızlı olsa da, önemli ölçüde daha fazla programlama zamanı ve beyin gerektirir. Python'un FORTRAN'dan daha hızlı olduğunu görün .