MD5 karmasının hesaplanması, SHA ailesi işlevlerinden daha az CPU mu kullanıyor?

115

MD5 karmasının hesaplanması, "standart" dizüstü x86 donanımında SHA-1 veya SHA-2'den daha az CPU mu kullanıyor? Belirli bir çipe özgü olmayan genel bilgilerle ilgileniyorum.

GÜNCELLEME: Benim durumumda, bir dosyanın karmasını hesaplamakla ilgileniyorum. Dosya boyutu önemliyse, 300K olduğunu varsayalım.

— Mick
kaynak

Bu sorunuzun cevabı değil, ancak Skein'in savunucuları hızını ileri sürdüler ve şu anda kesinlikle yaşam sonu MD5'ten daha zayıf değil. Karıştırmanız gereken mesajlarda çok kısa, hız kriptografik bir hash işlevi için bir dezavantaj olabilir (özellikle, başka birinin onu ne kadar hızlı uygulayabileceği, dizüstü bilgisayarınızda ne kadar hızlı çalıştığı değil). schneier.com/skein1.2.pdf

— Pascal Cuoq

4

@Pascal: Skein, SHA-3 adaylarının en hızlısı değil, özellikle 32 bit platformlarda. 64-bit x86'da Skein, SHA-1 ile karşılaştırılabilir olan yaklaşık 300 MB / s'ye ulaşır (Skein-512, Skein-256'dan biraz daha hızlıdır), ancak 32-bit modunda, performans 60 MB / s'nin altına düşer. s, SHA-256'dan iki kat daha yavaş. Öte yandan, başka bir SHA-3 adayı olan SHABAL, hem 32-bit hem de 64-bit platformlarda SHA-1'e benzer performans sunuyor.

— Thomas Pornin

123

Evet, MD5 biraz daha az CPU-yoğun. Intel x86'mda (Core2 Quad Q6600, 2,4 GHz, tek çekirdekli), bunu 32 bit modunda alıyorum:

MD5       411
SHA-1     218
SHA-256   118
SHA-512    46

ve bu 64 bit modunda:

MD5       407
SHA-1     312
SHA-256   148
SHA-512   189

Rakamlar, "uzun" bir mesaj için saniyede megabayt cinsindendir (8 kB'den uzun mesajlar için elde ettiğiniz şey budur). Bu, C (ve Java) 'daki karma işlev uygulamaları kütüphanesi olan sphlib ile . Tüm uygulamalar aynı yazara (ben) aittir ve optimizasyonlarda karşılaştırılabilir çabalarla yapılmıştır; bu nedenle hız farkları, işlevlere gerçekten içkin olarak düşünülebilir.

Bir karşılaştırma noktası olarak, yeni bir sabit diskin yaklaşık 100 MB / sn hızında çalışacağını ve USB üzerindeki herhangi bir şeyin 60 MB / sn'nin altına düşeceğini düşünün. SHA-256 burada "yavaş" görünse de, çoğu amaç için yeterince hızlıdır.

Not o OpenSSL bir 32 bit uygulama da dahildir SHA-512 kodumu göre oldukça hızlıdır (ancak hızlı 64 bit SHA-512 gibi), OpenSSL uygulama montaj olduğunu ve SSE2 kayıtlar kullanmakta, çünkü bir şey hangi yapamam düz C'de yapılabilir. SHA-512, bir SSE2 uygulamasından yararlanan dört işlev arasında tek işlevdir.

Düzenleme: üzerine bu sayfayı ( arşiv ), bir çok hash fonksiyonları hızına ilişkin bir rapor bulabilirsiniz ( "Telechargez maintenant" bağlantısını tıklayın). Rapor Fransızca'dır, ancak çoğunlukla tablolar ve sayılarla doludur ve sayılar uluslararasıdır. Uygulanan hash fonksiyonları SHA-3 adaylarını (SHABAL hariç) içermiyor ama üzerinde çalışıyorum.

— Thomas Pornin
kaynak

2

Kriterlerinizin yararlı olduğunu sanmıyorum. Eşdeğer ancak eksik optimizasyona dayalı iki algoritmanın hız karşılaştırması konu dışıdır. Gerçek dünyada, kendi uygulamanızı yerine getirmezsiniz, bunun yerine tamamen optimize edilmiş uygulamaları kullanırsınız. Bunların sonuçları karşılaştırılması gerekenler.

— Edward Brey

10

@EdwardBrey Aslında bunlar tamamen optimize edilmeye oldukça yakın. Aslında, onun md5 uygulaması, OpenSSL'nin sunduğundan çok daha hızlı çalışıyor, bu nedenle her uygulama sizin de söylediğiniz gibi "gerçek dünyada" optimize edilmeyecektir. Ayrıca, bunlar mükemmel olmasa da (bu konuda haklısınız), bu özel soruya mükemmel bir cevap olarak hizmet ediyorlar.

— Gaspa79

50

2012 MacBook Air'imde (Intel Core i5-3427U, 2x 1.8 GHz, 2.8 GHz Turbo) SHA-1, MD5'ten biraz daha hızlıdır (64-bit modunda OpenSSL kullanarak):

$ openssl speed md5 sha1
OpenSSL 0.9.8r 8 Feb 2011
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              30055.02k    94158.96k   219602.97k   329008.21k   384150.47k
sha1             31261.12k    95676.48k   224357.36k   332756.21k   396864.62k

Güncelleme: 10 ay sonra OS X 10.9 ile SHA-1 aynı makinede yavaşladı:

$ openssl speed md5 sha1
OpenSSL 0.9.8y 5 Feb 2013
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              36277.35k   106558.04k   234680.17k   334469.33k   381756.70k
sha1             35453.52k    99530.85k   206635.24k   281695.48k   313881.86k

İkinci güncelleme: OS X 10.10'da, SHA-1 hızı 10.8 seviyesine geri döndü:

$ openssl speed md5 sha1
OpenSSL 0.9.8zc 15 Oct 2014
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              35391.50k   104905.27k   229872.93k   330506.91k   382791.75k
sha1             38054.09k   110332.44k   238198.72k   340007.12k   387137.77k

Üçüncü güncelleme: LibreSSL ile OS X 10.14 çok daha hızlıdır (hala aynı makinede). SHA-1 hala zirvede:

$ openssl speed md5 sha1
LibreSSL 2.6.5
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              43128.00k   131797.91k   304661.16k   453120.00k   526789.29k
sha1             55598.35k   157916.03k   343214.08k   489092.34k   570668.37k

— nwellnhof
kaynak

2

tuhaf, benim havam seninki ile aynı ve karşıt karşılaştırma sonuçları aldım. 8192 bayt ile: md5 305549.52k; sha1 204668.57k

— Carlos Fontes

3

Hmm, aynı makinede geçen yıldan farklı sonuçlar alıyorum: md5 381756.70k, sha1 313881.86k. Belki 10.9'a (OpenSSL 0.9.8y) yükseltme nedeniyle.

— nwellnhof

6

Bu harika bir cevap. önemsediğini gösterir. paylaşım için teşekkürler dostum

— M at

13

Gerçek cevap: Duruma göre değişir

Dikkate alınması gereken birkaç faktör var, en bariz olanları: bu algoritmaları çalıştırdığınız işlemci ve algoritmaların uygulanması.

Örneğin, ben ve arkadaşım aynı openssl sürümünü çalıştırıyor ve farklı Intel Core i7 cpus ile biraz farklı sonuçlar elde ediyor.

Testim Intel (R) Core (TM) i7-2600 CPU @ 3.40GHz ile iş başında

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              64257.97k   187370.26k   406435.07k   576544.43k   649827.67k
sha1             73225.75k   202701.20k   432679.68k   601140.57k   679900.50k

Ve onunki Intel (R) Core (TM) i7 CPU 920 @ 2.67GHz ile

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              51859.12k   156255.78k   350252.00k   513141.73k   590701.52k
sha1             56492.56k   156300.76k   328688.76k   452450.92k   508625.68k

İkimiz de ArchLinux resmi paketinden 15 Ekim 2014 OpenSSL 1.0.1j'nin aynı ikili dosyalarını çalıştırıyoruz.

Bu konudaki fikrim, sha1'in ek güvenliği ile cpu tasarımcılarının sha1'in hızını artırma olasılığının daha yüksek olduğu ve algoritmanın optimizasyonu üzerinde md5sum'dan daha fazla programcının çalışacağı yönünde.

Sanırım sha1'e göre bir avantajı yok gibi göründüğü için md5 bir gün kullanılmayacak. Bazı vakaları gerçek dosyalarda da test ettim ve sonuçlar her iki durumda da hep aynıydı (muhtemelen disk G / Ç ile sınırlı).

4.6 GB büyüklüğünde bir dosyanın md5 toplamı, aynı dosyanın sha1 toplamı ile tam olarak aynı zamanı aldı; aynı, birçok küçük dosyada (aynı dizinde 488) geçerli. Testleri bir düzine kez yaptım ve tutarlı bir şekilde aynı sonuçları alıyorlardı.

-

Bunu daha fazla araştırmak çok ilginç olurdu. Sanırım etrafta sha1'in neden yeni işlemcilerde md5'ten daha hızlı hale geldiğine sağlam bir cevap verebilecek bazı uzmanlar var.

— Johnride
kaynak

6

Cidden bir SSD satın almanız (ve / veya McAfee'yi kaldırmanız) gerekiyor :)

— Maarten Bodewes

1

@owlstead kahretsin Bunu denediğimde Linux kutularının "yavaş modunu" kapatmayı unuttum.

— Johnride

4

@Johnride, bir dosyadan kıyaslama yapma. Bellekteki verilerden çalıştırın veya daha basit bir şekilde aynı değeri yeniden çalıştırın.

— Robino

1

@Robino ne openssl speedyapar, bu da ilk ve en anlamlı kriterdir.

— Johnride

1

MD5 ayrıca SSE2 kullanımından da yararlanıyor, BarsWF'yi kontrol edin ve bana bunun olmadığını söyleyin. Tek yapmanız gereken biraz montajcı bilgisidir ve kendi MD5 SSE2 rutin (ler) inizi oluşturabilirsiniz. Bununla birlikte, büyük miktarlarda iş hacmi için, kullanılan SIMD talimatlarıyla uyumlu olacak şekilde giriş verilerinin yeniden düzenlenmesi için harcanan zamanın aksine, karma işlemi sırasında hızda bir değiş tokuş vardır.

— inşaatçı Bob
kaynak

3

İlk bakışta, SSE2'nin bir MD5 iş parçacığını hızlandırmak veya birkaç paralel MD5 iş parçacığını eşleştirmek için kullanılıp kullanılmadığı net değildir ; ikincisi elbette çoğu algoritma için kolaydır, ancak bu, SSE2'den yararlanma olarak sayılmaz, çünkü genellikle ihtiyaç duyulan tek bir veri akışıdır.

— lapo

0

sha1sum, Power9'da md5sum'dan biraz daha hızlıdır

$ uname -mov
#1 SMP Mon May 13 12:16:08 EDT 2019 ppc64le GNU/Linux

$ cat /proc/cpuinfo
processor       : 0
cpu             : POWER9, altivec supported
clock           : 2166.000000MHz
revision        : 2.2 (pvr 004e 1202)

$ ls -l linux-master.tar
-rw-rw-r-- 1 x x 829685760 Jan 29 14:30 linux-master.tar

$ time sha1sum linux-master.tar
10fbf911e254c4fe8e5eb2e605c6c02d29a88563  linux-master.tar

real    0m1.685s
user    0m1.528s
sys     0m0.156s

$ time md5sum linux-master.tar
d476375abacda064ae437a683c537ec4  linux-master.tar

real    0m2.942s
user    0m2.806s
sys     0m0.136s

$ time sum linux-master.tar
36928 810240

real    0m2.186s
user    0m1.917s
sys     0m0.268s

— B Abali
kaynak