Чи обчислення хеша для MD5 менш інтенсивно, ніж функції сім'ї SHA?

115

Чи обчислюється хеш-пам'ять MD5 менш інтенсивно, ніж SHA-1 або SHA-2 на "стандартному" обладнанні ноутбука x86? Мене цікавить загальна інформація, не характерна для певного чіпа.

ОНОВЛЕННЯ: У моєму випадку мені цікаво обчислити хеш файлу. Якщо розмір файлу має значення, припустимо його 300K.

— Мік
джерело

Це не відповідь на ваше запитання, але прихильники Скейна висунули його швидкість, і це, звичайно, не слабше, ніж MD5 на кінець терміну життя. У повідомленнях, які ви маєте, хеш дуже короткий, швидкість може бути недоліком криптографічної хеш-функції (зокрема, наскільки швидко хтось може її реалізувати, а не як швидко вона працює на вашому ноутбуці). schneier.com/skein1.2.pdf

— Паскаль Куок

4

@Pascal: Skein не найшвидший з кандидатів SHA-3, хоча, особливо на 32-бітних платформах. На 64-бітному x86 Skein досягає близько 300 МБ / с (Skein-512 дещо швидше, ніж Skein-256), що порівняно з SHA-1, але в 32-бітному режимі продуктивність падає до менш ніж 60 Мб / s, вдвічі повільніше, ніж SHA-256. З іншого боку, SHABAL, ще один кандидат SHA-3, пропонує продуктивність, аналогічну SHA-1, як на 32-бітній, так і на 64-бітній платформах.

— Томас Порнін

123

Так, MD5 дещо менш інтенсивно працює на процесорі. У моєму Intel x86 (Core2 Quad Q6600, 2,4 ГГц, використовуючи одне ядро), я отримую це в 32-бітному режимі:

MD5       411
SHA-1     218
SHA-256   118
SHA-512    46

і це в 64-бітному режимі:

MD5       407
SHA-1     312
SHA-256   148
SHA-512   189

Цифри знаходяться в мегабайтах в секунду, для "довгого" повідомлення (це те, що ви отримуєте для повідомлень довше 8 кБ). Це з sphlib , бібліотекою реалізацій хеш-функцій у C (та Java). Усі реалізації від одного автора (мене) і були зроблені з порівнянними зусиллями при оптимізації; Таким чином, різниці швидкостей можна вважати справді невід'ємними для функцій.

Для порівняння врахуйте, що останній жорсткий диск буде працювати при швидкості близько 100 МБ / с, а все, що використовується через USB, перевищить 60 Мб / с. Незважаючи на те, що SHA-256 тут видається "повільним", він досить швидкий для більшості цілей.

Зауважте, що OpenSSL включає 32-бітну реалізацію SHA-512, яка є досить швидкою, ніж мій код (але не настільки швидка, як 64-розрядна SHA-512), тому що реалізація OpenSSL знаходиться у збірці та використовує регістри SSE2, що не може Здійснюється на простоті C. SHA-512 є єдиною функцією серед тих чотирьох, яка отримує переваги від реалізації SSE2.

Редагувати: на цій сторінці ( архіві ) можна знайти звіт про швидкість багатьох хеш-функцій (натисніть на посилання "Telechargez maintenant"). Звіт є французькою мовою, але він здебільшого наповнений таблицями та номерами, а цифри - міжнародними. Реалізовані хеш-функції не включають кандидатів SHA-3 (крім SHABAL), але я працюю над цим.

— Томас Порнін
джерело

2

Я не думаю, що ваші орієнтири корисні. Порівняння швидкості двох алгоритмів на основі еквівалентної, але неповної оптимізації не має значення. У реальному світі ви не робите власну реалізацію, а натомість використовуєте повністю оптимізовані реалізації. Результати з них - це те, з чим слід порівнювати.

— Едвард Брей

10

@EdwardBrey Насправді вони досить близькі до того, що вони повністю оптимізовані. Насправді його реалізація md5 працює набагато швидше, ніж пропонується OpenSSL, тому не кожна реалізація буде оптимізована в "реальному світі", як ви кажете. Крім того, хоча вони не є ідеальними (ви маєте рацію з цим), вони служать ідеальною відповіддю на це питання.

— Gaspa79

50

У моєму MacBook Air 2012 року (Intel Core i5-3427U, 2x 1,8 ГГц, 2,8 ГГц Turbo) SHA-1 трохи швидше, ніж MD5 (використовуючи OpenSSL в 64-бітному режимі):

$ openssl speed md5 sha1
OpenSSL 0.9.8r 8 Feb 2011
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              30055.02k    94158.96k   219602.97k   329008.21k   384150.47k
sha1             31261.12k    95676.48k   224357.36k   332756.21k   396864.62k

Оновлення: через 10 місяців з ОС X 10.9, SHA-1 повільніше на цій же машині:

$ openssl speed md5 sha1
OpenSSL 0.9.8y 5 Feb 2013
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              36277.35k   106558.04k   234680.17k   334469.33k   381756.70k
sha1             35453.52k    99530.85k   206635.24k   281695.48k   313881.86k

Друге оновлення: на OS X 10.10 швидкість SHA-1 повертається до рівня 10,8:

$ openssl speed md5 sha1
OpenSSL 0.9.8zc 15 Oct 2014
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              35391.50k   104905.27k   229872.93k   330506.91k   382791.75k
sha1             38054.09k   110332.44k   238198.72k   340007.12k   387137.77k

Третє оновлення: OS X 10.14 з LibreSSL набагато швидше (все ще на одній машині). SHA-1 все ще виходить вгорі:

$ openssl speed md5 sha1
LibreSSL 2.6.5
The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              43128.00k   131797.91k   304661.16k   453120.00k   526789.29k
sha1             55598.35k   157916.03k   343214.08k   489092.34k   570668.37k

— nwellnhof
джерело

2

дивно, моє повітря таке саме, як у вас, і я отримав протилежні результати порівняння. з 8192 байтами: md5 305549.52k; sha1 204668.57k

— Карлос Фонтес

3

Хм, я також отримую інші результати, ніж минулого року на одній машині: md5 381756.70k, sha1 313881.86k. Можливо, через оновлення до 10,9 (OpenSSL 0.9.8y).

— nwellnhof

6

Це чудова відповідь. це демонструє вам турботу. дякую людині за обмін

— M

13

Справжня відповідь: Це залежить

Є кілька факторів, які слід врахувати, найбільш очевидними є: процесор, на якому ви запускаєте ці алгоритми, та реалізація алгоритмів.

Наприклад, я та мій друг запускаємо абсолютно таку ж версію openssl та отримуємо трохи інші результати при різних процесорах Intel Core i7.

Мій тест на роботі з процесорним процесором Intel (R) i7-2600 процесора @ 3,40 ГГц

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              64257.97k   187370.26k   406435.07k   576544.43k   649827.67k
sha1             73225.75k   202701.20k   432679.68k   601140.57k   679900.50k

І його з процесором Intel (R) i7 i7 CPU 920 при 2,67 ГГц

The 'numbers' are in 1000s of bytes per second processed.
type             16 bytes     64 bytes    256 bytes   1024 bytes   8192 bytes
md5              51859.12k   156255.78k   350252.00k   513141.73k   590701.52k
sha1             56492.56k   156300.76k   328688.76k   452450.92k   508625.68k

Ми обидва працюємо з тими самими бінарними файлами OpenSSL 1.0.1j 15 жовтня 2014 року з офіційного пакету ArchLinux.

Моя думка з цього приводу полягає в тому, що завдяки додатковій безпеці sha1 дизайнери процесорів швидше покращують швидкість sha1, і більше програмістів буде працювати над оптимізацією алгоритму, ніж md5sum.

Я думаю, що md5 більше не буде використовуватися якийсь день, оскільки, здається, він не має переваги перед sha1. Я також перевіряв деякі випадки на реальних файлах, і результати завжди були однаковими в обох випадках (ймовірно, обмежені введенням / виведенням диска).

md5sum великого 4,6 ГБ файлу займав точно той же час, ніж sha1sum того ж файлу, те саме стосується багатьох малих файлів (488 в тій самій директорії). Я проходив тести десяток разів, і вони постійно отримували однакові результати.

-

Це було б дуже цікаво дослідити далі. Я думаю, що є деякі фахівці, які можуть дати чітку відповідь на те, чому sha1 стає швидше, ніж md5 на нових процесорах.

— Джонріда
джерело

6

Вам серйозно потрібно придбати SSD (та / або видалити McAfee) :)

— Maarten Bodewes

1

@owlstead блін, я забув, щоб вимкнути "повільний режим" моїх ящиків Linux, коли я спробував це.

— Johnride

4

@Johnride, не орієнтуйтеся на файл. Запустіть його з даних у пам'яті або навіть простіше просто повторно пройдіть те саме значення.

— Робіно

1

@Robino саме це openssl speedробить, що є першим і найбільш значимим орієнтиром.

— Джонріда

1

MD5 також виграє від використання SSE2, перевірте BarsWF, а потім скажіть мені, що цього немає. Все, що потрібно, - це трохи знань про асемблер, і ви можете скласти власну рутину MD5 SSE2. Однак для великої кількості пропускної здатності відбувається компроміс швидкості під час хешування, на відміну від часу, витраченого на перестановку вхідних даних, сумісних із інструкціями SIMD, що використовуються.

— Боб будівельник
джерело

3

На перший погляд не ясно, чи використовується SSE2 для прискорення однієї нитки MD5 або для сполучення декількох паралельних потоків MD5; останній, звичайно, легкий для більшості алгоритмів, але це не вважається корисним для SSE2, оскільки зазвичай потрібен єдиний потік даних.

— лапо

0

sha1sum досить швидкий на Power9, ніж md5sum

$ uname -mov
#1 SMP Mon May 13 12:16:08 EDT 2019 ppc64le GNU/Linux

$ cat /proc/cpuinfo
processor       : 0
cpu             : POWER9, altivec supported
clock           : 2166.000000MHz
revision        : 2.2 (pvr 004e 1202)

$ ls -l linux-master.tar
-rw-rw-r-- 1 x x 829685760 Jan 29 14:30 linux-master.tar

$ time sha1sum linux-master.tar
10fbf911e254c4fe8e5eb2e605c6c02d29a88563  linux-master.tar

real    0m1.685s
user    0m1.528s
sys     0m0.156s

$ time md5sum linux-master.tar
d476375abacda064ae437a683c537ec4  linux-master.tar

real    0m2.942s
user    0m2.806s
sys     0m0.136s

$ time sum linux-master.tar
36928 810240

real    0m2.186s
user    0m1.917s
sys     0m0.268s

— Б Абалі
джерело