Чому чіп Haswell від Intel дозволяє множині FP бути вдвічі швидшим за додавання?

Я читав це дуже цікаве запитання на темі Stack Overflow:

Чи дійсно множинне множення дійсно робиться з тією ж швидкістю, що і додавання в сучасному процесорі?

В одному з коментарів сказано:

"Нічого не варто, що на Haswell пропускна здатність множення FP вдвічі перевищує FP-додавання. Це тому, що обидва порти 0 і 1 можна використовувати для множення, але для додавання можна використовувати лише порт 1. - багаторазово додає, оскільки обидва порти можуть це робити. "

Чому саме вони дозволяли б удвічі більше одночасних множень порівняно з додаванням?

Це, можливо, відповідає заголовку питання, якщо не органу:

Додавання з плаваючою точкою вимагає вирівнювання двох мантіс перед додаванням їх (залежно від різниці між двома експонентами), потенційно вимагаючи великої змінної величини зсуву перед суматором. Тоді може знадобитися перенормування результату додавання мантіси, що потенційно потребує ще однієї великої змінної величини зсуву, щоб правильно форматувати результат плаваючої точки. Таким чином, два ствольні перемикачі мантіси потенційно потребують більшої затримки на затворі, більшої затримки дроту або додаткових циклів, що перевищують затримку переднього кінця мультиплікатора, що переносить добре-утримує-додає дерево.

Додано до ОП: Зауважте, що додавання довжини 2 міліметри та 2 кілометри не є 4 з жодної одиниці. Це через необхідність перетворення того чи іншого вимірювання в ту саму шкалу або представлення одиниці перед додаванням. Це перетворення вимагає, по суті, множення на деяку потужність 10. Те ж саме зазвичай має відбуватися під час додавання плаваючої точки, тому що числа з плаваючою комою є формою цілочисленних змінних масштабів (наприклад, є одиниця або масштабний коефіцієнт, показник, пов'язаний з кожне число). Тому вам може знадобитися масштабувати одне з чисел потужністю 2, перш ніж додавати необроблені біти мантіси, щоб обидва представляли однакові одиниці чи масштаб. Це масштабування по суті є простою формою множення на потужність 2. Таким чином, додавання плаваючої точки вимагає множення(що, маючи потужність 2, може бути виконано зі змінним бітовим зсувом або стовбуровим перемикачем, що може вимагати відносно довгих проводів по відношенню до розмірів транзисторів, що може бути відносно повільним у глибоких субмікронних літографічних схемах). Якщо два числа в основному скасовуються (оскільки одне майже негативне значення іншого), можливо, виникає необхідність змінити масштаб результату додавання, а також відповідного форматування результату. Таким чином, додавання може бути повільним, якщо додатково потрібно 2 етапи множення (до і після) кроків, що оточують двійкове додавання необробленої (кінцевої) кількості бітів мантіси, що представляють еквівалентні одиниці або масштаби, в силу характеру формату числа (плаваюча точка IEEE ).

Додано №2: Крім того, багато контрольних показників мають вагу FMACS (множиться-накопичується) більше, ніж голі. У злитому MAC вирівнювання (зсув) додавання часто може здійснюватися здебільшого паралельно множенням, а додавання мантіси часто може бути включено до дерева CSA перед остаточним розповсюдженням перенесення.

При множенні FP обробка експонентів виявляється простим доповненням (точно з тієї ж причини, що множення в домені журналу - лише додавання). Ви натрапили на логарифми, сподіваюся.

А тепер подумайте, як складно додати два числа в логарифмічній формі ...

Плаваюча точка населяє сіру область між лінійним і журнальним доменами, з аспектами обох. Кожне число FP містить мантісу (яка лінійна) та (логарифмічний) показник. Щоб визначити значення кожного біта в мантісі, спочатку потрібно подивитися експонент (який є лише коефіцієнтом масштабу).

Крім того, FP, обробка експонентів у загальному випадку вимагає зміщення бочки мантіси вдвічі, де кожен зсув стовбура фактично є окремим випадком дещо спрощеного множення.

(Перший зсув вирівнює обидва входи з однаковою потужністю 2, так що біт мантіси має однакову бінарну вагу в кожному операнді.

Десяткового прикладу буде достатньо (хоча, очевидно, використовується двійковий) ...

Другий повторно масштабує вихід ...

Як не парадоксально, додаток FP передбачає щось дуже схоже на два множення, які повинні бути виконані послідовно, з додаванням мантіси між ними. У такому світлі звітність про діяльність не настільки дивна.

TL: DR : оскільки Intel вважає, що затримка додавання SSE / AVX FP важливіша, ніж пропускна здатність, вони вирішили не запускати її на підрозділах FMA в Haswell / Broadwell.

Haswell запускає (SIMD) FP множиться на тих самих одиницях виконання, що і FMA ( Fused Multiply-Add ), з яких їх два, оскільки деякий FP-інтенсивний код може використовувати в основному FMA, щоб зробити 2 FLOP за інструкцію. Затримка 5 циклів як у FMA, так і в mulpsпопередніх процесорах (Sandybridge / IvyBridge). Haswell хотів 2 FMA-одиниці, і немає недоліків дозволити множині працювати, тому що вони однакові затримки, як і присвячений одиниці множення в попередніх процесорах.

Але він зберігає виділений SIMD FP-модуль для додавання з попередніх процесорів, як і раніше, запуск addps/ addpdз 3 циклом затримки. Я читав, що можливим міркуванням може бути той код, який робить багато FP додає тенденцію до вузького місця затримки, а не пропускної здатності. Це, безумовно, справедливо для наївної суми масиву, що має лише один (векторний) акумулятор, як ви часто отримуєте від автоматичної векторизації GCC. Але я не знаю, чи Intel публічно підтвердив, що це було їх міркуванням.

Бродуелл такий же ( алеmulpsmulpd затримка / до 3с затримки, коли FMA залишився на рівні 5с). Можливо, їм вдалося скоротити підрозділ FMA і отримати результат множення, перш ніж робити додавання фіктивних записів 0.0, або, можливо, щось зовсім інше, і це занадто спрощено. BDW здебільшого зменшується на ТВС, більшість змін є незначними.

У Skylake все FP (включаючи додавання) працює на блоці FMA з 4 циклами затримки та 0,5 пропускної здатності, за винятком звичайно div / sqrt та побітових булевих (наприклад, для абсолютного значення чи заперечення). Intel, очевидно, вирішила, що не варто додаткового кремнію для додавання FP з меншою затримкою або що незбалансована addpsпропускна здатність була проблематичною. А також стандартизація затримок дозволяє уникнути конфліктів при записі (коли в одному циклі готові 2 результати) простіше уникнути загального планування. тобто спрощує порти планування та / або завершення.

Так, так, Intel змінила це в наступній важливій редакції мікроархітектури (Skylake). Зменшення затримки FMA на 1 цикл зробило вигоду спеціалізованого модуля SIMD FP, що додає модуль набагато менше, для випадків, які обмежуються затримкою.

Skylake також показує ознаки того, що Intel готується до AVX512, де розширення окремої SIMD-FP-добавки до ширини 512 біт зайняло б ще більшу область відмирання. Як повідомляється, Skylake-X (з AVX512) має майже ідентичне ядро ​​для звичайного клієнта Skylake, за винятком більшого кешу L2 та (у деяких моделях) додаткового 512-бітового модуля FMA, "прикрученого" до порту 5.

SKX відключає порт 1 SIMD ALU, коли 512-бітні Uops знаходяться в польоті, але йому потрібен спосіб виконання vaddps xmm/ymm/zmmв будь-якій точці. Це зробило наявність спеціалізованого модуля ADD ADP на порт 1 проблемою і є окремою мотивацією для зміни від виконання існуючого коду.

Забавний факт: все від Skylake, KabyLake, Coffee Lake і навіть Cascade Lake були мікроархітектурно ідентичними Skylake, за винятком Cascade Lake, який додав нові інструкції AVX512. IPC не змінився інакше. Однак новіші процесори мають кращі iGPU. Крижане озеро (мікроархітектура Сонячного узбережжя) вперше за кілька років ми побачили фактично нову мікроархітектуру (за винятком ніколи широко випущеного озера Кеннон).

Аргументи, що ґрунтуються на складності підрозділу FMUL проти блоку FADD, є цікавими, але не актуальними в даному випадку . Підрозділ FMA включає в себе все необхідне обладнання для переміщення для того, щоб додати FP як частину FMA ¹ .

Примітка: я не маю на увазі fmulінструкцію x87 , я маю на увазі SSE / AVX SIMD / скалярний FP, помножуючи ALU, який підтримує 32-бітну одноточність / floatта 64-бітну doubleточність (53-бітне значення aka mantissa). наприклад інструкції, як mulpsабо mulsd. Фактичний 80-бітний x87fmul як і раніше лише 1 / тактова пропускна здатність на Haswell, на порту 0.

Сучасні процесори мають більш ніж достатньо транзисторів для вирішення проблем, коли це того варто , і коли це не спричиняє проблем із затримкою поширення на відстані фізичної відстані. Особливо для виконавчих підрозділів, які працюють лише деякий час. Дивіться https://en.wikipedia.org/wiki/Dark_silicon та цей документ про конференцію 2011 року: Темний кремній та кінець багатоядерного масштабування. Саме це дає можливість процесорам мати величезну пропускну здатність FPU та велику цілочисленну пропускну спроможність, але не обидва одночасно (адже ці різні одиниці виконання знаходяться в одних і тих же портах диспетчеризації, тому вони конкурують між собою). У великій кількості ретельно налаштованого коду, який не обмежує пропускну здатність пам’яті, обмежуючим фактором є не резервні блоки виконання, а натомість пропускна здатність інструкцій. ( широкі сердечники дуже дорогі ). Дивіться також http://www.lighterra.com/papers/modernmicroprocessors/ .

До Хасвелла

До HSW такі процесори Intel, як Nehalem та Sandybridge, мультиплікацію SIMD FP на порт 0 та додавання SIMD FP на порт 1. Отже, були окремі одиниці виконання та пропускна здатність була збалансована. ( https://stackoverflow.com/questions/8389648/how-do-i-achieve-the-theoretical-maximum-of-4-flops-per-cycle

Haswell представив підтримку FMA в процесори Intel (через пару років після того, як AMD представила FMA4 в Bulldozer, після того, як Intel підробила їх , чекаючи, як тільки вони зможуть оприлюднити, що вони збираються впровадити 3-операндний FMA, а не 4-операндовий -деструктивне призначення FMA4). Веселий факт: AMD Piledriver все ще був першим процесором x86 з FMA3, близько року до Haswell в червні 2013 року

Це вимагало деяких великих злому внутрішніх служб, щоб навіть підтримати єдиний генерал з 3 входами. Але в будь-якому випадку, Intel ввімкнула все-таки і скористалася незмінними транзисторами, щоб поставити два 256-бітні SIMD-модулі FMA, зробивши Haswell (та його наступники) звірами для математики FP.

Ціль продуктивності, на яку Intel, можливо, пам’ятав, що це продукт BLAS з щільним математичним та векторним точковим продуктом. Обидва з них в основному можуть використовувати FMA і не потрібно просто додавати.

Як я вже згадував раніше, деякі робочі навантаження, які роблять здебільшого або лише додавання ПП, обмежуються затримкою додавання (в основному) не пропускною здатністю.

Виноска 1 : І з множником 1.0FMA буквально можна використовувати для додавання, але з гіршою затримкою, ніж addpsінструкція. Це потенційно корисно для робочих навантажень, таких як підсумовування масиву, який є гарячим в кеш-пам'яті L1d, де FP додає пропускну здатність більше, ніж затримка. Це допомагає лише, якщо ви використовуєте декілька векторних акумуляторів, щоб приховати затримку, звичайно, і тримати 10 FMA операцій під час польоту в блоках виконання FP (5c затримка / 0,5c пропускна здатність = 10 операцій затримка * пропускна здатність продукту). Це потрібно зробити і під час використання FMA для векторного крапкового продукту .

Дивіться, як написано Девід Кантер про мікроархітектуру Сендібридж, яка має блок-схему того, які ЄС є, на якому порту для NHM, SnB та AMD Bulldozer-сім'ї. (Дивіться також таблиці інструкцій Agner Fog та посібник з мікроарха оптимізації Asm, а також https://uops.info/, який також має експериментальне тестування Uops, портів та затримки / пропускної здатності майже кожної інструкції для багатьох поколінь мікроархітектур Intel.)

Також пов'язано: https://stackoverflow.com/questions/8389648/how-do-i-achieve-the-theoretical-maximum-of-4-flops-per-cycle

Я буду дивитись на цю частину:
"Чому це вони дозволять " ...
TL; DR - тому що вони спроектували це саме так. Це рішення управління. Звичайно, є відповіді мантіси та перемикачів, але це речі, які входять у рішення управління.

Чому вони спроектували саме так? Відповідь полягає в тому, що специфікації зроблені для досягнення певних цілей. Ці цілі включають ефективність та вартість. Продуктивність орієнтована не на операції, а на еталон, як FLOPS або FPS в Crysis.
Ці орієнтири матимуть сукупність функцій, деякі з них можна обробити одночасно.
Якщо дизайнери вважають, що наявність двох функцій віджета A робить це набагато швидше, а не дві функції віджета B, то вони йтимуть із віджетом А. Реалізація двох A та двох B буде коштувати дорожче.

Озираючись назад, коли суперскалярні та надпровідні трубопроводи (раніше багатоядерні) вперше стали поширеними на комерційних мікросхемах, вони були там, щоб підвищити продуктивність. Пентій має дві труби, і жоден вектор не об'єднує. У Haswell є більше труб, векторних одиниць, більш глибока труба, виділені функції тощо. Чому немає всього всього? Тому що вони спроектували саме так.

Ця діаграма від Intel може допомогти:

Здається, вони давали кожній одиниці FMA (зрощене множення-додавання), а також множник і єдиний суматор. Вони можуть або не мають спільного використання обладнання.

На питання, чому набагато складніше відповісти без внутрішніх обгрунтування дизайну, але текст у фіолетовій коробці дає нам підказку з "подвійним піком FLOPs": процесор буде орієнтуватися на набір орієнтирів, отриманих з реальних випадків використання. FMA дуже популярний у них, оскільки є базовою одиницею множення матриць. Голі доповнення менш популярні.

Ви можете, як було зазначено, використовувати обидва порти, щоб зробити додавання за допомогою інструкції FMA, де параметр множення дорівнює 1, обчислюючи (A x 1) + B. Це буде трохи повільніше, ніж голе додавання.

Давайте подивимося на трудомісткі кроки:

Додавання: вирівняйте експоненти (можливо, це велика операція зсуву). Один 53-бітний суматор. Нормалізація (до 53 біт).

Множення: Одна масивна суматорна мережа для зменшення 53 х 53 однорозрядних продуктів до суми двох 106-бітних чисел. Один 106-бітний суматор. Нормалізація. Я б сказав, зменшення бітових продуктів до двох чисел можна зробити так само швидко, як і кінцевий суматор.

Якщо ви можете зробити змінний час множення, то ви маєте перевагу в тому, що нормалізація зміщуватиметься лише на один біт більшу частину часу, а інші випадки ви можете виявити дуже швидко (денормалізовані входи або сума покажчиків занадто мала).

Крім того, потребують кроків нормалізації дуже часто (додавання чисел, які не мають однакового розміру, віднімання близьких чисел). Тож для розмноження ви можете дозволити собі швидкий шлях і прийняти величезний удар для повільного шляху; для додавання ви не можете.

PS. Читання коментарів: Має сенс, що додавання денормалізованих чисел не спричиняє штраф: Це означає лише, що серед бітів, які зміщені для вирівнювання показників, багато є нулями. А денормалізований результат означає, що ви припиняєте зміщення, щоб видалити провідні нулі, якщо це зробить показник занадто малим.