Як працюють кеш-лінії?

Я розумію, що процесор вносить дані в кеш-пам'ять за допомогою кеш-рядків, які, наприклад, на моєму процесорі Atom, приносять приблизно 64 байти за один раз, незалежно від розміру фактичних даних, які читаються.

Моє запитання:

Уявіть, що вам потрібно прочитати один байт з пам'яті, який 64 байти буде внесено в кеш?

Я бачу дві можливості, що або 64 байти починаються на найближчій границі в 64 байт нижче байта, що цікавить, або 64 байти розповсюджуються навколо байти якимось заздалегідь визначеним способом (наприклад, наполовину нижче, наполовину вище, або все вище).

Що це таке?

Якщо рядок кешу, що містить байт або слово, яке ви завантажуєте, вже не присутній у кеші, ваш ЦП запитає 64 байти, які починаються на межі рядка кеша (найбільша адреса нижче тієї, що вам потрібна, кратна 64) .

Сучасні модулі пам'яті ПК переносять 64 біти (8 байт) одночасно, у вісім передач , тож одна команда запускає читання або запис повного рядка кешу з пам'яті. (Розмір передачі пакетної передачі SDRAM / DDR1 / 2/3/4 може налаштовуватися до 64B; процесори виберуть розмір передачі пакетної передачі відповідно до розміру рядка кешу, але 64B є загальним)

Як правило, якщо процесор не може передбачити доступ до пам'яті (і попередньо вилучити її), процес пошуку може тривати ~ 90 наносекунд або ~ 250 тактових циклів (від процесора, знаючи адресу до ЦП, що отримує дані).

На противагу цьому, потрапляння в кеш L1 має затримку для завантаження в 3 або 4 цикли, а перезавантаження магазину має затримку для переадресації магазину в 4 або 5 циклів на сучасних процесорах x86. Речі схожі на інших архітектурах.

Подальше читання: Те, що повинен знати кожен програміст про пам'ять . Порада щодо програмного забезпечення для попереднього вибору трохи застаріла: сучасні попередньо завантажувачі HW розумніші, а гіперточка набагато краща, ніж за P4 дні (тому нитка попереднього вибору зазвичай є витратою). Такожx86 tag wiki має безліч посилань на ефективність для цієї архітектури.

Якщо рядки кеша шириною 64 байти, то вони відповідають блокам пам'яті, які починаються з адрес, що діляться на 64. Найменш значущі 6 біт будь-якої адреси є зміщенням у кеш-рядку.

Отже, для будь-якого заданого байту кеш-рядок, який потрібно отримати, можна знайти, очистивши найменш значущі шість біт адреси, що відповідає округленню до найближчої адреси, що ділиться на 64.

Хоча це робиться апаратно, ми можемо показати обчислення, використовуючи деякі еталонні визначення макросу C:

#define CACHE_BLOCK_BITS 6
#define CACHE_BLOCK_SIZE (1U << CACHE_BLOCK_BITS)  /* 64 */
#define CACHE_BLOCK_MASK (CACHE_BLOCK_SIZE - 1)    /* 63, 0x3F */

/* Which byte offset in its cache block does this address reference? */
#define CACHE_BLOCK_OFFSET(ADDR) ((ADDR) & CACHE_BLOCK_MASK)

/* Address of 64 byte block brought into the cache when ADDR accessed */
#define CACHE_BLOCK_ALIGNED_ADDR(ADDR) ((ADDR) & ~CACHE_BLOCK_MASK)

Перш за все, доступ до основної пам'яті дуже дорогий. В даний час процесор 2 ГГц (найповільніший один раз) має 2G тиків (циклів) в секунду. ЦП (віртуальне ядро ​​сьогодні) може отримати значення з його регістрів один раз за галочку. Оскільки віртуальне ядро ​​складається з декількох одиниць обробки (ALU - арифметична логічна одиниця, FPU тощо), воно може фактично обробляти певні інструкції, якщо це можливо.

Доступ до основної пам'яті коштує приблизно від 70 до 100с (DDR4 трохи швидше). Цей час, в основному, шукає кеш L1, L2 і L3 і, ніж натискає на пам'ять (відправляємо команду на контролер пам'яті, який надсилає її в банки пам'яті), чекаємо відповіді і робимо.

100ns означає близько 200 кліщів. Отже, якщо програма завжди пропускатиме кеші, до яких має доступ кожна пам'ять, процесор витрачає приблизно 99,5% свого часу (якщо вона лише зчитує пам'ять) в режимі очікування пам'яті.

Для прискорення роботи є кеші L1, L2, L3. Вони використовують пам'ять, безпосередньо розміщуючись на мікросхемі та використовуючи транзисторні схеми іншого типу для зберігання заданих бітів. Це займає більше місця, більше енергії та коштує дорожче, ніж основна пам'ять, оскільки процесор зазвичай виробляється за допомогою більш досконалої технології, а виробничі збої в пам'яті L1, L2, L3 мають шанс зробити процесор нічим не потрібним (дефект). великий кеш L1, L2, L3 збільшує коефіцієнт помилок, що зменшує вихід, що безпосередньо зменшує рентабельність інвестицій. Тож існує велика торгівля, коли мова йде про доступний розмір кешу.

(в даний час один створює більше кешів L1, L2, L3, щоб можна було деактивувати певні частини, щоб зменшити ймовірність того, що фактичний дефект виробництва - це область кеш-пам'яті, видає дефект ЦП в цілому).

Дати уявлення про терміни (джерело: витрати на доступ до кешів та пам'яті )

• Кеш L1: від 1 до 2 с (2-4 цикли)
• Кеш L2: 3ns до 5ns (6-10 циклів)
• Кеш L3: від 12 до 20 секунд (24-40 циклів)
• ОЗУ: 60 секунд (120 циклів)

Оскільки ми змішуємо різні типи процесора, це лише оцінки, але даємо гарне уявлення про те, що відбувається насправді при отриманні значення пам'яті, і ми можемо мати хіт або промах у певному шарі кешу.

Таким чином, кеш в основному значно прискорює доступ до пам'яті (60ns проти 1ns).

Отримання значення, зберігання його в кеші для шансу повторного читання, це добре для змінних, до яких часто звертаються, але для операцій з копіюванням в пам'ять це все одно буде повільним, оскільки один лише читає значення, записує значення десь і ніколи не читає значення знову ж таки ... жодного хіта кеша, мертвий повільний (поряд з цим може траплятися паралельно, оскільки у нас немає виконання порядку).

Ця копія пам’яті настільки важлива, що для її прискорення існують різні засоби. У перші дні пам'ять часто могла копіювати пам'ять поза процесором. Цим керував контролер пам'яті безпосередньо, тому операція копіювання пам'яті не забруднювала кеші.

Але крім звичайної копії пам’яті, звичайний послідовний доступ до пам'яті був досить поширеним. Прикладом є аналіз ряду інформації. Маючи масив цілих чисел і обчислюючи суму, середнє, середнє або навіть більш просте знаходження певного значення (фільтр / пошук), було ще одним дуже важливим класом алгоритмів, що працюють кожного разу на будь-якому процесорі загального призначення.

Отже, аналізуючи схему доступу до пам'яті, було очевидно, що дані читаються послідовно дуже часто. Існувала велика ймовірність того, що якщо програма прочитає значення в індексі i, програма також прочитає значення i + 1. Ця ймовірність трохи вище, ніж ймовірність того, що та сама програма також буде читати значення i + 2 тощо.

Отже, враховуючи адресу пам'яті, це було (і досі є) хорошою ідеєю читати заздалегідь та отримувати додаткові значення. Це причина, коли існує режим підвищення.

Доступ до пам'яті в режимі підвищення означає, що адреса надсилається, і кілька значень послідовно надсилаються. Кожне надсилання додаткового значення займає лише додаткові 10нс (або навіть нижче).

Ще однією проблемою була адреса. Надсилання адреси вимагає часу. Щоб адресувати велику частину пам'яті, потрібно надсилати великі адреси. У перші дні це означало, що адресна шина не є достатньо великою, щоб надсилати адресу в одному циклі (галочка), а для відправлення адреси потрібно було більше одного циклу, додаючи більше затримки.

Рядок кеш-пам'яті в 64 байти, наприклад, означає, що пам'ять розділена на окремі (не перекриваються) блоки пам'яті розміром 64 байт. 64 байти означають, що стартова адреса кожного блоку має найнижчі шість бітів адреси, які завжди будуть нулями. Тому щоразу надсилати ці шість нульових бітів не потрібно, збільшуючи адресний простір у 64 рази на будь-яку кількість ширини адресної шини (ефект привітання).

Ще одна проблема, яку вирішує кеш-лінія (окрім читання вперед та збереження / звільнення шести біт на адресній шині), полягає в тому, як організовано кеш-пам'ять. Наприклад, якщо кеш буде розділений на 8-байтних (64-бітових) блоків (комірок), потрібно зберегти адресу комірки пам’яті, для якої ця клітинка кешу містить разом із нею значення. Якщо адреса також буде 64-бітовою, це означає, що половина розміру кешу споживається адресою, що призводить до накладних витрат у 100%.

Оскільки лінія кешу становить 64 байт і процесор може використовувати 64 біт - 6 біт = 58 біт (не потрібно зберігати нульові біти занадто правильно), то ми можемо кешувати 64 байт або 512 біт з накладними витратами на 58 біт (11% накладних витрат). Насправді адреси, що зберігаються, навіть менші, ніж ці, але є інформація про стан (наприклад, правильність та точність кеш-пам’яті, брудна та її потрібно записати в операційному режимі тощо).

Ще один аспект полягає в тому, що ми маємо набір-асоціативний кеш. Не кожна клітинка кешу здатна зберігати певну адресу, а лише підмножину таких. Це робить необхідні біти збереженої адреси ще меншими, дозволяє паралельний доступ до кешу (до кожного підмножини можна отримати доступ один раз, але незалежно від інших підмножин).

Тим більше, що стосується синхронізації доступу до кеш-пам'яті / пам’яті між різними віртуальними ядрами, їх незалежними декількома одиницями обробки на одне ядро ​​та, нарешті, декількома процесорами на одній материнській платі (в яких є плати, що містять до 48 процесорів і більше).

Це в основному поточна ідея, чому у нас є кешові рядки. Користь від читання вперед дуже велика, і найгірший випадок зчитування одного байта з кеш-лінії та ніколи не читати решту знову дуже невеликий, оскільки ймовірність дуже мала.

Розмір кеш-лінії (64) є розумним обраним компромісом між більшими лініями кешу, що малоймовірно, щоб останній байт його також був прочитаний найближчим часом, тривалість, необхідна для отримання повної лінії кешу з пам'яті (і записати її назад), а також накладні витрати в організації кешу і паралелізація кешу та доступу до пам'яті.

Процесори можуть мати багаторівневі кеші (L1, L2, L3), і вони відрізняються за розміром і швидкістю.

Тим не менш, щоб зрозуміти, що саме входить у кожен кеш, вам доведеться вивчити передбачувач гілок, використовуваний цим певним процесором, і як ведуть інструкції / дані вашої програми проти нього.

Читайте про політику прогнозування гілок , кеш-пам'ять процесора та політику заміни .

Це непросте завдання. Якщо наприкінці дня все, що вам потрібно, - це тест на працездатність, ви можете використовувати такий інструмент, як Cachegrind . Однак, оскільки це симуляція, її результат може в якійсь мірі відрізнятися.

Я не можу сказати напевно, оскільки кожне обладнання відрізняється, але це, як правило, "64 байти починаються на найближчій 64-байтній границі внизу", оскільки це дуже швидка і проста операція для процесора.