Скільки роблять ниток для використання?

Коли я (заново) будую великі системи на настільному / портативному комп'ютері, я кажу makeвикористовувати декілька потоків для прискорення швидкості компіляції, наприклад:

$ make -j$[ $K * $C ]

Де $Cповинен вказати число ядер (які ми можемо припустити , щоб бути числом з однією цифрою) машина має, а $Kто , що я змінюватися від 2до 4, в залежності від настрою.

Так, наприклад, я можу сказати, make -j12якщо у мене є 4 ядра, що вказує makeна використання до 12 потоків.

Моє обгрунтування полягає в тому, що якщо я використовую лише $Cпотоки, ядра будуть простоювати, поки процеси зайняті вилученням даних з накопичувачів. Але якщо я не обмежую кількість потоків (тобто make -j), я ризикую втратити час на перемикання контекстів, втрату пам’яті чи гірше . Припустимо, машина має $Mконцерти пам’яті (де $Mв порядку 10).

Тож мені було цікаво, чи існує сформована стратегія вибору найбільш ефективної кількості потоків для запуску.

Я провів ряд тестів, будуючи llvm (у режимі Debug + Asserts) на машині з двома ядрами та 8 ГБ оперативної пам’яті:

Як не дивно, схоже, що він піднімається до 10, а потім раптом опускається нижче часу, необхідного для створення двох робочих місць (одна робота займає приблизно вдвічі більше часу, не включена в графік).

Здається, що мінімум 7*$coresу цьому випадку.

Я використовую Gentoo Linux (дистрибутив на основі джерел), і зі свого досвіду я можу сказати, що (з більш-менш останнім обладнанням) n*2 + xнайкраще значення. Поясню це:

• n*2: Навіть повільніші процесори мають достатню потужність для виконання двох завдань одночасно. більшість завдань з компіляції виконуються дуже швидко.
• +xце число залежить від вашої системи (в основному пам'яті та диска). Якщо у вас достатньо оперативної пам’яті та швидкого диска, встановіть x=n. Однак це залежить від вихідного коду (Open Office, я дивлюся на тебе!) Та використовуваної мови (компіляція C / C ++ дуже інтенсивна в пам'яті).

Однак вам доведеться запустити кілька тестів з деякими -jзначеннями, щоб отримати найкраще число. Також спробуйте паралелізувати інші кроки процесу збирання: розпакування, запуск configureтощо.