Компілювання з g ++ з використанням декількох ядер

Швидке запитання: що таке прапор компілятора, щоб дозволити g ++ нерегулярно створювати кілька екземплярів, щоб швидше збирати великі проекти (наприклад, 4 вихідні файли одночасно для багатоядерного процесора)?

Це можна зробити за допомогою make - з gnu make це прапор -j (це також допоможе на однопроцесорній машині).

Наприклад, якщо вам потрібно зробити 4 паралельних завдання від make:

make -j 4

Ви також можете запустити gcc в трубі за допомогою

gcc -pipe

Це дозволить скласти етапи компіляції, що також допоможе зберегти сердечники.

Якщо у вас також доступні додаткові машини, ви можете перевірити distcc , який також збирає компіляції для цих.

Такого прапора немає, і якщо один суперечить філософії Unix: кожен інструмент виконує лише одну функцію та виконує її добре. Процеси компілятора нересту концептуально є завданням системи збирання. Напевно, ви шукаєте прапор -j (вакансії) для GNU make, a la

скласти -j4

Або ви можете використовувати pmake або подібні паралельні системи виготовлення.

Люди згадували, makeале bjamтакож підтримують подібну концепцію. Використання bjam -jxінструкцій bjam для створення xодночасних команд.

Ми використовуємо однакові сценарії збірки в Windows та Linux і використовуючи цю опцію, вдвічі скорочуємо час збирання на обох платформах. Приємно.

makeзробить це за вас. Вивчіть -jі -lперемикачі на сторінці людини. Я не думаю, що g++це паралельно.

Якщо ви використовуєте make, видайте питання -j. Від man make:

  -j [jobs], --jobs[=jobs]
       Specifies the number of jobs (commands) to run simultaneously.  
       If there is more than one -j option, the last one is effective.
       If the -j option is given without an argument, make will not limit the
       number of jobs that can run simultaneously.

І найголовніше, що якщо ви хочете скриптувати або ідентифікувати кількість наявних ядер (залежно від вашого оточення, і якщо ви працюєте в багатьох середовищах, це може сильно змінити), ви можете використовувати всюдисущу функцію Python cpu_count():

https://docs.python.org/3/library/multiprocessing.html#multiprocessing.cpu_count

Подобається це:

make -j $(python3 -c 'import multiprocessing as mp; print(int(mp.cpu_count() * 1.5))')

Якщо ви запитуєте, чому 1.5я цитую користувача artless-шум у коментарі вище:

Число 1,5 - через зазначену проблему, пов'язану з входом / виводом. Це правило. Приблизно 1/3 робочих місць буде чекати вводу-виводу, тому решта завдань будуть використовувати наявні ядра. Число більше, ніж сердечники, краще, і ви навіть можете піднятися на 2х.

distcc також може використовуватися для розповсюдження компіляцій не тільки на поточній машині, але і на інших машинах ферми, на яких встановлено distcc.

Я не впевнений у g ++, але якщо ви використовуєте GNU Make, тоді "make -j N" (де N - це кількість створених ниток) дозволить одночасно запускати декілька завдань g ++ (так довго оскільки файли не залежать один від одного).

Паралельно GNU

Я робив синтетичний орієнтир для компіляції і не міг заважати писати Makefile, тому я використав:

sudo apt-get install parallel
ls | grep -E '\.c$' | parallel -t --will-cite "gcc -c -o '{.}.o' '{}'"

Пояснення:

• {.} бере аргумент введення та видаляє його розширення
• -t виводить команди, які виконуються, щоб дати нам уявлення про прогрес
• --will-cite видаляє запит на посилання програмного забезпечення, якщо ви публікуєте результати, використовуючи його ...

parallel настільки зручно, що я міг навіть перевірити часову позначку:

ls | grep -E '\.c$' | parallel -t --will-cite "\
  if ! [ -f '{.}.o' ] || [ '{}' -nt '{.}.o' ]; then
    gcc -c -o '{.}.o' '{}'
  fi
"

xargs -Pтакож можна паралельно виконувати завдання, але трохи менше зручно робити маніпуляції з розширенням або виконувати з ним кілька команд : Виклик декількох команд через xargs

Паралельне зв’язування запитували за адресою: Чи може gcc використовувати декілька ядер при з'єднанні?

TODO: Я думаю, я десь прочитав, що компіляція може бути зведена до матричного множення, тому, можливо, також можливо прискорити компіляцію одного файлу для великих файлів. Але зараз я не можу знайти посилання.

Тестовано в Ubuntu 18.10.