Чи можу я використовувати всі 4 ядра процесора Raspberry Pi?

Мені було цікаво, чи існує простий спосіб "включити" всі 100% ЦП, щоб я міг швидше запускати процеси (наприклад, розрахунки пітона).

1) Чи це можливо?

2) Чи є простий спосіб повернутися до нормального?

3) Чи є спосіб використовувати менше процесора за бажанням?

Я думаю про взаємодію командного рядка на зразок:

pi@raspberry:~ $ sudo turnOnFourCores python run.py

За замовчуванням будь-який комп'ютер намагатиметься використовувати всі свої ядра, коли зможе. Однак досягти цього можна лише тоді, коли додаток є багатопоточним. Якщо це не (тобто сценарій Python, який не використовує threadingмодуль), він може використовуватись лише на максимум, одне ядро. Це дорівнює 25% процесора на чотирьохядерному процесорі. Якщо ви хочете змінити свій скрипт для використання декількох ядер, ви можете розділити свій обчислення на кілька частин і багатопотоково, як показано в документації на Python .

Оновлення:

Як відповів Анон , це не спрацює без роботи з GIL Python (Global Interpreter Lock). Це дозволяє одночасно працювати (здавалося б) завданням, але не дозволяє коду працювати через декілька ядер. Якщо ви використовуєте модулі, написані на C (наприклад, numpy), вони можуть дозволити вам використовувати декілька ядер, які оточують це обмеження. Крім того, якщо це не варіант, Python пропонує мультиобробку , що дозволяє виконувати будь-яке завдання на декількох ядрах.

Мені було цікаво, чи існує простий спосіб "включити" всі 100% ЦП, щоб я міг швидше запускати процеси (наприклад, розрахунки пітона).

Не в тому сенсі, який я думаю, ви це маєте на увазі. Це не питання, характерне для пі, або це логічне обмеження.

Наразі самі комп’ютери не мають великої спроможності визначити, що процес, що працює як один потік, замість цього може запускатися паралельно. Зауважте, що в момент, коли вони можуть мати цю ємність, комп'ютерних програмістів не буде потреби, оскільки комп'ютерна система, яка могла б це зробити, може також написати власний код ¹ .

Розглянемо наступний простий математичний вираз:

(4 + 2) * 17 / (3 + 6)

Існує певний потенціал, щоб це можна було обчислити паралельно, але він логічно обмежений. Я б сказав, що немає сенсу в більш ніж двох потоках, і навіть тоді це здебільшого лише одна:

#1 a) 4 + 2 b) 6 * 17 c) 102 / 9
#2 a) 3 + 6

Нитка №2 внесла свій внесок, обчисливши 3 + 6 = 9, що використовується на кроці С за допомогою потоку №1, зберегти його на один крок. Але це настільки, наскільки паралелізм корисно дістанеться тут. У той час як нитка №2 може обчислити 17/9, коли # 1 робить 6 * 17, це робити було б безглуздо, тому що тепер у вас є два різні шляхи до тієї самої мети, які неможливо відновити. Тобто, №2 може продовжувати працювати:

b) 17 / 9 c) 1.888 * 6

І в кінцевому рахунку з тим самим результатом, що і тема №1 (11.333), але вони не допомогли один одному за кроком А, тому наявність двох з них для досягнення цієї мети є марною витратою часу.

(Зверніть увагу, що цей приклад не є буквальним; він має намір продемонструвати логічний принцип. Шкала, за якою завдання вбудовані в код користувача, набагато більша, але вам не потрібен реальний урок багатопотокового програмування для того, щоб зрозуміти цю ідею тут.)

Для використання декількох процесорів потрібен код, написаний для цього. Ви не можете просто взяти нічого і сказати: "О, використовуйте всі 4 ядра і робіть це швидше!". Це не те, що станеться. За логікою, багато (... або більшість) проблем і завдань пов'язані з кроками, які не можуть відбуватися паралельно, вони повинні відбуватися послідовно.

^{1. Але дивіться коментар Фелікса Домбека нижче; Я не є експертом з ШІ. Можливо, варто також зазначити, що відповідно до коментарів Пітера Корда, ОС може використовувати сучасні набори інструкцій та процесори для оптимізації дуже дрібнозернистих речей паралельно, і апаратні трубопроводи роблять це також, хоч і не через ядра (єдине core має більше ніж одне, що працює в потоці інструкцій в різних точках до їх остаточного виконання). Я намагався тут дотримуватися теми теми користувача, оскільки я думаю, що це більш-менш те, що ви отримуєте.}

Ні для пітона.

Інші люди пропонують вам розглянути нитки, що є коректною відповіддю для більшості мов, але вони не взяли до уваги, що ви використовуєте python.

Пітон GIL не дозволяє ефективно використовувати декілька ядер.

Використання декількох ядер вимагає явного виявлення паралелізму рівня потоку в ОС, що зазвичай вимагає від програміста написати багатопотокової програми. (Або запускати однопоточну програму кілька разів на різних входах, як-от компіляція make -j4)

Однак компілятори для деяких мов підтримують автоматичну паралелізацію. Наприклад, C або C ++ з OpenMP може скласти звичайний for()цикл у програму, яка запускає кілька потоків.

#pragma omp parallel for
for(int i = 0; i < 1000000; ++i)
{
   A[i] = B[i] * constant + C[i];
}

Але все-таки це має статися, коли ви писали або складали програму. Немає можливості для поточного обладнання та ОС використовувати кілька ядер для прискорення однопотокової програми.

Пов'язане: Як одна нитка працює на декількох ядрах? : відповідь: вони ні. Але існують і інші види паралелізму, як -от паралелізм на рівні інструкцій, який одне ядро ​​CPU знаходить і використовує для запуску одного потоку швидше, ніж одна інструкція одночасно.

Моя відповідь на це питання полягає в деяких деталях того, як сучасні процесори знаходять і використовують дрібнозернистий паралелізм на рівні інструкцій. (Здебільшого фокусується на x86). Це лише частина того, як працюють звичайні процесори, маючи декілька інструкцій під час польоту одночасно, і це не те, що потрібно спеціально включати. (Існують лічильники продуктивності, за допомогою яких можна побачити, скільки інструкцій за годинник вдалося виконати процесору під час виконання програми, хоча й інших заходів.)

Зауважте, що RPi3 використовує порядок процесорних ядер ARM Cortex-A53 . Кожне ядро ​​- це 2-широкий суперскаляр (2 інструкції на годинник, як дозволяє ILP), але не може переупорядкувати інструкції, щоб знайти більше паралелізму на рівні інструкцій та приховати затримку.

Все-таки процесор є конвеєрним, тому загальна кількість інструкцій в польоті (від вибору та декодування аж до етапу списання в кінці конвеєра) є значною. Якщо залежність від даних не обмежує можливості, на кожному етапі конвеєра, над яким працює центральний процесор, можуть бути дві інструкції з пропускною здатністю 2 інструкції на добу. (Ось що означає 2-широке значення.)

Він не може виконувати інструкції не в порядку, але при ретельному упорядкуванні інструкцій (як правило, компілятором), він все ще може приховати затримку інструкції, яка потребує декількох циклів, щоб її вихід був готовий. (наприклад, завантаження, навіть якщо воно потрапляє в кеш-пам'ять або множина, займе декілька циклів, порівняно з тим, що наступний цикл буде готовий). Трюк полягає в тому, щоб замовити інструкції asm, щоб існувало кілька незалежних інструкцій між тією, яка створює результат, і тією, яка її використовує.

Наявність програмного забезпечення (компілятора) статичних інструкцій для планування є більш крихким, ніж обладнання, яке може здійснювати внутрішній впорядкування, зберігаючи ілюзію виконання програмного порядку. Компіляторам дуже важко виконати таку роботу, як навіть невелике вікно поза замовленням для впорядкування інструкцій, оскільки помилки кешу непередбачувані, і важко проаналізувати ланцюги залежностей між функціональними викликами під час компіляції. А кількість реєстрів обмежена без апаратного реєстру-перейменування.

Все це - малий комфорт, коли ваш код працює повільніше, ніж вам би хотілося. Звичайно, у Cortex-A53 є багато класних речей під кришкою, але в Cortex-A57 є більше цікавих матеріалів під капотом (як, наприклад, виконання до 3 інструкцій на годинник поза замовленням) і навіть більше в великий процесор x86 на зразок Skylake (не кажучи вже про відмінності тактових частот).

Cortex-A53 є досить фантастичним порівняно з https://en.wikipedia.org/wiki/Classic_RISC_pipeline, як оригінальні MIPS, про які ви дізналися б у класі комп'ютерної архітектури, але за сучасними мірками це досить низько.

Це не так, як працюють процесори ... взагалі.

На даний момент ваш процесор прекрасно здатний працювати на 100% використання, якщо припустити, що він не заглушений через проблеми, пов’язані з температурою при 80 градусах Цельсія або більше. При цьому, як правило, ви не хочете, щоб ваш процесор був прив'язаний до 100%. Якщо ви звичайно використовуєте 100% використання процесора, ви, ймовірно, матимете занадто багато для роботи процесора. Це спричинить заїкання і взагалі нещасний досвід користувачів.

Для порівняння з чимось більш фізичним, використання CPU дуже схоже на автомобіль. Автомобіль, швидше за все, здатний їхати 100 миль / год, але є хороший шанс, що ваш спідометр прочитає щось суттєве під цим. Перебуваючи в місті, ви ніколи не зможете отримати близько 25 миль / год. Але це не міняє, що автомобіль може їхати 100 миль / год. Ви просто недостатньо сильно натиснули на газ.

Якщо просто змусити RPi робити більше справ (натиснути більше на прискорювач), ви побачите, що цифра використання процесора зростає. Наприклад, спостерігайте за використанням процесора, коли ви запускаєте команду yesу вікні терміналу (пам'ятайте, що ctrl+cзакінчуються команди терміналу). Це збільшить ваш процесор на 25%, оскільки він збільшить один із чотирьох ядер CPU.

Інші відповіді дають хороші деталі, але, схоже, не вирішують конкретні питання.

1. Так, якщо програма (та операційна система) запрограмовані для обліку декількох ядер. ("Нитка" - це термін в програмуванні тут)
2. Машина використовує стільки або мало кожного ядра, скільки потрібно для виконання завдання. тому не потрібно нічого змінювати.
3. Ви можете встановити обмеження на максимальне використання, але немає необхідності в нормальному використанні. подивіться на відповіді тут: - /unix/151883/limiting-process-to-not-exceed-more-than-10-of-cpu-usage

Примітка:

Якщо ви хочете покращити ефективність пі загальної версії, ви можете заглянути в розгін. Це дозволяє процесору працювати швидше. Мінусами є збільшення виробництва тепла, менший термін експлуатації процесора та збільшення енергоспоживання.

Якщо можливо, я би параметризував сценарій та виконував їх в окремих процесах Python. Наприклад:

cat parameters.txt | xargs -n1 -P4 python run.py

Іншою альтернативою є вже згадана багатопроцесорна бібліотека, яка дозволяє розщеплювати і приєднуватися до процесів python. Але це також вимагає, щоб у вас був список параметрів (таких як ім'я файлу), для яких потрібно запускати обчислення.

Я думаю, що ОП може не повністю зрозуміти поняття багатоядерного / багатопотокового програмування та наскільки складно повною мірою використовувати 100% багатоядерних, якщо алгоритм не може легко перетворитись у бентежно паралельну проблему.

Для отримання додаткової інформації ви можете прочитати більше про відому назву статті "Безкоштовний обід закінчився" http://www.gotw.ca/publications/concurrency-ddj.htm

Якщо ви хочете перевірити свій RPI. Можна запуститись stressяк тут , тоді ви зможете побачити, як використовуються ваші процесори htop. Це корисно, тому що ви можете бачити, чи достатньо джерела живлення, якщо його недостатньо, ваш RPI спробує використовувати занадто багато струму (силовий струм), і він вимкнеться.

З іншого боку, якщо ви хочете використовувати сценарій python, ви повинні побачити, joblibщо чудово працює, коли ви хочете паралелізувати процеси, і, таким чином, ви будете використовувати кількість бажаних процесорів.

Хоча всі ці відповіді правильні по-різному, це правда, що операційна система автоматично використовуватиме різні ядра для розподілу навантаження. Це можна побачити за допомогою простої програми python (temp.py say)

while True:
  x = 1.0

відкрийте термінал із робочого столу RPi та введіть, $ topде буде показана робота процесора. Потім відкрийте інший термінал, і python3 temp.pyви побачите, як робота python3 піднімається до 100% часу процесора. Потім відкрийте інший термінал і повторіть процес і подивіться, як ви рухаєтесь до 400%. Отож, на одному рівні, як прокоментував @Shadow, це просто і це за замовчуванням. Однак проектування програм, які можуть використовувати паралельну обробку, нетривіально, як пояснили інші.

Відповідь - гучна ТАК! Вам просто потрібно написати програму, щоб їх розпізнати та використовувати. Програми, які роблять це, можуть використовувати ядра. Я пишу своє, щоб зробити це на Java і, таким чином, можу.

Наведені вище відповіді розробників Python мають дуже обмежену концепцію цієї відповіді, і це може бути дуже заплутано, але відповідь ТАК і тільки ТАК!

Оскільки ОП не вказав python у своєму питанні, я хотів би запропонувати ще дві сучасні мови, які добре працюють на Raspberry Pi і мають дуже прості способи використання одночасності.

Моя нинішня улюблена - мова Іржа. Я написав і склав програми на Pi. Іржа приємна тим, що вона запобігає багатьом типам помилок вказівників та перегонів, що робить написання одночасного коду простішим та безпечнішим. Іржа призначена системою мови програмування, але вона може робити майже все, що може зробити C.

Ще одна така мова - Go (також її називають Golang, щоб полегшити пошук). Go був створений командою Google і є досить зрілою мовою. Зробити супроводи в програмі Go, які вони називають "Go rutines", легко.

Обидві ці мови можуть скласти код на Raspberry Pi, навіть Pi Zero. Однак вони можуть бути складені між собою з більш швидкого комп'ютера, що приємно для великих програм.