Як збільшити використання процесора Python

Я використовую Python для виконання деяких алгоритмів, незалежно від того, яким Python я використовую, і я випробував багато версій, використання процесора становить до 25% макс. Чому Python не використовує решту моїх процесорних ресурсів? Я змінив пріоритет послуги з нормального на високий, а пізніше і на реальний час, з перезапуском між ними, але нічого не змінилося.

Чи є спосіб змусити Python використовувати 50% або навіть більше мого процесора?

Простіше кажучи, ви запускаєте одну потокову програму в системі з чотирма логічними ядрами - таким чином у вас є один процес, використовуючи все ядро.

Вам буде потрібно (і це не тривіально), щоб переписати алгоритм, який буде багатопоточним, або побачити, чи ви можете просто запустити 2 або більше екземплярів на конкретних ядрах, щоб використовувати більше вашого процесора. Іншого шляху немає.

Мова Python передує багатоядерним процесорам, тому не дивно, що він не використовує їх власне.

Крім того, не всі програми можуть отримати прибуток від декількох ядер. Розрахунок, виконаний кроками, де наступний крок залежить від результатів попереднього кроку, не буде швидшим, використовуючи більше ядер. Проблеми, які можна векторизувати (застосовуючи один і той самий обчислення до великих масивів даних), можна порівняно легко зробити декількома ядрами, оскільки окремі обчислення не залежать.

Коли ви робите багато розрахунків, я припускаю, що ви використовуєте numpy ? Якщо ні, перевірте це. Це розширення, написане на C, яке може використовувати оптимізовані бібліотеки лінійних алгебр, таких як ATLAS. Це може значно прискорити числові обчислення порівняно зі стандартним Python.

Сказавши це, існує кілька способів використання декількох ядер з python.

• Вбудований multiprocessingмодуль. multiprocessing.PoolКлас надає векторизації по декільком процесорам з map()і пов'язаними з ними методами. Тут є компроміс. Якщо вам доведеться передавати велику кількість даних між процесами, то накладні витрати можуть заперечувати перевагу декількох ядер.
• Використовуйте підходящу конструкцію з нумію. Якщо numpy побудований з багатопотоковою бібліотекою ATLAS, це буде швидше при великих проблемах.
• Використовуйте модулі розширення, такі як numexpr , паралельний пітон , corepy або кодекс Байта .

Зауважте, що threadingмодуль не є таким корисним у цьому плані. Щоб забезпечити просте управління пам’яттю, глобальне блокування інтерпретатора («GIL») застосовує, що лише один потік одночасно може виконувати байт-код python. Однак зовнішні модулі, такі як numpy, можуть використовувати декілька потоків всередині.