Я виявив, що в Python 3.4 існує декілька різних бібліотек для багатопроцесорної обробки / потокової роботи: багатопроцесорність проти потоків проти asyncio .
Але я не знаю, який із них використовувати, чи є «рекомендованим». Вони роблять одне і те ж, або відрізняються? Якщо так, який для чого використовується? Я хочу написати програму, яка використовує багатоядерні системи на моєму комп’ютері. Але я не знаю, яку бібліотеку мені слід вивчити.
Відповіді:
Вони призначені для (трохи) різних цілей та / або вимог. CPython (типова основна реалізація Python) все ще має глобальний блокувальник інтерпретатора, тому багатопотокове додаток (стандартний спосіб реалізації паралельної обробки в наш час) є неоптимальним. Саме тому multiprocessing може бути краще threading. Але не кожна проблема може бути ефективно розділена на [майже незалежні] частини, тому може виникнути потреба у важких міжпроцесорних комунікаціях. Ось чому, multiprocessingможливо, не перевагу над threadingзагалом.
asyncio(ця техніка доступна не лише в Python, її також мають інші мови та / або фреймворки, наприклад Boost.ASIO ) - це метод для ефективної обробки багатьох операцій вводу-виводу з багатьох одночасних джерел без необхідності паралельного виконання коду . Тож це просто рішення (справді хороше!) Для конкретного завдання, а не для паралельної обробки загалом.
Ми пройшли через найпопулярніші форми паралелізму. Але питання залишається - коли слід вибрати, який? Це насправді залежить від випадків використання. З мого досвіду (і читання) я схильний слідувати цьому псевдокоду:
if io_bound:
if io_very_slow:
print("Use Asyncio")
else:
print("Use Threads")
else:
print("Multi Processing")
- Прив'язка процесора => Багатопроцесорне
- Обмежений ввід / вивід, швидкий ввід / вивід, обмежена кількість з'єднань => Багатопотокові
- Зв'язок вводу-виводу, повільний введення-виведення, багато з'єднань => Asyncio
[ ПРИМІТКА ]:
asyncioцикл подій ( uvloop робить в asyncio2-4 рази швидше).[ОНОВЛЕННЯ (2019)]:
asyncioколи ви використовуєте з функцій, що очікують, requestбібліотека не є методом, який можна очікувати, замість цього ви можете використовувати такі, як aiohttpбібліотека або асинхронний запит тощо
При багатопроцесорній обробці ви використовуєте кілька процесорів для розподілу своїх розрахунків. Оскільки кожен з центральних процесорів працює паралельно, ви фактично можете виконувати кілька завдань одночасно. Ви хочете використовувати багатопроцесорну обробку для завдань, пов’язаних із процесором . Прикладом може бути спроба обчислити суму всіх елементів величезного списку. Якщо ваша машина має 8 ядер, ви можете "розрізати" список на 8 менших списків і розрахувати суму кожного з цих списків окремо на окремому ядрі, а потім просто скласти ці цифри. Роблячи це, ви досягнете ~ 8-кратного прискорення.
У різьбленнявам не потрібні кілька процесорів. Уявіть собі програму, яка надсилає багато запитів HTTP до Інтернету. Якщо ви використовували однопотокову програму, вона зупиняла б виконання (блокувати) при кожному запиті, чекала відповіді, а потім продовжувала, коли отримала відповідь. Проблема тут полягає в тому, що ваш процесор насправді не виконує роботу, чекаючи, поки якийсь зовнішній сервер виконає цю роботу; тим часом це могло зробити якусь корисну роботу! Виправлення полягає у використанні потоків - ви можете створити багато з них, кожен відповідальний за запит певного вмісту з Інтернету. Приємна річ потоків полягає в тому, що, навіть якщо вони працюють на одному центральному процесорі, процесор час від часу "заморожує" виконання одного потоку і переходить до виконання іншого (це називається перемиканням контексту, і це відбувається постійно на недетермінованих інтервали). - використовувати різьбу.
asyncio - це по суті потоки, де не центральний процесор, а ви як програміст (або насправді ваш додаток) вирішуєте, де і коли відбувається перемикання контексту . У Python ви використовуєте awaitключове слово для призупинення виконання вашої програми (визначеної за допомогою asyncключового слова).