Чому для багатопроцесорної обробки використовується лише одне ядро ​​після імпортування numpy?

Я не впевнений, чи сприймається це більше як проблема ОС, але я подумав, що запитую тут у випадку, якщо хтось матиме деяке розуміння з кінця речей Python.

Я намагався паралелізувати forциклічний цикл, використовуючи joblib, але я вважаю, що замість того, щоб кожен робочий процес був призначений іншому ядру, я закінчував, щоб усі вони були призначені одному і тому ж ядру і не було підвищення продуктивності.

Ось дуже тривіальний приклад ...

from joblib import Parallel,delayed
import numpy as np

def testfunc(data):
    # some very boneheaded CPU work
    for nn in xrange(1000):
        for ii in data[0,:]:
            for jj in data[1,:]:
                ii*jj

def run(niter=10):
    data = (np.random.randn(2,100) for ii in xrange(niter))
    pool = Parallel(n_jobs=-1,verbose=1,pre_dispatch='all')
    results = pool(delayed(testfunc)(dd) for dd in data)

if __name__ == '__main__':
    run()

... і ось що я бачу під htopчас запуску цього сценарію:

Я запускаю Ubuntu 12.10 (3.5.0-26) на ноутбуці з 4 ядрами. Зрозуміло, що joblib.Parallelце нерестування окремих процесів для різних працівників, але чи я можу змусити ці процеси виконуватись на різних ядрах?

Після ще декількох гуглів я знайшов відповідь тут .

Виявляється, що деякі модулі Python ( numpy, scipy, tables, pandas, skimage...) зв'язуйтеся з основним спорідненістю з імпорту. Наскільки я можу сказати, ця проблема, здається, була викликана саме їх зв'язком з багатопотоковими бібліотеками OpenBLAS.

Вирішення завдання полягає в тому, щоб відновити спорідненість завдання за допомогою

os.system("taskset -p 0xff %d" % os.getpid())

Коли цей рядок вставлений після імпорту модуля, мій приклад тепер працює на всіх ядрах:

До цього мого досвіду було те, що це, мабуть, не має негативного впливу на numpyефективність роботи, хоча це, мабуть, є специфічним для машин та завдань.

Оновлення:

Існує також два способи відключити поведінку, що скидає афінність процесора самого OpenBLAS. Наприклад, під час виконання можна використовувати змінну середовища OPENBLAS_MAIN_FREE(або GOTOBLAS_MAIN_FREE), наприклад

OPENBLAS_MAIN_FREE=1 python myscript.py

Або, якщо ви компілюєте OpenBLAS з джерела, ви можете остаточно відключити його під час збирання, відредагувавши Makefile.ruleрядок, що містить

NO_AFFINITY=1

Тепер Python 3 розкриває методи прямого встановлення спорідненості

>>> import os
>>> os.sched_getaffinity(0)
{0, 1, 2, 3}
>>> os.sched_setaffinity(0, {1, 3})
>>> os.sched_getaffinity(0)
{1, 3}
>>> x = {i for i in range(10)}
>>> x
{0, 1, 2, 3, 4, 5, 6, 7, 8, 9}
>>> os.sched_setaffinity(0, x)
>>> os.sched_getaffinity(0)
{0, 1, 2, 3}

Це, як видається, є частою проблемою з Python в Ubuntu, і не характерно для joblib:

• І multiprocessing.map, і joblib використовують лише 1 процесор після оновлення з Ubuntu 10.10 до 12.04
• У багатопроцесорній роботі Python використовується лише одне ядро
• багатопроцесорні процеси. Пул заблокований до одного ядра

Я б запропонував експериментувати з спорідненістю процесора ( taskset).