Відмінність продуктивності між ATLAS та MKL?

ATLAS - це безкоштовна заміна BLAS / LAPACK, яка налаштовується на машину під час компіляції. MKL - комерційна бібліотека, що постачається Intel. Чи порівнянні ці дві бібліотеки щодо продуктивності, чи MKL має перевагу для виконання деяких завдань? Якщо так, то які?

MKL (від Intel) оптимізовано для процесорів Intel, і, ймовірно, у багатьох випадках там "переважає". Але він також "відомий" вибором "найгірших" кодових шляхів для процесорів AMD, як описано тут .

БЛАС не є монолітним. BLAS1 і BLAS2 обмежені пропускною здатністю пам’яті, і ви не можете багато чого зробити, щоб пришвидшити їх за межі очевидного (розгортання циклу, блокування кеша для рівня 2). BLAS3 є цікавішим, і прототипним орієнтиром тут є матричне-матричне множення. Наскільки мені відомо, GOTOBlas завжди був явним переможцем тут, дивіться, наприклад, це порівняння або це і це обгрунтування .

Зараз це вже роки, і у нас є проект BLIS . Це найкраща безкоштовна альтернатива MKL.

Профіль, не спекулюйте! (також працює як "Бенчмарк, не спекулюйте!" )

Не можна сказати нічого загального, це сильно залежить від завдань, які ви хочете виконати (наприклад, BLAS 1/2/3) та обладнання, яке ви виконуєте (очевидно, Intel MKL не працює на процесорах ARM, для Наприклад, але навіть серед процесорів Intel можна очікувати відмінностей у продуктивності).

Ще одна річ, на яку я думаю, варто згадати, що AMD пропонує також математичні бібліотеки, налаштовані на їхні процесори, AMD Core Math Library . Він не такий багатий на функції, як MKL від Intel, але він включає BLAS.

Попередні відповіді на це питання охопили більшість важливих моментів, але я хочу додати один коментар щодо цього:

чи має MKL перевага для деяких завдань?

Команда MKL в змозі дізнатися про майбутні набори інструкцій Intel та їх реалізацію в конкретних процесорах. Крім того, вони мають доступ до фірмових тренажерів процесорів та до виробничого обладнання, яке ніхто за межами Intel не може використовувати. Таким чином, MKL має перевагу щодо ступеня знань про майбутні продукти та коли вони отримують ці знання. Таким чином, це не повинно бути занадто дивним, якщо вони виробляють кращі реалізації BLAS, ніж будь-хто інший, принаймні на початку життя продукту з новими можливостями.

З іншого боку, Intel була досить відкрита щодо набору інструкцій для AVX-512 та надала емулятор розробки програмного забезпечення Intel® (SDE), що дозволяє розробникам емулювати інструкції AVX-512 щодо процесорів, які не підтримують їх. Через це буде не надто дивно, якщо для процесорів Intel, які підтримують AVX-512 на початку життя цих продуктів, доступні якісні реалізовані програми з відкритим кодом BLAS.

Звичайно, наскільки різницею є детальна інформація про конкретний процесор та основи щільних алгоритмів лінійної алгебри, не вирішена повністю. Наступна цитата вирішує це питання краще, ніж я можу:

У теорії немає різниці між теорією та практикою. Але, на практиці, є.

Повне розкриття інформації: я працюю в Intel.

Я думаю, що головна відмінність бібліотек постачальників BLAS від бібліотек BLAS з відкритим кодом - це час, який потрібен відкритому коду для підтримки найновіших апаратних функцій.

Оскільки BLAS широко використовується, постачальник цікавить підтримку найновіших апаратних функцій. Наприклад, розглянемо розширення векторів AVX від Intel, які були представлені з процесором "піщаний міст" з січня 2011 року. MKL мала підтримку AVX ще до появи процесора, але лише нещодавно ATLAS (кінець 2011 р.) Почав розкручувати підтримку AVX .

Крім того, якщо вашій програмі дійсно потрібна продуктивність і перед тим, як розпочати тестування різних бібліотек BLAS або почати злому, щоб оптимізувати що-небудь: профіліруйте свою програму. Загальноприйнято, що людська інтуїція не дуже ефективний провісник прогнозування, принаймні, я знаю, що це не так! Тож замість того, щоб витрачати час на випадковий вибір, оптимізуйте свою програму та систематично підходьте до кожного вузького місця.