Як компілювати Tensorflow з інструкціями SSE4.2 та AVX?

Це повідомлення, отримане від запуску сценарію, щоб перевірити, чи працює Tensorflow:

I tensorflow/stream_executor/dso_loader.cc:125] successfully opened CUDA library libcublas.so.8.0 locally
I tensorflow/stream_executor/dso_loader.cc:125] successfully opened CUDA library libcudnn.so.5 locally
I tensorflow/stream_executor/dso_loader.cc:125] successfully opened CUDA library libcufft.so.8.0 locally
I tensorflow/stream_executor/dso_loader.cc:125] successfully opened CUDA library libcuda.so.1 locally
I tensorflow/stream_executor/dso_loader.cc:125] successfully opened CUDA library libcurand.so.8.0 locally
W tensorflow/core/platform/cpu_feature_guard.cc:95] The TensorFlow library wasn't compiled to use SSE4.2 instructions, but these are available on your machine and could speed up CPU computations.
W tensorflow/core/platform/cpu_feature_guard.cc:95] The TensorFlow library wasn't compiled to use AVX instructions, but these are available on your machine and could speed up CPU computations.
I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:910] successful NUMA node read from SysFS had negative value (-1), but there must be at least one NUMA node, so returning NUMA node zero

Я помітив, що він згадував SSE4.2 та AVX,

1. Що таке SSE4.2 та AVX?
2. Як ці SSE4.2 і AVX покращують обчислення процесора для завдань Tensorflow.
3. Як зробити компіляцію Tensorflow за допомогою двох бібліотек?

Я щойно зіткнувся з цією ж проблемою, схоже, що пропозиція Ярослава Булатова не охоплює підтримку SSE4.2, додавання цього --copt=-msse4.2буде достатньо. Зрештою, я успішно будував с

bazel build -c opt --copt=-mavx --copt=-mavx2 --copt=-mfma --copt=-mfpmath=both --copt=-msse4.2 --config=cuda -k //tensorflow/tools/pip_package:build_pip_package

без отримання попереджень або помилок.

Мабуть, найкращий вибір для будь-якої системи:

bazel build -c opt --copt=-march=native --copt=-mfpmath=both --config=cuda -k //tensorflow/tools/pip_package:build_pip_package

( Оновлення: сценарії побудови можуть бути їжею-march=native , можливо, тому, що вони містять= .)

-mfpmath=bothпрацює лише з gcc, а не з clang. -mfpmath=sseце, мабуть, так само добре, якщо не краще, і за замовчуванням для x86-64. 32-бітний будує за замовчуванням -mfpmath=387, так що зміна допоможе для 32-розрядних. (Але якщо ви хочете отримати високу продуктивність для скорочення чисел, вам слід створити 64-бітні бінарні файли.)

Я не впевнений , що по замовчуванням TensorFlow для -O2або -O3це. gcc -O3забезпечує повну оптимізацію, включаючи автоматичну векторизацію, але це іноді може зробити код повільнішим.

Що це робить: --coptдляbazel build передачі параметра безпосередньо на gcc для компіляції файлів C і C ++ (але не посилання, тому вам потрібна інша опція для оптимізації посилання між часом міжфайлових файлів)

x86-64 gcc за замовчуванням використовує лише SSE2 або більш старі інструкції SIMD, тому ви можете запускати бінарні файли в будь-якій системі x86-64. (Див. Https://gcc.gnu.org/onlinedocs/gcc/x86-Options.html ). Це не те, чого ти хочеш. Ви хочете створити двійковий файл, який використовує всі інструкції, які може виконувати ваш процесор, тому що ви використовуєте цей двійковий файл лише в тій системі, де ви його побудували.

-march=nativeвмикає всі параметри, які підтримує ваш процесор, тому він стає -mavx512f -mavx2 -mavx -mfma -msse4.2зайвим. (Крім того, -mavx2вже дозволяє -mavxі -msse4.2, тому командування Ярослава мало бути добре). Крім того, якщо ви використовуєте процесор, який не підтримує жодного з цих параметрів (наприклад, FMA), використовуючи -mfma, ви робите бінарний файл, який не відповідає незаконним інструкціям.

За ./configureзамовчуванням TensorFlow увімкнено-march=native , тому використання цього не повинно вказувати параметри компілятора вручну.

-march=nativeдозволяє -mtune=native, тому він оптимізує ваш процесор для таких речей, як послідовність інструкцій AVX найкраще для нерівномірних навантажень.

Це все стосується gcc, clang або ICC. (Для ICC ви можете використовувати -xHOSTзамість -march=native.)

Почнемо з пояснення, чому ви бачите ці попередження в першу чергу .

Швидше за все, ви не встановили TF з джерела, а замість нього використовували щось подібне pip install tensorflow. Це означає, що ви встановили попередньо побудовані (кимось іншим) бінарні файли, які не були оптимізовані для вашої архітектури. І ці попередження говорять вам саме про це: щось є у вашій архітектурі, але воно не буде використовуватися, тому що бінарний файл не був складений з ним. Ось частина документації .

TensorFlow перевіряє запуск, чи складено він з оптимізацій, доступних у процесорі. Якщо оптимізація не включена, TensorFlow надсилатиме попередження, наприклад, інструкції AVX, AVX2 та FMA, які не включені.

Хороша річ, що, швидше за все, ви просто хочете навчитися / експериментувати з TF, щоб все працювало належним чином, і вам не варто про це турбуватися

Що таке SSE4.2 та AVX?

У Вікіпедії є хороші пояснення щодо SSE4.2 та AVX . Ці знання не потрібні, щоб бути хорошими при машинному навчанні. Ви можете подумати про них як набір деяких додаткових інструкцій для використання комп’ютером декількох точок даних проти однієї інструкції для виконання операцій, які можуть бути природно паралельними (наприклад, додавання двох масивів).

І SSE, і AVX - це реалізація абстрактної ідеї SIMD (Єдина інструкція, кілька даних), яка є

клас паралельних комп'ютерів у систематиці Фліна. Він описує комп'ютери з декількома елементами обробки, які виконують одну й ту ж операцію над кількома точками даних одночасно. Таким чином, такі машини використовують паралелізм рівня даних, але не одночасність: є одночасні (паралельні) обчислення, але лише один процес (інструкція) в даний момент

Цього достатньо, щоб відповісти на ваше наступне запитання.

Як ці SSE4.2 та AVX покращують обчислення процесора для завдань TF

Вони дозволяють більш ефективно обчислювати різні векторні (матричні / тензорні) операції. Ви можете прочитати більше на цих слайдах

Як зробити компіляцію Tensorflow за допомогою двох бібліотек?

Потрібно мати двійковий файл, який було складено, щоб скористатися цими інструкціями. Найпростіший спосіб - скласти його самостійно . Як запропонували Майк та Ярослав, ви можете використовувати наступну команду «Базель»

bazel build -c opt --copt=-mavx --copt=-mavx2 --copt=-mfma --copt=-mfpmath=both --copt=-msse4.2 --config=cuda -k //tensorflow/tools/pip_package:build_pip_package

Дозвольте спочатку відповісти на ваше третє запитання:

Якщо ви хочете запустити самокомпільовану версію в режимі conda-env, ви можете. Це загальні інструкції, які я виконую, щоб отримати tensorflow для встановлення в моїй системі з додатковими інструкціями. Примітка. Ця збірка була для збірки AMD A10-7850 (перевірте свій процесор, чи підтримуються інструкції ... може відрізнятися) під керуванням Ubuntu 16.04 LTS. Я використовую Python 3.5 в моїй conda-env. Кредит переходить на сторінку встановлення десятирядних джерел та відповіді, надані вище.

git clone https://github.com/tensorflow/tensorflow 
# Install Bazel
# https://bazel.build/versions/master/docs/install.html
sudo apt-get install python3-numpy python3-dev python3-pip python3-wheel
# Create your virtual env with conda.
source activate YOUR_ENV
pip install six numpy wheel, packaging, appdir
# Follow the configure instructions at:
# https://www.tensorflow.org/install/install_sources
# Build your build like below. Note: Check what instructions your CPU 
# support. Also. If resources are limited consider adding the following 
# tag --local_resources 2048,.5,1.0 . This will limit how much ram many
# local resources are used but will increase time to compile.
bazel build -c opt --copt=-mavx --copt=-msse4.1 --copt=-msse4.2  -k //tensorflow/tools/pip_package:build_pip_package
# Create the wheel like so:
bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg
# Inside your conda env:
pip install /tmp/tensorflow_pkg/NAME_OF_WHEEL.whl
# Then install the rest of your stack
pip install keras jupyter etc. etc.

Щодо вашого 2-го питання:

На мою думку, добре складена версія з оптимізаціями варто важити зусиль. У моєму конкретному режимі розрахунки, які раніше займали 560-600 секунд, займають лише 300 секунд! Хоча точні цифри будуть різними, я думаю, ви можете очікувати приблизно 35-50% збільшення швидкості в цілому для вашої конкретної установки.

Нарешті, ваше перше питання:

Дуже багато відповідей було надано вище. Підводячи підсумок: AVX , SSE4.1, SSE4.2 , MFA - це різні види розширених наборів інструкцій на процесорах X86. Багато з них містять оптимізовані інструкції для обробки матричних чи векторних операцій.

Я підкресля мою власну помилкову думку, щоб, сподіваюся, заощадити ваш час: Це не те, що SSE4.2 - це новіша версія інструкцій, що замінює SSE4.1. SSE4 = SSE4.1 (набір 47 інструкцій) + SSE4.2 (набір із 7 інструкцій).

У контексті компіляції tensorflow, якщо комп'ютер підтримує AVX2 і AVX, а також SSE4.1 і SSE4.2, слід поставити ці оптимізуючі прапори для всіх. Не так, як я це робив, і просто переходьте з SSE4.2, думаючи, що він новіший і повинен замінити SSE4.1. Це явно НЕБЕЗПЕЧНО! Мені довелося перекомпілювати через те, що коштувало мені добрих 40 хвилин.

Це набори інструкцій з обробки векторних SIMD .

Використання векторних інструкцій швидше для багатьох завдань; машинне навчання - це таке завдання.

Цитуючи документи про встановлення декількох доз :

Щоб бути сумісним з якомога ширшим діапазоном машин, TensorFlow за замовчуванням використовує лише інструкції SIME SSE4.1 SIMD на комп'ютерах x86. Більшість сучасних ПК та Macs підтримують більш вдосконалені інструкції, тому, якщо ви створюєте двійковий файл, який ви будете працювати лише на своїй машині, ви можете ввімкнути їх, використовуючи --copt=-march=nativeкоманду збірки базиліків.

Завдяки всім цим відповідям + деяким випробуванням та помилкам, мені вдалося встановити його на Mac clang. Тож просто діліться своїм рішенням, якщо воно комусь корисне.

1. Дотримуйтесь інструкцій щодо Документація - Встановлення TensorFlow з джерел

2. Коли буде запропоновано для

   Будь ласка, вкажіть прапори оптимізації для використання під час компіляції, коли вказано параметр bazel "--config = opt" [Типовим є -march = native]

потім скопіюйте та вставте цей рядок:

-mavx -mavx2 -mfma -msse4.2

(Параметр за замовчуванням спричинив помилки, так само, як і деякі інші прапори. Я не мав помилок із зазначеними вище прапорами. До речі, я відповів nна всі інші запитання)

Після установки я перевіряю швидкість ~ 2x до 2.5x при навчанні глибоких моделей стосовно іншої установки на колесах за замовчуванням - Встановлення TensorFlow на macOS

Сподіваюся, це допомагає

Нещодавно я встановив його з джерела та нижче - це всі кроки, необхідні для його встановлення з джерела із наявними вказаними інструкціями.

Інші відповіді вже описують, чому відображаються ці повідомлення. У моїй відповіді покроково описано, як виконати встановлення, що може допомогти людям боротися за фактичну установку, як і я.

1. Встановіть Bazel

Завантажте його з одного з доступних випусків , наприклад, 0.5.2 . Розпакуйте його, перейдіть в каталог і налаштувати його: bash ./compile.sh. Скопіюйте виконуваний файл у /usr/local/bin:sudo cp ./output/bazel /usr/local/bin

2. Встановіть Tensorflow

Клон tensorflow: git clone https://github.com/tensorflow/tensorflow.git перейдіть до каталогу клонованих, щоб налаштувати його:./configure

Він запропонує вам декілька питань, нижче я запропонував відповісти на кожне із запитань, ви, звичайно, можете вибрати власні відповіді, як вам зручніше:

Using python library path: /usr/local/lib/python2.7/dist-packages
Do you wish to build TensorFlow with MKL support? [y/N] y
MKL support will be enabled for TensorFlow
Do you wish to download MKL LIB from the web? [Y/n] Y
Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -march=native]: 
Do you wish to use jemalloc as the malloc implementation? [Y/n] n
jemalloc disabled
Do you wish to build TensorFlow with Google Cloud Platform support? [y/N] N
No Google Cloud Platform support will be enabled for TensorFlow
Do you wish to build TensorFlow with Hadoop File System support? [y/N] N
No Hadoop File System support will be enabled for TensorFlow
Do you wish to build TensorFlow with the XLA just-in-time compiler (experimental)? [y/N] N
No XLA JIT support will be enabled for TensorFlow
Do you wish to build TensorFlow with VERBS support? [y/N] N
No VERBS support will be enabled for TensorFlow
Do you wish to build TensorFlow with OpenCL support? [y/N] N
No OpenCL support will be enabled for TensorFlow
Do you wish to build TensorFlow with CUDA support? [y/N] N
No CUDA support will be enabled for TensorFlow

3. Пакет піп. Щоб створити його, ви повинні описати, які інструкції ви хочете (ви знаєте, ті Tensorflow повідомили, що ви відсутні).

Створіть сценарій піп: bazel build -c opt --copt=-mavx --copt=-mavx2 --copt=-mfma --copt=-mfpmath=both --copt=-msse4.1 --copt=-msse4.2 -k //tensorflow/tools/pip_package:build_pip_package

Складіть пакет піп: bazel-bin/tensorflow/tools/pip_package/build_pip_package /tmp/tensorflow_pkg

Встановіть щойно створений вами пакет Tensorflow: sudo pip install /tmp/tensorflow_pkg/tensorflow-1.2.1-cp27-cp27mu-linux_x86_64.whl

Тепер, коли ви запускаєте Tensorflow, він більше не скаржиться на пропущені інструкції.

Це найпростіший метод. Лише один крок.

Це суттєво впливає на швидкість. У моєму випадку час, взятий на тренувальний крок, майже вдвічі зменшився.

Перегляньте спеціальні побудови з tensorflow

Я склав невеликий сценарій Bash для Mac (легко можна перенести в Linux), щоб отримати всі функції процесора та застосувати деякі з них для створення TF. Я на майстру TF і використовую свого роду часто (пару разів на місяць).

https://gist.github.com/venik/9ba962c8b301b0e21f99884cbd35082f

Для компіляції TensorFlow з SSE4.2 та AVX можна використовувати безпосередньо

bazel build --config = mkl --config = "opt" --copt = "- march = broadwell" --copt = "- O3" // tensorflow / tools / pip_package: build_pip_package

Джерело: https://github.com/tensorflow/tensorflow/blob/master/tensorflow/tools/docker/Dockerfile.devel-cpu-mkl

2.0 СУМІДНЕ РІШЕННЯ:

Виконайте наведені нижче команди в терміналі (Linux / MacOS) або в командному рядку (Windows), щоб встановити Tensorflow 2.0 за допомогою Bazel :

git clone https://github.com/tensorflow/tensorflow.git
cd tensorflow

#The repo defaults to the master development branch. You can also checkout a release branch to build:
git checkout r2.0

#Configure the Build => Use the Below line for Windows Machine
python ./configure.py 

#Configure the Build => Use the Below line for Linux/MacOS Machine
./configure
#This script prompts you for the location of TensorFlow dependencies and asks for additional build configuration options. 

#Build Tensorflow package

#CPU support
bazel build --config=opt //tensorflow/tools/pip_package:build_pip_package 

#GPU support
bazel build --config=opt --config=cuda --define=no_tensorflow_py_deps=true //tensorflow/tools/pip_package:build_pip_package

Створюючи TensorFlow з джерела, ви запустите configureсценарій. Одне з питань, яке configureзадає сценарій, полягає в наступному:

Please specify optimization flags to use during compilation when bazel option "--config=opt" is specified [Default is -march=native]

configureСценарій буде прикріпити прапор (и) ви вказуєте в команді Базел , який будує пакет TensorFlow пипсов. Загалом, ви можете відповісти на це запит одним із двох способів:

• Якщо ви будуєте TensorFlow на тому ж типі процесора, що і той, на якому ви будете запускати TensorFlow, тоді слід прийняти за замовчуванням ( -march=native). Цей параметр оптимізує згенерований код для типу процесора вашого комп'ютера.
• Якщо ви будуєте TensorFlow на одному типі процесора, але запускаєте TensorFlow на іншому типі процесора, тоді подумайте про надання більш конкретного прапора оптимізації, як описано в документації gcc .

Після налаштування TensorFlow, як описано в попередньому маркованому списку, ви зможете створити TensorFlow, повністю оптимізовану для цільового процесора, просто додавши --config=optпрапор до будь-якої команди Bazel, яку ви виконуєте.

Щоб приховати ці попередження, ви можете зробити це перед фактичним кодом.

import os
os.environ['TF_CPP_MIN_LOG_LEVEL']='2'
import tensorflow as tf