Я новачок у TensorFlow. Я нещодавно встановив його (версія процесора Windows) і отримав таке повідомлення:

Успішно встановлено tensorflow-1.4.0 tensorflow-tenzorboard-0.4.0rc2

Потім, коли я спробував бігти

import tensorflow as tf
hello = tf.constant('Hello, TensorFlow!')
sess = tf.Session()
sess.run(hello)
'Hello, TensorFlow!'
a = tf.constant(10)
b = tf.constant(32)
sess.run(a + b)
42
sess.close()

(що я знайшов за допомогою https://github.com/tensorflow/tensorflow )

Я отримав таке повідомлення:

2017-11-02 01: 56: 21.698935: IC: \ tf_jenkins \ home \ workpace \ rel-win \ M \ windows \ PY \ 36 \ tensorflow \ core \ platform \ cpu_feature_guard.cc: 137] Ваш процесор підтримує вказівки, що це Бінарний файл TensorFlow не був складений для використання: AVX AVX2

Але коли я побіг

import tensorflow as tf
hello = tf.constant('Hello, TensorFlow!')
sess = tf.Session()
print(sess.run(hello))

він працював як слід і виводить Hello, TensorFlow!, що вказує на те, що установка справді була успішною, але є щось інше, що не так.

Чи знаєте ви, в чому проблема, і як її усунути?

Про що це попередження?

Сучасні процесори надають багато інструкцій низького рівня, крім звичайної арифметики та логіки, відомих як розширення, наприклад, SSE2, SSE4, AVX тощо. З Вікіпедії :

Розширені векторні розширення ( AVX ) - це розширення до архітектури наборів інструкцій x86 для мікропроцесорів від Intel та AMD, запропонованих Intel в березні 2008 року та вперше підтримані Intel з доставкою процесорів Sandy Bridge у 1 кварталі 2011 року, а пізніше AMD з доставкою процесора Bulldozer у третьому кварталі 2011 року. AVX пропонує нові функції, нові інструкції та нову схему кодування.

Зокрема, AVX впроваджує сплавлені операції множення-накопичення (FMA), які прискорюють обчислення лінійної алгебри, а саме крапковий продукт, множення матриць, згортання тощо. Майже кожен тренінг з машинного навчання передбачає велику кількість цих операцій, отже, буде швидше на процесорі, що підтримує AVX та FMA (до 300%). У попередженні зазначено, що ваш процесор підтримує AVX (ура!).

Я хотів би наголосити тут: справа лише в процесорі .

Чому його тоді не використовували?

Оскільки розподіл tensorflow по замовчуванням будується без розширень процесора , таких як SSE4.1, SSE4.2, AVX, AVX2, FMA і т.д. За замовчуванням будує (ті з pip install tensorflow) призначені , щоб бути сумісним з такою кількістю процесорів , як це можливо. Ще один аргумент полягає в тому, що навіть з цими розширеннями процесор набагато повільніше, ніж GPU, і очікується, що середнє та масштабне навчання машинному навчанню буде здійснюватися на GPU.

Шо тобі варто зробити?

Якщо у вас є графічний процесор , вам не варто піклуватися про підтримку AVX, оскільки найдорожчі операційні системи будуть відправлені на пристрій GPU (якщо явно не встановлено). У цьому випадку ви можете просто проігнорувати це попередження

# Just disables the warning, doesn't enable AVX/FMA
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

... або встановивши, export TF_CPP_MIN_LOG_LEVEL=2якщо ви перебуваєте на Unix. Tensorflow все одно працює нормально, але цих набридливих попереджень ви не побачите.

Якщо у вас немає графічного процесора і ви хочете максимально використовувати процесор, вам слід створити тензофлор ​​із джерела, оптимізованого для вашого процесора з включеними AVX, AVX2 та FMA, якщо ваш процесор підтримує їх. Це обговорювалося в цьому питанні, а також у цьому питанні GitHub . Tensorflow використовує спеціальну систему побудови під назвою bazel, і побудова її не настільки тривіальна, але, безумовно, доцільна. Після цього не тільки те, що попередження зникне, також повинно покращитись тензорна ефективність.

За допомогою цієї команди оновіть бінарний тензол для вашого процесора та ОС за допомогою цієї команди

pip install --ignore-installed --upgrade "Download URL"

URL-адресу завантаження файлу whl можна знайти тут

https://github.com/lakshayg/tensorflow-build

Оптимізація процесора за допомогою GPU

Є підвищення продуктивності, які можна отримати, встановивши TensorFlow з джерела, навіть якщо у вас є графічний процесор і використовувати його для навчання та висновку. Причина полягає в тому, що деякі операції з TF мають лише реалізацію процесора і не можуть працювати на вашому GPU.

Також є кілька порад щодо підвищення продуктивності, які добре використовують ваш процесор. Посібник з продуктивності TensorFlow рекомендує наступне:

Розміщення вхідних конвеєрних операцій на процесорі може значно підвищити продуктивність. Використання процесора для вхідного конвеєра звільняє GPU зосередитися на навчанні.

Для кращої продуктивності вам слід написати свій код, щоб використовувати ваш процесор і GPU для роботи в тандемі, а не скидати все це на ваш GPU, якщо у вас є. Оптимізовані ваші бінарні файли TensorFlow для вашого центрального процесора можуть виплатити години заощадженого часу роботи, і вам доведеться це зробити один раз.

Для Windows ви можете перевірити офіційну оптимізацію Intel MKL для коліс TensorFlow , складених з AVX2. Це рішення пришвидшує мій висновок ~ x3.

conda install tensorflow-mkl

Для Windows (спасибі власнику f040225) перейдіть сюди: https://github.com/fo40225/tensorflow-windows-wheel, щоб отримати URL-адресу для вашого середовища на основі комбінації "tf + python + cpu_instruction_extension". Потім використовуйте цей cmd для встановлення:

pip install --ignore-installed --upgrade "URL"

Якщо ви зіткнулися з помилкою "Файл - це не поштовий файл", завантажте .whl на свій локальний комп'ютер та скористайтеся цим cmd для встановлення:

pip install --ignore-installed --upgrade /path/target.whl

Якщо ви використовуєте pip- версію tensorflow, це означає, що вона вже складена, і ви її просто встановлюєте. В основному ви встановлюєте tensorflow-gpu, але коли ви завантажуєте його з сховища та намагаєтеся створити, вам слід створити його за допомогою CPU AVX підтримки. Якщо ви проігноруєте це, ви отримаєте попередження щоразу, коли будете працювати на процесорі.

Найпростіший спосіб, який я знайшов, щоб це виправити - це видалити все, а потім встановити певну версію tensorflow-gpu:

1. видалити tensorflow:

    pip uninstall tensorflow

2. видаліть tensorflow-gpu: (переконайтеся, що запустіть це, навіть якщо ви не впевнені, чи встановили ви це)

    pip uninstall tensorflow-gpu

3. Встановіть конкретну версію tensorflow-gpu:

    pip install tensorflow-gpu==2.0.0
    pip install tensorflow_hub
    pip install tensorflow_datasets

Ви можете перевірити, чи спрацювало це, додавши наступний код у файл python:

from __future__ import absolute_import, division, print_function, unicode_literals

import numpy as np

import tensorflow as tf
import tensorflow_hub as hub
import tensorflow_datasets as tfds

print("Version: ", tf.__version__)
print("Eager mode: ", tf.executing_eagerly())
print("Hub Version: ", hub.__version__)
print("GPU is", "available" if tf.config.experimental.list_physical_devices("GPU") else "NOT AVAILABLE")

Запустіть файл і тоді вихід повинен бути приблизно таким:

Version:  2.0.0
Eager mode:  True
Hub Version:  0.7.0
GPU is available

Сподіваюсь, це допомагає