Перетворити масив індексів у 1-гарячий закодований масив numpy


227

Скажімо, у мене є масив 1d numpy

a = array([1,0,3])

Я хотів би кодувати це як 2d 1-гарячий масив

b = array([[0,1,0,0], [1,0,0,0], [0,0,0,1]])

Чи є швидкий спосіб зробити це? Швидше, ніж просто перекидання, aщоб встановити елементи b, тобто.

Відповіді:


395

Ваш масив aвизначає стовпці ненульових елементів у вихідному масиві. Вам також потрібно визначити рядки, а потім використовувати фантазійну індексацію:

>>> a = np.array([1, 0, 3])
>>> b = np.zeros((a.size, a.max()+1))
>>> b[np.arange(a.size),a] = 1
>>> b
array([[ 0.,  1.,  0.,  0.],
       [ 1.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  1.]])

111
Гарний. Узагальнюючи це трохи:, b = np.zeros((a.size, a.max()+1))тоді `b [np.arange (a.size), a] = 1`
Джеймс Етвуд

10
@JamesAtwood, це залежить від програми, але я буду робити параметр max, а не обчислювати його з даних.
Мохаммед Могімі

1
@MohammadMoghimi Звичайно, має сенс для мене.
Джеймс Етвуд

7
що якщо 'a' було 2d? і ви хочете 3-денну матричну гарячу матрицю?
AD

8
Хтось може вказати на пояснення, чому це працює, але фрагмент з [:, a] не робить?
Н. МакА.

168
>>> values = [1, 0, 3]
>>> n_values = np.max(values) + 1
>>> np.eye(n_values)[values]
array([[ 0.,  1.,  0.,  0.],
       [ 1.,  0.,  0.,  0.],
       [ 0.,  0.,  0.,  1.]])

9
Це рішення є єдиним корисним для вхідної ND-матриці до гарячої N + 1D-матриці. Приклад: input_matrix = np.asarray ([[0,1,1], [1,1,2]]); np.eye (3) [input_matrix] # вихідний 3D тензор
Ісаіас

5
+1, оскільки цьому слід віддати перевагу над прийнятим рішенням. Для більш загального рішення, однак, valuesповинен бути масив Numpy, а не список Python, тоді він працює у всіх вимірах, не тільки в 1D.
Олексій

8
Зауважте, що враховувати np.max(values) + 1кількість відра може бути небажаним, якщо ваш набір даних скажемо випадковим чином, і випадково він не може містити максимального значення. Кількість відра повинна бути скоріше параметром, і може бути встановлено твердження / перевірка, щоб перевірити, чи є кожне значення в межах 0 (включаючи) та кількість відра (без).
NightElfik

2
Для мене це рішення є найкращим і може бути легко узагальнено до будь-якого тензору: def one_hot (x, глибина = 10): return np.eye (глибина) [x]. Зауважимо, що надання тензору x як індексу повертає тензору очей рядки x.shape.
cecconeurale

4
Простий спосіб "зрозуміти" це рішення і чому він працює для N-dims (без читання numpyдокументів): у кожному розташуванні в початковій матриці ( values) у нас є ціле число k, і ми "поміщаємо" 1-гарячий вектор eye(n)[k]у це місце . Це додає вимір, тому що ми "ставимо" вектор у розташування скаляра в початковій матриці.
avivr

35

Якщо ви використовуєте кери, для цього є вбудована утиліта:

from keras.utils.np_utils import to_categorical   

categorical_labels = to_categorical(int_labels, num_classes=3)

І це так само, як відповідь @ YXD (див. Вихідний код ).


32

Ось що мені здається корисним:

def one_hot(a, num_classes):
  return np.squeeze(np.eye(num_classes)[a.reshape(-1)])

Тут num_classesрозшифровується кількість занять. Отже, якщо у вас aвектор з формою (10000,), ця функція перетворює його на (10000, С) . Зауважте, що aце нульове значення, тобто one_hot(np.array([0, 1]), 2)дасть [[1, 0], [0, 1]].

Я вірю саме тому, що ви хотіли мати.

PS: джерело моделей Sequence - deeplearning.ai


також, в чому причина робити np.squeeze (), оскільки отримуємо (розмір вектор a) безліч одних гарячих закодованих масивів за допомогою np.eye(num_classes)[a.reshape(-1)]. What you are simply doing is using np.eye` ви створюєте діагональну матрицю з кожним індексом класу як 1 нуль спокою, а пізніше використовуючи надані індекси шляхом a.reshape(-1)отримання виходу, відповідного індексу в np.eye(). Я не розумів необхідності, np.sqeezeоскільки ми використовуємо це для простого видалення одиничних вимірів, яких у нас ніколи не буде, оскільки в вимірі виходу завжди буде(a_flattened_size, num_classes)
Ану,

27

Ви можете використовувати sklearn.preprocessing.LabelBinarizer:

Приклад:

import sklearn.preprocessing
a = [1,0,3]
label_binarizer = sklearn.preprocessing.LabelBinarizer()
label_binarizer.fit(range(max(a)+1))
b = label_binarizer.transform(a)
print('{0}'.format(b))

вихід:

[[0 1 0 0]
 [1 0 0 0]
 [0 0 0 1]]

Крім усього іншого, ви можете ініціалізувати sklearn.preprocessing.LabelBinarizer()так, щоб результат transformбув рідким.


21

Ви також можете використовувати очну функцію numpy:

numpy.eye(number of classes)[vector containing the labels]


1
Для більшої ясності використання np.identity(num_classes)[indices]може бути краще. Гарна відповідь!
Олівер

5

Ось функція, яка перетворює 1-D вектор у 2-D однонагрітий масив.

#!/usr/bin/env python
import numpy as np

def convertToOneHot(vector, num_classes=None):
    """
    Converts an input 1-D vector of integers into an output
    2-D array of one-hot vectors, where an i'th input value
    of j will set a '1' in the i'th row, j'th column of the
    output array.

    Example:
        v = np.array((1, 0, 4))
        one_hot_v = convertToOneHot(v)
        print one_hot_v

        [[0 1 0 0 0]
         [1 0 0 0 0]
         [0 0 0 0 1]]
    """

    assert isinstance(vector, np.ndarray)
    assert len(vector) > 0

    if num_classes is None:
        num_classes = np.max(vector)+1
    else:
        assert num_classes > 0
        assert num_classes >= np.max(vector)

    result = np.zeros(shape=(len(vector), num_classes))
    result[np.arange(len(vector)), vector] = 1
    return result.astype(int)

Нижче наведено кілька прикладів використання:

>>> a = np.array([1, 0, 3])

>>> convertToOneHot(a)
array([[0, 1, 0, 0],
       [1, 0, 0, 0],
       [0, 0, 0, 1]])

>>> convertToOneHot(a, num_classes=10)
array([[0, 1, 0, 0, 0, 0, 0, 0, 0, 0],
       [1, 0, 0, 0, 0, 0, 0, 0, 0, 0],
       [0, 0, 0, 1, 0, 0, 0, 0, 0, 0]])

Зауважте, що це працює лише на векторах (а assertдля перевірки форми вектора немає;)).
johndodo

1
+1 для узагальненої перевірки підходу та параметрів. Однак, як звичайна практика, я пропоную НЕ використовувати твердження для перевірки входів. Використовуйте твердження лише для перевірки внутрішніх проміжних умов. Швидше перетворіть все assert ___на if not ___ raise Exception(<Reason>).
fnunnari

3

Для 1-гарячого кодування

   one_hot_encode=pandas.get_dummies(array)

Наприклад

Насолоджуйтесь кодуванням


Дякуємо за коментар, але короткий опис того, що робить код, буде дуже корисним!
Clarus

будь ласка, посилайтесь на приклад
Shubham Mishra

@Clarus Оформити приклад нижче. Ви можете отримати доступ до одного гарячого кодування кожного значення в масиві np, зробивши one_hot_encode [значення]. >>> import numpy as np >>> import pandas >>> a = np.array([1,0,3]) >>> one_hot_encode=pandas.get_dummies(a) >>> print(one_hot_encode) 0 1 3 0 0 1 0 1 1 0 0 2 0 0 1 >>> print(one_hot_encode[1]) 0 1 1 0 2 0 Name: 1, dtype: uint8 >>> print(one_hot_encode[0]) 0 0 1 1 2 0 Name: 0, dtype: uint8 >>> print(one_hot_encode[3]) 0 0 1 0 2 1 Name: 3, dtype: uint8
Діпак

2

Я думаю, що коротка відповідь - ні. Для більш загального випадку в nрозмірах я придумав таке:

# For 2-dimensional data, 4 values
a = np.array([[0, 1, 2], [3, 2, 1]])
z = np.zeros(list(a.shape) + [4])
z[list(np.indices(z.shape[:-1])) + [a]] = 1

Мені цікаво, чи є краще рішення - мені не подобається, що я повинен створювати ці списки в останні два рядки. У будь-якому випадку, я зробив деякі вимірювання з, timeitі здається, що numpy-based ( indices/ arange) та ітеративні версії працюють приблизно однаково.


2

Просто для розробки відмінної відповіді від K3 --- rnc , ось більш загальна версія:

def onehottify(x, n=None, dtype=float):
    """1-hot encode x with the max value n (computed from data if n is None)."""
    x = np.asarray(x)
    n = np.max(x) + 1 if n is None else n
    return np.eye(n, dtype=dtype)[x]

Крім того , тут швидкий і брудний тест цього методу і методу від прийнятого в даний час відповіді по YXD (трохи змінилася, так що вони пропонують один і той же API , крім того , що останні працюють тільки з 1D ndarrays):

def onehottify_only_1d(x, n=None, dtype=float):
    x = np.asarray(x)
    n = np.max(x) + 1 if n is None else n
    b = np.zeros((len(x), n), dtype=dtype)
    b[np.arange(len(x)), x] = 1
    return b

Останній метод на 35% швидший (MacBook Pro 13 2015), але перший є більш загальним:

>>> import numpy as np
>>> np.random.seed(42)
>>> a = np.random.randint(0, 9, size=(10_000,))
>>> a
array([6, 3, 7, ..., 5, 8, 6])
>>> %timeit onehottify(a, 10)
188 µs ± 5.03 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)
>>> %timeit onehottify_only_1d(a, 10)
139 µs ± 2.78 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

2

Ви можете використовувати наступний код для перетворення в гарячий вектор:

нехай x - звичайний вектор класу, що має один стовпець з класами 0 до деякого числа:

import numpy as np
np.eye(x.max()+1)[x]

якщо 0 - не клас; потім видаліть +1.


1

Нещодавно я зіткнувся з проблемою такого ж типу і знайшов таке рішення, яке виявилося задовольняючим лише у тому випадку, якщо у вас є цифри, які відповідають певній формі. Наприклад, якщо ви хочете ввести гарячий кодування наступного списку:

all_good_list = [0,1,2,3,4]

далі, розміщені рішення вже згадуються вище. Але що робити, якщо врахувати ці дані:

problematic_list = [0,23,12,89,10]

Якщо ви це зробите згаданими вище методами, швидше за все, ви отримаєте 90 стовпчиків з однією гарячою інформацією. Це тому, що всі відповіді включають щось подібне n = np.max(a)+1. Я знайшов більш загальне рішення, яке розробило для мене і хотів поділитися з вами:

import numpy as np
import sklearn
sklb = sklearn.preprocessing.LabelBinarizer()
a = np.asarray([1,2,44,3,2])
n = np.unique(a)
sklb.fit(n)
b = sklb.transform(a)

Я сподіваюся, що хтось стикався з такими ж обмеженнями щодо вищезазначених рішень, і це може стати в нагоді


1

Такий тип кодування зазвичай є частиною масиву numpy. Якщо ви використовуєте нумерований масив, такий:

a = np.array([1,0,3])

то є дуже простий спосіб перетворити це в 1-гаряче кодування

out = (np.arange(4) == a[:,None]).astype(np.float32)

Це воно.


1
  • p буде 2d ndarray.
  • Ми хочемо знати, яке значення є найвищим підряд, розміщуючи там 1 та всюди 0.

чисте і просте рішення:

max_elements_i = np.expand_dims(np.argmax(p, axis=1), axis=1)
one_hot = np.zeros(p.shape)
np.put_along_axis(one_hot, max_elements_i, 1, axis=1)

1

Використання кроку трубопроводу Neuraxle :

  1. Налаштуйте свій приклад
import numpy as np
a = np.array([1,0,3])
b = np.array([[0,1,0,0], [1,0,0,0], [0,0,0,1]])
  1. Зробіть фактичну конверсію
from neuraxle.steps.numpy import OneHotEncoder
encoder = OneHotEncoder(nb_columns=4)
b_pred = encoder.transform(a)
  1. Стверджуйте, це працює
assert b_pred == b

Посилання на документацію: neuraxle.steps.numpy.OneHotEncoder


0

Ось приклад функції, яку я написав для цього на основі відповідей вище та власного випадку використання:

def label_vector_to_one_hot_vector(vector, one_hot_size=10):
    """
    Use to convert a column vector to a 'one-hot' matrix

    Example:
        vector: [[2], [0], [1]]
        one_hot_size: 3
        returns:
            [[ 0.,  0.,  1.],
             [ 1.,  0.,  0.],
             [ 0.,  1.,  0.]]

    Parameters:
        vector (np.array): of size (n, 1) to be converted
        one_hot_size (int) optional: size of 'one-hot' row vector

    Returns:
        np.array size (vector.size, one_hot_size): converted to a 'one-hot' matrix
    """
    squeezed_vector = np.squeeze(vector, axis=-1)

    one_hot = np.zeros((squeezed_vector.size, one_hot_size))

    one_hot[np.arange(squeezed_vector.size), squeezed_vector] = 1

    return one_hot

label_vector_to_one_hot_vector(vector=[[2], [0], [1]], one_hot_size=3)

0

Додаю для завершення просту функцію, використовуючи лише numpy операторів:

   def probs_to_onehot(output_probabilities):
        argmax_indices_array = np.argmax(output_probabilities, axis=1)
        onehot_output_array = np.eye(np.unique(argmax_indices_array).shape[0])[argmax_indices_array.reshape(-1)]
        return onehot_output_array

Як вхід береться матриця ймовірності: наприклад:

[[0.03038822 0.65810204 0.16549407 0.3797123] ... [0.02771272 0.2760752 0.3280924 0.33458805]]

І повернеться

[[0 1 0 0] ... [0 0 0 1]]


0

Ось незалежне від розмірності автономне рішення.

Це перетворить будь-який N-мірний масив arrнегативних цілих чисел в однонагрітий N + 1-мірний масив one_hot, де це one_hot[i_1,...,i_N,c] = 1означає arr[i_1,...,i_N] = c. Ви можете відновити вхід черезnp.argmax(one_hot, -1)

def expand_integer_grid(arr, n_classes):
    """

    :param arr: N dim array of size i_1, ..., i_N
    :param n_classes: C
    :returns: one-hot N+1 dim array of size i_1, ..., i_N, C
    :rtype: ndarray

    """
    one_hot = np.zeros(arr.shape + (n_classes,))
    axes_ranges = [range(arr.shape[i]) for i in range(arr.ndim)]
    flat_grids = [_.ravel() for _ in np.meshgrid(*axes_ranges, indexing='ij')]
    one_hot[flat_grids + [arr.ravel()]] = 1
    assert((one_hot.sum(-1) == 1).all())
    assert(np.allclose(np.argmax(one_hot, -1), arr))
    return one_hot

0

Використовуйте наступний код. Це працює найкраще.

def one_hot_encode(x):
"""
    argument
        - x: a list of labels
    return
        - one hot encoding matrix (number of labels, number of class)
"""
encoded = np.zeros((len(x), 10))

for idx, val in enumerate(x):
    encoded[idx][val] = 1

return encoded

Знайдено його тут PS Вам не потрібно переходити за посиланням.


5
Вам слід уникати використання петель з numpy
Кенан,
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.