Keras EmbeddingШар не виконує ніякої множення матриць , але це тільки:
1. створює вагову матрицю розмірів (vocabulary_size) x (embading_dimension)
2. індексує цю матрицю ваги
Завжди корисно поглянути на вихідний код, щоб зрозуміти, що робить клас. У цьому випадку ми подивимось на class Вбудовування, яке успадковується від базового шару classпід назвою Шар .
(1) - Створення вагової матриці розмірів (vocabulary_size) x (embedding_dimension) :
Це відбувається при buildфункції вбудовування :
def build(self, input_shape):
self.embeddings = self.add_weight(
shape=(self.input_dim, self.output_dim),
initializer=self.embeddings_initializer,
name='embeddings',
regularizer=self.embeddings_regularizer,
constraint=self.embeddings_constraint,
dtype=self.dtype)
self.built = True
Якщо ви поглянете на базовий клас Layer , то побачите, що функція add_weightвище просто створює матрицю навчальних ваг (у цьому випадку розмірів (vocabulary_size) x (embedding_dimension) ):
def add_weight(self,
name,
shape,
dtype=None,
initializer=None,
regularizer=None,
trainable=True,
constraint=None):
"""Adds a weight variable to the layer.
# Arguments
name: String, the name for the weight variable.
shape: The shape tuple of the weight.
dtype: The dtype of the weight.
initializer: An Initializer instance (callable).
regularizer: An optional Regularizer instance.
trainable: A boolean, whether the weight should
be trained via backprop or not (assuming
that the layer itself is also trainable).
constraint: An optional Constraint instance.
# Returns
The created weight variable.
"""
initializer = initializers.get(initializer)
if dtype is None:
dtype = K.floatx()
weight = K.variable(initializer(shape),
dtype=dtype,
name=name,
constraint=constraint)
if regularizer is not None:
with K.name_scope('weight_regularizer'):
self.add_loss(regularizer(weight))
if trainable:
self._trainable_weights.append(weight)
else:
self._non_trainable_weights.append(weight)
return weight
(2) - Індексація цієї вагової матриці
Це відбувається при callфункції вбудовування :
def call(self, inputs):
if K.dtype(inputs) != 'int32':
inputs = K.cast(inputs, 'int32')
out = K.gather(self.embeddings, inputs)
return out
Ця функція повертає вихідний рівень Embeddingшару, який є K.gather(self.embeddings, inputs). Що саме робить tf.keras.backend.gather , це індексувати матрицю ваг self.embeddings(див. buildФункцію вище), відповідно до inputsякої мають бути списки цілих додатних чисел.
Ці списки можна отримати, наприклад, якщо ви передаєте введення тексту / слів функції one_hot Keras, яка кодує текст у списку індексів слів розміром n (це НЕ одне гаряче кодування - див. Також цей приклад для отримання додаткової інформації: https://machinelearningmastery.com/use-word-embedding-layers-deep-learning-keras/ ).
Тому це все. Немає матричного множення.
Навпаки, шар тільки корисно , тому що саме це дозволяє уникнути виконання матричного множення і , отже, економить на деяких обчислювальних ресурсів.Keras Embedding
В іншому випадку ви можете просто використовувати Keras щільний шар (після того, як ви закодували свої вхідні дані), щоб отримати матрицю тренувальних ваг ( розмірів (vocabulary_size) x (embedding_dimension) ), а потім просто виконати множення, щоб отримати вихідний результат, який буде точно те саме з виходом Embeddingшару.