Як працює шар "Вбудовування" Кераса?

Потрібно зрозуміти, як працює шар «Вбудовування» у бібліотеці Кераса. Я виконую наступний код у Python

import numpy as np
from keras.models import Sequential
from keras.layers import Embedding

model = Sequential()
model.add(Embedding(5, 2, input_length=5))

input_array = np.random.randint(5, size=(1, 5))

model.compile('rmsprop', 'mse')
output_array = model.predict(input_array)

що дає наступний вихід

input_array = [[4 1 3 3 3]]
output_array = 
[[[ 0.03126476  0.00527241]
  [-0.02369716 -0.02856163]
  [ 0.0055749   0.01492429]
  [ 0.0055749   0.01492429]
  [ 0.0055749   0.01492429]]]

Я розумію, що кожне значення в масиві input_array відображається на 2 елементних елементів у масиві output_array, тому вектор 1 X 4 дає 1 X 4 X 2 вектори. Але як обчислюються відображені значення?

Фактично, вихідні вектори не обчислюються з вхідних даних, використовуючи будь-яку математичну операцію. Натомість кожне вхідне ціле число використовується як індекс для доступу до таблиці, що містить усі можливі вектори. Саме тому вам потрібно вказати розмір лексики в якості першого аргументу (щоб таблицю можна було ініціалізувати).

Найбільш поширене застосування цього шару для обробки тексту. Подивимося простий приклад. Наш навчальний набір складається лише з двох фраз:

Сподіваємося побачити Вас найближчим часом

Приємно бачити вас знову

Таким чином, ми можемо кодувати ці фрази, присвоївши кожному слову унікальне ціле число (за порядком появи у нашому навчальному наборі даних, наприклад). Тоді наші фрази можна переписати як:

[0, 1, 2, 3, 4]

[5, 1, 2, 3, 6]

А тепер уявімо, що ми хочемо навчити мережу, перший шар якої - вбудовуючий шар. У цьому випадку ми повинні ініціалізувати його наступним чином:

Embedding(7, 2, input_length=5)

Перший аргумент (7) - це кількість різних слів у навчальному наборі. Другий аргумент (2) вказує на розмір вбудованих векторів. Input_length argumet, звичайно, визначає розмір кожної вхідної послідовності.

Після того, як мережа буде навчена, ми можемо отримати ваги вкладеного шару, який у цьому випадку буде розміром (7, 2) і може розглядатися як таблиця, яка використовується для відображення цілих чисел на вбудовування векторів:

+------------+------------+
|   index    |  Embedding |
+------------+------------+
|     0      | [1.2, 3.1] |
|     1      | [0.1, 4.2] |
|     2      | [1.0, 3.1] |
|     3      | [0.3, 2.1] |
|     4      | [2.2, 1.4] |
|     5      | [0.7, 1.7] |
|     6      | [4.1, 2.0] |
+------------+------------+

Отже, згідно з цими вкладеннями, друга наша навчальна фраза буде представлена ​​як:

[[0.7, 1.7], [0.1, 4.2], [1.0, 3.1], [0.3, 2.1], [4.1, 2.0]]

Спочатку це може здатися протилежним інтуїтивно зрозумілим, але основні механізми автоматичної диференціації (наприклад, Tensorflow або Theano) вдається оптимізувати ці вектори, пов'язані з кожним цілим вхідним числом, як і будь-який інший параметр вашої моделі. Також цікаво використовувати вбудовування, вивчені іншими методами / людьми в різних областях (див. Https://blog.keras.io/using-pre-trained-word-embeddings-in-a-keras-model.html ) як зроблено в [1].

[1] Лопес-Санчес, Д., Герреро, Ж.Р., Аррієта, А.Г., і Корчадо, Дж. М. Гібридизація метричного навчання та обгрунтування на основі випадків адаптивного виявлення кліків. Прикладна розвідка, 1-16.

У мене теж було таке питання, і, прочитавши пару публікацій та матеріалів, я думаю, я зрозумів, що таке роль шару вбудовування.

Я думаю, що цей пост також корисний для розуміння, проте, я дійсно вважаю відповідь Даніеля зручною для засвоєння. Але я також отримав ідею за нею, головним чином, зрозумівши вкладені слова .

Я вважаю, що неправильно сказати, що вбудовані шари зменшують введення кодування гарячим до меншої кількості входів. Зрештою, один гарячий вектор - це одновимірні дані, і він справді перетворюється на 2 виміри в нашому випадку. Краще це сказати

шар вбудовування придумує відношення входів в іншому вимірі

Будь то в 2 вимірах або навіть вище.

Я також знаходжу дуже цікаву схожість між вбудовою слова до аналізу основних компонентів. Хоча назва може виглядати складною, концепція відверта. Що PCA робить, це визначити набір даних на основі деяких загальних правил (так званих принципових компонентів). Таким чином, це як би мати дані, і ви хочете описати їх, але використовуючи лише 2 компоненти. Що в цьому сенсі дуже схоже на вкладення слів. Вони обидва виконують однакову роботу в іншому контексті. Ви можете дізнатися більше тут . Я сподіваюся, що, можливо, розуміння PCA допоможе зрозуміти вбудовування шарів за допомогою аналогії.

Щоб завершити, відповідь на початкове запитання, що " як обчислює значення? ", Буде:

• В основному, наша нейронна мережа фіксує основну структуру вхідних даних (наших пропозицій) і ставить відношення між словами в нашому словнику у вищий вимір (скажімо 2) шляхом оптимізації.
• Більш глибоке розуміння сказало б, що частота кожного слова, що з’являється з іншим словом з нашого словника, впливає (за дуже наївного підходу ми можемо обчислити це вручну)
• Вищезгадана частота може бути однією з багатьох базових структур, яку може охопити NN
• Інтуїцію можна знайти на посиланні youtube, що пояснює вбудовування слова