Коли програми, що подаються нижче, дбають лише про напрямок векторів слів (наприклад, вони звертають увагу лише на косинусну схожість двох слів), тоді нормалізуйтеся та забудьте про довжину.
Однак, якщо додатки, що подаються нижче, здатні (або потребують) розглянути більш розумні аспекти, такі як значення слова або послідовність у використанні слова (див. Нижче), то нормалізація може бути не такою доброю ідеєю.
Від Levy et al., 2015 (і, власне, більшість літератури про вкладення слів):
Вектори нормалізуються до одиничної довжини, перш ніж їх використовувати для обчислення подібності, роблячи схожість косинуса і крапкового продукту еквівалентними.
Також від Wilson and Schakel, 2015 :
Більшість застосувань вбудовування слів досліджують не самі вектори слова, а відносини між ними, щоб вирішити, наприклад, подібність та завдання відношення слова. Для цих завдань було встановлено, що використання нормалізованих векторів слів покращує продуктивність. Отже, довжина вектора слова зазвичай ігнорується.
Нормалізація еквівалентна втраті поняття довжини. Тобто, як тільки ви нормалізуєте слова вектори, ви забудете довжину (норму, модуль), яку вони мали відразу після етапу навчання.
Однак іноді варто враховувати початкову довжину слова вектори.
Шакель і Вілсон, 2015 рік спостерігали кілька цікавих фактів щодо довжини слова векторів:
Слово, яке послідовно використовується в подібному контексті, буде представлене більш довгим вектором, ніж слово тієї ж частоти, яке використовується в різних контекстах.
Не тільки напрямок, а й довжина векторів слів містить важливу інформацію.
Довжина вектора слова надає в поєднанні з частотою терміна корисну міру значущості слова.