Класифікація документів за допомогою згорткової нейронної мережі

Я намагаюся використовувати CNN (звивисту нейронну мережу) для класифікації документів. CNN для короткого тексту / речень вивчався у багатьох працях. Однак, схоже, жоден папір не використовував CNN для довгого тексту чи документа.
Моя проблема полягає в тому, що в документі занадто багато функцій. У моєму наборі даних кожен документ містить більше 1000 лексем / слів. Щоб подати кожен приклад до CNN, я перетворюю кожен документ у матрицю, використовуючи word2vec або рукавичку, отримуючи велику матрицю. Для кожної матриці висота - це довжина документа, а ширина - розмір вектора вбудовування слова. У моєму наборі даних більше 9000 прикладів, і це потребує багато часу для тренування мережі (цілий тиждень), що ускладнює точну настройку параметрів.
Ще один метод вилучення особливостей - використовувати один гарячий вектор для кожного слова, але це створить дуже рідкісні матриці. І звичайно, цей метод навіть займає більше часу на тренування, ніж попередній метод.
То чи існує кращий метод вилучення функцій без створення великих вхідних матриць?
І як ми маємо поводитися з різною довжиною документів? Наразі я додаю спеціальні рядки, щоб документ мав однакову довжину, але не думаю, що це вдале рішення.

Ви можете зменшити довжину вхідних даних, подавши документи як серії векторів речень замість більш довгих рядів векторів слів. Doc2vec - це один із способів (кожне речення було б "документом").

Якщо ви не хочете використовувати Doc2vec, одним із способів створення векторів речення буде середнє значення векторів слів для кожного речення, що дає вам один вектор однакової ширини для кожного речення. Це може бути не настільки точним, як деякі методи, доступні через Doc2Vec, але я використовував це із значним успіхом для моделювання тем.

У будь-якому випадку, як тільки ви маєте свої вектори речень, вишикуйте їх послідовно для кожного документа, як ви вже робите для векторів слів, і пропустіть потім свою модель. Оскільки довжина послідовності для кожного документа коротша, ваша модель повинна тренуватися швидше, ніж у словах векторів.

До речі, цей метод може працювати, коли масштабувати вгору чи вниз, щоб задовольнити ваші потреби в точності та швидкості. (наприклад, якщо ваша CNN все ще надто повільно тренується з векторами речень, ви можете замість цього створити вектори абзацу).

Один із способів обробки документів різної довжини - через прокладки. Усі ваші послідовності документів повинні бути рівними за довжиною вашому найдовшому документу. Отже, якщо ваш найдовший документ - 400 пропозицій, то всі послідовності документа становитимуть 400 векторів. Документи, менші за максимальну довжину, будуть залиті векторами, заповненими нулями.

Ви можете використовувати вбудовування регіону. Замість того, щоб конвертувати окремі "жетони" у вектори, ви можете використовувати стратегію перетворення регіонів тексту у вектори. Цей підхід використовується тут: https://arxiv.org/abs/1504.01255

Якщо ви не обмежені CNN, ви можете використовувати такі ієрархічні моделі уваги, як ця: https://www.cs.cmu.edu/~diyiy/docs/naacl16.pdf, де у вас є трубопровід такого типу: word vectors (combined into) sentence vectors (combined into) final document vector

Зауважте, що за допомогою цього методу вам все одно доведеться перетворити всі вектори слова на вбудовування, але не всі відразу.

Для обробки документів різної довжини набивання / вирізання - єдине рішення поки що.

Нарешті, щоб збільшити швидкість, ви можете спробувати зменшити розмірність тексту, включивши лише важливі розділи (можливо, достатньо лише початку документа, щоб мати гарну точність класифікації)