Зростання IDF (зворотна частота документа)

У програмі видобутку тексту одним простим підходом є використання евристичного для створення векторів як компактних розріджених зображень документів. Це добре для серійної установки, де весь корпус відомий априорі, оскільки вимагає весь корпус $tf-idf$ $idf$

i г f (т) = журнал \frac{| D |}{| {г : т \in г} |}

$\mathrm{idf}(t) = \log \frac{|D|}{|\{d: t \in d\}|}$

де - термін, - документ, - корпус документа, а (не показано) - словник. $t$ $d$ $D$ $T$

Однак зазвичай нові документи надходять з часом. Один із варіантів - продовжувати користуватися існуючим до отримання певної кількості нових документів та перерахувати його. Однак це здається досить неефективним. Хтось знає про схему додаткового оновлення, яка (можливо, приблизно) збігається до значення, якщо всі дані бачились заздалегідь? Або альтернативно, чи є інший захід, який фіксує те саме поняття, але може бути обчислений поступово? $idf$

Існує також пов'язане питання про те, чи залишається хорошим показником у часі. Оскільки idf фіксує поняття частоти корпусного слова, можливо, старіші документи в корпусі (скажімо, наприклад, що мій корпус включає понад 100 років журнальних статей), оскільки частота різних слів змінюється з часом. У цьому випадку насправді може бути розумним викидати старі документи, коли надходять нові, фактично використовуючи розсувне вікно . Можливо, можна також зберігати всі попередні вектори коли обчислюються нові, і тоді, якби ми хотіли отримати документи з скажімо 1920-1930 років, ми могли б використати $idf$ $idf$ $idf$ $idf$ обчислюється з документів у цьому діапазоні дат. Чи має сенс цей підхід?

Edit: Існує окремий , але пов'язаний з цим питання про словнику . З часом розвиватимуться нові терміни в словнику, які раніше не з'являлися, тому потрібно буде рости, а значить, і довжина вектора . Схоже , що це не буде проблемою, так як нулі можуть бути додані до старих векторів. $T$ $|T|$ $idf$ $idf$

time-series text-mining

— tdc
джерело

дурне запитання: Проблема зберігання знаменника для кожного t? Як співвідношення | t | до | d | схоже (загалом)?

— steffen

Вибачте, можливо, рівняння не зрозуміло -

- обернена частота документа терміна t, а не час

. Отже, в момент

ви мали би вектор довжини

, тобто розмір словника (який також може змінюватися). Я вноситиму зміни в цьому сенсі.

i d f (t)

$idf(t)$

t

$t$

t

$t$

| T |

$|T|$

— tdc

Я зрозумів рівняння. Моє запитання було: Якщо зберігати словник не є проблемою, то: Замість зберігання | T | idfs один магазин | T | знаменники (рівняння) + кількість документів. Інкрементальне оновлення - це не проблема, і IDF обчислюється на ходу. У мене є відчуття, ніби я щось пропустив.

— steffen

Отже, ви маєте на увазі щось на зразок нового документа

, якщо у нас є значення

, ми просто додамо його до знаменника для

d^{*}

$d^*$

d : t \in d

${d:t \in d}$

t : t \in d^{*}

${t:t \in d^*}$

— tdc

точно. Якщо це можливо?

— steffen

Добре, дякую Стеффен за корисні коментарі. Я здогадуюсь, зрештою, відповідь досить проста. За його словами, все, що нам потрібно зробити, - це зберігати поточний знаменник (називати це ): $z$

$z(t) = |\{d:t\in d\}|$

Тепер, отримавши новий документ , оновимо знаменник просто: $d^*$

$z^*(t) = z(t) + \left\{ \begin{array}{ll} 1 & \mbox{if}\; {t\in d^*} \\ 0 & \mbox{otherwise} \end{array} \right.$

Тоді нам доведеться перерахувати на основі нового вектора. $tf-idf$ $idf$

Аналогічно, щоб видалити старий документ, ми декрементуємо чисельник аналогічно.

Це робить означає , що ми повинні або зберігати весь матриці, а також $tf$ матриці (подвоєння вимоги до пам'яті), або ми повинні обчислити оцінки при необхідності (збільшення обчислювальним витрати). Я не бачу цього способу. $tf-idf$ $tf-idf$

У другій частині питання, про еволюцію векторів з часом, видається, що ми можемо скористатись вищевказаним методом та зберегти набір "орієнтирів" векторів (знаменників) для різних діапазонів дат (або, можливо, змісту) підмножини). Звичайно, - щільний вектор довжини словника, тому зберігання багатьох із них буде інтенсивним для пам'яті; однак це, ймовірно, є кращим для перерахунку векторів коли це потрібно (що знову вимагає також збереження матриці або замість цього). $idf$ $z$ $z$ $idf$ $tf$

— tdc
джерело