Парель між LSA та pLSA

В оригінальній статті pLSA автор Томас Гофман провів паралель між структурами даних pLSA та LSA, яку я хотів би обговорити з вами.

Фон:

Здійснюючи натхнення для отримання інформації, припустимо, у нас є колекція документів та словниковий запас термінів $N$

D = {d_{1}, d_{2}, . . . ., d_{N}}

$D = \lbrace d_1, d_2, ...., d_N \rbrace$

M

$M$

Ω = {ω_{1}, ω_{2}, . . ., ω_{M}}

$\Omega = \lbrace \omega_1, \omega_2, ..., \omega_M \rbrace$

Корпус може бути представлено у вигляді матриці cooccurences. $X$ $N \times M$

У латентному Semantic аналізів по СВДА матриці $X$ розбивається на три матриці:

X = U Σ V^{T}

$X = U \Sigma V^T$ де

Σ = d i a g {σ_{1}, . . ., σ_{s}}

$\Sigma = diag \lbrace \sigma_1, ..., \sigma_s \rbrace$ і - значення однини

σ_{i}

$\sigma_i$

X

$X$ і

s

$s$ є званням

X

$X$ .

Апроксимація LSA $X$

\hat{X} = \hat{U} \hat{Σ} \hat{V^{T}}

$\hat{X} = \hat{U}\hat{\Sigma}\hat{V^T}$ потім обчислюється обрізання трьох матриць до деякого рівня

k < s

$k < s$ , як показано на малюнку:

введіть тут опис зображення

У pLSA виберіть фіксований набір тем (приховані змінні) $Z = \lbrace z_1, z_2, ..., z_Z \rbrace$ наближення $X$ обчислюється як:

X = [P (d_{i} | z_{k})] \times [d i a g (P (z_{k})] \times [P (f_{j} | z_{k})]^{T}

$X = [P(d_i | z_k)] \times [diag(P(z_k)] \times [P(f_j|z_k)]^T$ де три матриці - це ті, які максимально збільшують вірогідність моделі.

Актуальне питання:

Автор констатує, що ці відносини існують:

$U = [P(d_i | z_k)]$
$\hat{\Sigma} = [diag(P(z_k)]$
$V = [P(f_j|z_k)]$

і що вирішальною відмінністю між LSA та pLSA є мета, яка використовується для визначення оптимального розкладання / наближення.

Я не впевнений, що він правий, оскільки вважаю, що дві матриці $\hat{X}$ представляють різні поняття: у LSA - це наближення кількості часу, коли термін з’являється в документі, а в pLSA - (оціночна) ймовірність появи терміна в документі.

Чи можете ви допомогти мені уточнити цей момент?

Крім того, припустимо, ми обчислили дві моделі на корпусі, давши новий документ $d^*$ , в LSA я використовую для обчислення наближення як:

\hat{d^{*}} = d^{*} \times V \times V^{T}

$\hat{d^*} = d^*\times V \times V^T$

Чи завжди це дійсно?
Чому я не отримую змістовного результату, застосовуючи ту саму процедуру до pLSA? $\hat{d^{*}} = d^{*} \times [P (f_{j} | z_{k})] \times [P (f_{j} | z_{k})]^{T}$ $\hat{d^*} = d^*\times [P(f_j|z_k)] \times [P(f_j|z_k)]^T$

Дякую.

— Aslan986
джерело

Для простоти я навожу тут зв’язок між LSA та негативною матричною факторизацією (NMF), а потім показую, як проста модифікація функції витрат призводить до pLSA. Як було сказано раніше, LSA та pLSA - це обидва методи факторизації в тому сенсі, що до нормалізації рядків і стовпців низьке рангове розкладання матриці терміна документа:

X = U Σ D

$X=U\Sigma D$

з використанням попередніх позначень. Простіше кажучи, матриця терміна документа може бути записана як добуток двох матриць:

X = A B^{T}

$X = AB^T$

де $A\in\Re^{N\times s}$ і $B\in\Re^{M\times s}$ . Для LSA відповідність попередній формулі отримують шляхом встановлення $A=U \sqrt{\Sigma}$ і $B=V\sqrt{\Sigma}$ .

Простий спосіб зрозуміти різницю між LSA та NMF - це використовувати їх геометричну інтерпретацію:

LSA - це рішення:
$min_{A, B} ‖ X - A B^{T} ‖_{F}^{2},$ $\min_{A,B} \|X - AB^T \|_F^2,$
NMF- $L_2$ є рішенням:
$min_{A \geq 0, B \geq 0} ‖ X - A B^{T} ‖_{F}^{2},$ $\min_{A\ge 0,B\ge 0} \|X - AB^T \|_F^2,$
NMF-KL еквівалентний pLSA і є рішенням:
$min_{A \geq 0, B \geq 0} K L (X | | A B^{T}) .$ $\min_{A\ge 0,B\ge 0} KL(X|| AB^T).$

де $KL(X||Y) = \sum_{ij} x_{ij}\log{\frac{x_{ij}}{y_{ij}}}$ - розбіжність Куллбека-Лейблера між матрицями $X$ і $Y$ . Неважко помітити, що всі проблеми, описані вище, не мають унікального рішення, оскільки можна розмножитися $A$ за додатним числом і ділимо $B$ на те саме число, щоб отримати одне і те ж об'єктивне значення. Отже, - у випадку LSA люди зазвичай обирають ортогональну основу, відсортовану за зменшенням власних значень. Це пояснюється розкладанням SVD та визначає рішення LSA, але будь-який інший вибір був би можливим, оскільки він не впливає на більшість операцій (подібність косинусу, формула згладжування, згадана вище тощо). - у випадку НМФ ортогональне розкладання не можливе, але рядки $A$ зазвичай обмежуються сумою до одиниці, оскільки вона має пряму ймовірнісну інтерпретацію як $p(z_k|d_i)$ . Якщо крім того, ряди $X$ нормалізуються (тобто сума до одиниці), потім рядки $B$ повинні підсумовувати один, що веде до ймовірнісного тлумачення $p(f_j|z_k)$ . Існує незначна різниця щодо версії pLSA, наведеної у вищезазначеному питанні, оскільки стовпці $A$ обмежуються сумою до одиниці, так що значення в $A$ є $p(d_i|z_k)$ , але різниця - це лише зміна параметризації, проблема залишається тією ж.

Тепер, щоб відповісти на початкове запитання, є щось тонке в різниці між LSA та pLSA (та іншими алгоритмами NMF): обмеження негативу викликають "кластерний ефект", який не є дійсним у класичному випадку LSA, оскільки значення сингулярності Розчин для декомпозиції має інтаріантний обертання. Обмеження, що не мають негативу, якимось чином порушують цю обертальну інваріантність і надають чинникам якесь смислове значення (теми в текстовому аналізі). Перший документ, який пояснив це:

Донохо, Девід Л. та Вікторія С. Стодден. "Коли факторизація негативної матриці дає правильне розкладання на частини?" Успіхи систем нейронної обробки інформації 16: матеріали конференції 2003 року. MIT Press, 2004. [посилання]

В іншому випадку тут описано відношення між PLSA та NMF:

Дінг, Кріс, Дао Лі та Вей Пен. "Про еквівалентність між негативною матричною факторизацією та ймовірнісним прихованим семантичним індексуванням". Обчислювальна статистика та аналіз даних 52.8 (2008): 3913-3927. [посилання]

— Гійом
джерело