Запитання з тегом «linear-algebra»

Останнім часом я помічав, що багато людей розробляють тензорні еквіваленти багатьох методів (тензорна факторизація, тензорні ядра, тензори для моделювання тем тощо) Мене цікавить, чому світ раптом захоплюється тензорами? Чи є нещодавні статті, які є особливо дивними, що призвели до цього? Це обчислювально набагато дешевше, ніж раніше підозрювали? Я не буду …

171 machine-learning  references  matrix  linear-algebra  tensor 

Я трохи працював у R, і зіткнувся з такими речами, як PCA, SVD, QR-розкладу та багато таких лінійних результатів алгебри (при перевірці оцінки зважених регресій та подібних), тому я хотів знати, чи є у когось рекомендація щодо хорошого всебічна книга лінійної алгебри, яка не надто теоретична, але є математично суворою …

54 references  matrix  linear-algebra  weighted-regression 

Я багато читав про PCA, включаючи різні підручники та запитання (такі як цей , цей , цей і цей ). Геометрична проблема, яку PCA намагається оптимізувати, для мене зрозуміла: PCA намагається знайти перший головний компонент, зводячи до мінімуму помилку реконструкції (проекції), що одночасно максимізує дисперсію прогнозованих даних. Коли я вперше …

54 pca  optimization  linear-algebra  intuition 

Я читав про сингулярне розкладання значення (SVD). Майже у всіх підручниках зазначається, що вона розподіляє матрицю на три матриці із заданою специфікацією. Але яка інтуїція за розбиттям матриці в такій формі? PCA та інші алгоритми зменшення розмірності є інтуїтивно зрозумілими, оскільки алгоритм має властивість візуалізації, але з SVD це не …

50 matrix  linear-algebra  svd  intuition 

Я думаю, що відповідь має бути так, але я все-таки вважаю, що щось невірно. У літературі повинні бути якісь загальні результати, хтось мені може допомогти?

48 covariance  matrix  covariance-matrix  linear-algebra 

Я чув, що часткові кореляції між випадковими змінними можна знайти, перевернувши матрицю коваріації та взявши відповідні комірки з такої результуючої матриці точності (цей факт згадується в http://en.wikipedia.org/wiki/Partial_correlation , але без доказів) . Чому це так?

32 covariance  covariance-matrix  linear-algebra  partial-correlation  matrix-inverse 

Скажімо, у мене ppp -вимірне багатовимірне гауссове розподіл. І я беру nnn спостереження (кожен з них ppp -векторних) від цього розподілу і обчислити зразок ковариационной матриці SSS . У цій роботі автори констатують, що матриця коваріації вибірки, обчислена з p>np>np > n є сингулярною. Як це правда чи похідне? Будь-які …

30 covariance-matrix  linear-algebra 

Я вивчаю PCA з курсу Coursera Ендрю Нґ та інших матеріалів. У першому завданні курсу Stanford NLP cs224n , а в лекційному відео від Ендрю Нг вони роблять сингулярне розкладання значення замість власного вектора розкладання коваріаційної матриці, і Ng навіть говорить, що SVD чисельно стабільніше, ніж ейгендекомпозиція. З мого розуміння, …

29 pca  linear-algebra  svd  eigenvalues  numerics 

Якщо і - два незалежні випадкові одиничні вектори в (рівномірно розподілені на одиничну сферу), який розподіл їх скалярного добутку (крапкового продукту) ?xx\mathbf{x}yy\mathbf{y}RDRD\mathbb{R}^Dx⋅yx⋅y\mathbf x \cdot \mathbf y Я думаю, що при зростанні розподіл швидко (?) Стає нормальним з нульовою середньою величиною і зменшенням дисперсії у більших розмірах але чи є явна …

27 mathematical-statistics  linear-algebra  beta-distribution 

Я спостерігаю дуже дивну поведінку за результатами SVD випадкових даних, які я можу відтворити як у Matlab, так і R. Це виглядає як чисельне числове питання в бібліотеці LAPACK; є це? Я витягую зразків з мірних гауссів з нульовою середньою і коваріацією тотожності: . Я зібрати їх в даних матриця …

21 pca  svd  linear-algebra  numerics 

Я знаю визначення матриці симетричного позитивного певного (SPD), але хочу зрозуміти більше. Чому вони такі важливі, інтуїтивно? Ось що я знаю. Що ще? Для даних даних матриця ко-дисперсії - SPD. Матриця ко-дисперсії є важливою метрикою, див. Цей чудовий пост для інтуїтивного пояснення. Квадратична форма випукла, якщо SPD. Опуклість - це …

20 mathematical-statistics  optimization  covariance-matrix  intuition  linear-algebra 

Я намагаюся зрозуміти, як працює аналіз основних компонентів (PCA) у предметному (подвійному) просторі . Розглянемо 2D набір даних з двома змінними, x1x1x_1 і , і точок даних (матриця даних дорівнює та передбачається центром). Звичайна презентація PCA полягає в тому, що ми розглядаємо точок у , записуємо матрицю коваріації та знаходимо …

19 pca  linear-algebra  intuition  geometry 

Я хочу перетворити свої дані таким чином, що відхилення будуть одна, а коваріації будуть нульовими (тобто я хочу відбілити дані). Крім того, засіб має бути нульовим.ХX\mathbf X Я знаю, що потраплю туди, зробивши Z-стандартизацію та перетворення PCA, але в якому порядку я повинен їх робити? Додам, що складене відбілююче перетворення …

18 pca  linear-algebra 

Нехай . Інформаційна матриця Фішера визначається як:θ∈Rnθ∈Rn\theta \in R^{n} I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj∣∣∣θ]I(θ)i,j=−E[∂2log⁡(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Як я можу довести, що інформаційна матриця Фішера є позитивною напівмешиною?

18 inference  linear-algebra  fisher-information 

Це дуже просте запитання, але я не можу знайти виведення ні в Інтернеті, ні в книзі. Мені б хотілося побачити, як один баєс оновляє багатоваріантний нормальний розподіл. Наприклад: уявіть це P(x|μ,Σ)P(μ)==N(μ,Σ)N(μ0,Σ0).P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0). \begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, {\bf \Sigma}) \\ \mathbb{P}({\bf \mu}) &= & N({\bf \mu_0}, …

18 bayesian  normal-distribution  matrix  posterior  linear-algebra