Встановлення нових зображень з розрахунку SVD / PCA

Я намагаюся тиражувати ідеї зі сторінки Eigenface у вікіпедії. Зі сто вибіркових зображень, представлених матрицею даних (де кожне зображення сплющується до вектора довжиною , таким чином є матрицею на ), я обчислив декомпозицію SVD: $\bf X$ $n$ $\bf X$ $100$ $n$

Х = U Σ V^{Т}

$\begin{equation} \bf X = U \Sigma V^{T} \end{equation}$

звідси:

Х Х^{Т} = U Σ^{2} U^{Т}

$\begin{equation} \bf X X^{T} = U \Sigma^2 U^{T} \end{equation}$

Беручи підмножину найбільших власних моделей , я можу наблизити матрицю (нехай ): $q$ $\sigma_1 \ge \sigma_2 \ge \cdots$

Х \approx σ_{1} у_{1} v_{1}^{Т} + σ_{2} у_{2} v_{2}^{Т} + \dots + σ_{q} у_{q} v_{q}^{Т}

$\begin{equation} {\bf X} \approx \sigma_1 u_1 v_1^{T} + \sigma_2 u_2 v_2^{T} + \cdots + \sigma_q u_q v_q^{T} \end{equation}$

Тепер, отримавши новий вектор $y$ , який представляє зображення не в $\bf X$ , як я можу визначити зважування $q$ власних векторів $\bf U$ щоб найкраще представити моє нове зображення $y$ ? Окрім патологічних випадків, чи є це уявлення унікальним?

Коротше кажучи, я хотів би зробити це (зі сторінки вікі):

Ці власні інтерфейси тепер можна використовувати для представлення як існуючих, так і нових граней : ми можемо спроектувати нове (середнє віднімане) зображення на власні поверхні та тим самим записати, як це нове обличчя відрізняється від середнього обличчя.

Як зробити цю проекцію?

computer-vision linear-systems linear-algebra

— Гачок
джерело

Майбутні читачі можуть вважати цю реалізацію цінною.

— Емре

"Проекція", про яку йдеться, - векторна проекція . Для обчислення проекції вектора на вектор ви використовуєте внутрішній добуток двох векторів: $\mathbf{a}$ $\mathbf{b}$

a_{p r o j} = ⟨ a, b ⟩ b

$\mathbf{a_{proj}} = \langle \mathbf{a}, \mathbf{b} \rangle \mathbf{b}$

$\mathbf{a_{proj}}$ в цьому випадку є векторною складовою що лежить у тому ж напрямку . В евклідовому просторі внутрішній оператор продукту визначається як їх крапковий продукт : $\mathbf{a}$ $\mathbf{b}$

⟨ a, b ⟩ = a \cdot b = \sum_{i = 1}^{n} a_{i} b_{i}

$\langle \mathbf{a}, \mathbf{b} \rangle = \mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n}a_ib_i$

де є число компонентів в векторах і і і є -й компонент векторів і , відповідно. Інтуїтивно, обчислюючи внутрішній добуток двох векторів, ви знаходите "скільки" вектора йде у напрямку вектора . Зауважте, що це підписана величина, тому від'ємне значення означало б, що кут між двома векторами перевищує 90 градусів, як це проілюстровано альтернативним визначенням для оператора проекції: $n$ $\mathbf{a}$ $\mathbf{b}$ $a_i$ $b_i$ $i$ $\mathbf{a}$ $\mathbf{b}$ $\mathbf{a}$ $\mathbf{b}$

а_{p r о j} = | а | \cos (θ) б

$\mathbf{a_{proj}} = |\mathbf{a}| \cos(\theta) \mathbf{b}$

де - кут між двома векторами. $\theta$

Отже, з огляду на вектор та купу бази векторів можна знайти "скільки " йде у кожному з напрямків кожного із базових векторів. Зазвичай ці базові вектори будуть взаємно ортогональними. У вашому випадку SVD є ортогональним розкладанням, тому цю умову слід задовольнити. Отже, щоб виконати те, що ви описуєте, ви б взяли матрицю власних векторів і обчислили внутрішній добуток вектора-кандидата з кожним стовпцем матриці: $\mathbf{a}$ $\mathbf{b_i}$ $\mathbf{a}$ $\mathbf{U}$ $\mathbf{y}$

p_{i} = у \cdot у_{i}

$p_i = \mathbf{y} \cdot \mathbf{u_i}$

Скалярне значення яке ви отримуєте від кожного внутрішнього продукту, відображає, наскільки добре вектор "вишикувався" з -го власного вектора. Оскільки власні вектори є ортонормальними , ви можете реконструювати початковий вектор наступним чином: $p_i$ $\mathbf{y}$ $i$ $\mathbf{y}$

у = \sum_{i = 1}^{н} p_{i} у_{i}

$\mathbf{y} = \sum_{i=1}^n p_i \mathbf{u_i}$

Ви запитали, чи унікальне це представництво; Я не впевнений, що саме ви маєте на увазі, але це не є унікальним у тому сенсі, що даний вектор може бути розкладений проекцією на будь-яку кількість ортонормальних основ. Власні вектори, що містяться в матриці є одним з таких прикладів, але ви можете використовувати будь-яку кількість інших. Так , наприклад, обчислення дискретного перетворення Фур'є з можна розглядати як проектування його на ортонормованій комплексні експоненціальні вектори різної частоти. $\mathbf{y}$ $\mathbf{U}$ $\mathbf{y}$

— Джейсон Р
джерело

Чудова відповідь дякую! Під "унікальним" я мав на увазі унікальний у розумінні основи, наданих SVD. Я здогадуюсь, що, з огляду на ортонормальну основу, тоді ви обчислюєте, повинен бути унікальним, але якщо основа не ортонормальна, то вона може не бути (оскільки якщо вони не були ортогональними, то ми могли б знайти менший набір бази )?

y

$\bf y$

— Зачепили

Ще не впевнений, у що ви потрапляєте. - вектор, до якого ви перегнали нове зображення, тому він є таким же унікальним, як оригінальне зображення та процес, який ви використовуєте для визначення відповідного вектора. Основа векторного простору за визначенням складається з лінійно незалежних векторів, що зумовлює властивість взаємної ортогональності. Ви правильно зазначаєте, що якщо ви спроектували на набір неортогональних векторів, ви могли б створити більш компактне зображення, якби простір, що охоплюється векторами, має меншу основну розмірність (менша основа).

y

$\mathbf{y}$

y

$\mathbf{y}$

— Jason R