Як виконати перехресну перевірку PCA для визначення кількості основних компонентів?

Я намагаюся написати власну функцію для аналізу основних компонентів, PCA (звичайно, там вже багато написано, але мені просто цікаво реалізувати речі власноруч). Основна проблема, з якою я зіткнулася, - це крос перехресної перевірки та обчислення прогнозованої суми квадратів (PRESS). Не має значення, яку перехресну валідацію я використовую, це питання головним чином щодо теорії, яка стоїть позаду, але розглянемо перехресну валідацію "відключення" (LOOCV). З теорії я з'ясував, що для виконання LOOCV вам потрібно:

1. видалити об’єкт
2. масштабуйте решту
3. виконати PCA з деякою кількістю компонентів
4. масштабування видаленого об'єкта за параметрами, отриманими в (2)
5. прогнозувати об’єкт за моделлю PCA
6. обчислити PRESS для цього об’єкта
7. повторно виконати той же алгоритм для інших об’єктів
8. підсумуйте всі значення PRESS
9. прибуток

Оскільки я дуже новачок у цій галузі, для того, щоб бути впевненим, що я правий, я порівнюю результати з результатами певного програмного забезпечення, яке є у мене (також для того, щоб написати якийсь код, я дотримуюся інструкцій у програмному забезпеченні). Я отримую абсолютно однакові результати обчислення залишкової суми квадратів і , але обчислення PRESS - це проблема.$R^2$

Скажіть, будь ласка, чи правильно те, що я реалізую на кроці перехресної перевірки:

case 'loocv'

% # n - number of objects
% # p - number of variables
% # vComponents - the number of components used in CV
dataSets = divideData(n,n); 
         % # it is just a variable responsible for creating datasets for CV 
         % #  (for LOOCV datasets will be equal to [1, 2, 3, ... , n]);'
tempPRESS = zeros(n,vComponents);

for j = 1:n
  Xmodel1 = X; % # X - n x p original matrix
  Xmodel1(dataSets{j},:) = []; % # delete the object to be predicted
  [Xmodel1,Xmodel1shift,Xmodel1div] = skScale(Xmodel1, 'Center', vCenter, 
                                              'Scaling', vScaling); 
          % # scale the data and extract the shift and scaling factor
  Xmodel2 = X(dataSets{j},:); % # the object to be predicted
  Xmodel2 = bsxfun(@minus,Xmodel2,Xmodel1shift); % # shift and scale the object
  Xmodel2 = bsxfun(@rdivide,Xmodel2,Xmodel1div);
  [Xscores2,Xloadings2] = myNipals(Xmodel1,0.00000001,vComponents); 
          % # the way to calculate the scores and loadings
                % # Xscores2 - n x vComponents matrix
                % # Xloadings2 - vComponents x p matrix
  for i = 1:vComponents
    tempPRESS(j,i) = sum(sum((Xmodel2* ...
       (eye(p) - transpose(Xloadings2(1:i,:))*Xloadings2(1:i,:))).^2));
  end
end
PRESS = sum(tempPRESS,1);

У програмному забезпеченні ( PLS_Toolbox ) він працює так:

for i = 1:vComponents
    tempPCA = eye(p) - transpose(Xloadings2(1:i,:))*Xloadings2(1:i,:);
    for kk = 1:p
        tempRepmat(:,kk) = -(1/tempPCA(kk,kk))*tempPCA(:,kk);
          % # this I do not understand
        tempRepmat(kk,kk) = -1; 
          % # here is some normalization that I do not get
    end 
    tempPRESS(j,i) = sum(sum((Xmodel2*tempRepmat).^2)); 
end

Отже, вони роблять додаткову нормалізацію за допомогою цієї tempRepmatзмінної: єдина причина, яку я знайшов, - це те, що вони застосовують LOOCV для надійної PCA. На жаль, команда підтримки не хотіла відповідати на моє запитання, оскільки у мене є лише демонстраційна версія їх програмного забезпечення.

Те, що ви робите, не так: не має сенсу обчислювати PRESS для PCA так! Зокрема, проблема полягає у вашому кроці №5.

---

Наївний підхід до PRESS для PCA

Нехай набір даних складається з точок у -вимірному просторі: . Щоб обчислити помилку відновлення для однієї точки тестування даних , ви виконуєте PCA на навчальному наборі без цього пункту виключається певна кількість основних осей як стовпці , і знайдіть помилку відновлення як . Тоді PRESS дорівнює сумі для всіх тестових зразків$n$$d$$\mathbf x^{(i)} \in \mathbb R^d, \, i=1 \dots n$$\mathbf x^{(i)}$$\mathbf X^{(-i)}$$k$$\mathbf U^{(-i)}$$\left \|\mathbf x^{(i)} - \hat{\mathbf x}^{(i)}\right\|^2 = \left\|\mathbf x^{(i)} - \mathbf U^{(-i)} [\mathbf U^{(-i)}]^\top \mathbf x^{(i)}\right\|^2$$i$, тож розумним рівнянням здається:

$$\mathrm{PRESS} \overset{?}{=} \sum_{i=1}^n \left\|\mathbf x^{(i)} - \mathbf U^{(-i)} [\mathbf U^{(-i)}]^\top \mathbf x^{(i)}\right\|^2.$$

Для простоти я ігнорую питання центрування та масштабування тут.

Наївний підхід неправильний

Проблема вище полягає в тому, що ми використовуємо для обчислення прогнозу , і це дуже погана річ.$\mathbf x^{(i)}$$\hat{\mathbf x}^{(i)}$

Зверніть увагу на вирішальну відмінність випадку регресії, коли формула помилки відновлення в основному однакова , але прогнозування обчислюється за допомогою змінних предиктора та не використовує . Це неможливо в PCA, оскільки в PCA немає залежних і незалежних змінних: всі змінні обробляються разом.$\left\|\mathbf y^{(i)} - \hat{\mathbf y}^{(i)}\right\|^2$$\hat{\mathbf y}^{(i)}$$\mathbf y^{(i)}$

На практиці це означає, що PRESS, як було обчислено вище, може зменшуватися зі збільшенням кількості компонентів і ніколи не досягати мінімуму. Що привело б до думки, що всі компоненти є важливими. Або, можливо, в деяких випадках це досягає мінімуму, але все ще має тенденцію перевищувати та завищувати оптимальні розміри.$k$$d$

Правильний підхід

Існує кілька можливих підходів, див. Бро та ін. (2008) Перехресна перевірка компонентних моделей: критичний погляд на сучасні методи огляду та порівняння. Один із підходів полягає в тому, щоб залишити один вимір однієї точки даних за раз (тобто замість ), щоб дані тренінгу стали матрицею з одним відсутнім значенням , а потім передбачити ("імпультувати") це відсутнє значення за допомогою PCA. (Звичайно, можна випадковим чином витримати більшу частину елементів матриці, наприклад, 10%). Проблема полягає в тому, що обчислення PCA з відсутніми значеннями може бути обчислювально досить повільним (воно покладається на алгоритм EM), але його тут потрібно багато разів повторювати. Оновлення: див. Http://alexhwilliams.info/itsneuronalblog/2018/02/26/crossval/$x^{(i)}_j$$\mathbf x^{(i)}$ для приємного обговорення та реалізації Python (PCA з відсутніми значеннями реалізується через чергування найменших квадратів).

Підхід, який я вважав набагато практичнішим, полягає в тому, щоб залишити одну точку даних за один раз, обчислити PCA на навчальних даних (точно так, як вище), але потім перевести цикл на розміри , залиште їх по черзі та обчисліть помилку відновлення за допомогою решти. На початку це може бути досить заплутаним, і формули, як правило, стають досить безладними, але реалізація є досить простою. Дозвольте спочатку дати формулу (дещо страшно), а потім коротко пояснити:$\mathbf x^{(i)}$$\mathbf x^{(i)}$

$$\mathrm{PRESS_{PCA}} = \sum_{i=1}^n \sum_{j=1}^d \left|x^{(i)}_j - \left[\mathbf U^{(-i)} \left [\mathbf U^{(-i)}_{-j}\right]^+\mathbf x^{(i)}_{-j}\right]_j\right|^2.$$

Розглянемо тут внутрішню петлю. Ми залишили одну точку і обчислили основні компоненти на навчальних даних . Тепер ми зберігаємо кожне значення як тест і використовуємо інші розміри для виконання прогнозування . Прогнозування - -та координата "проекції" (у значенні найменших квадратів) на підпростір. від . Для його обчислення знайдіть точку в просторі ПК яка найближча до k U ( - i ) x ( i ) j x ( i ) - j ∈ i ) - j ] + x ( i ) - j ∈ R k U $\mathbf x^{(i)}$$k$$\mathbf U^{(-i)}$$x^{(i)}_j$$\mathbf x^{(i)}_{-j} \in \mathbb R^{d-1}$$\hat{x}^{(i)}_j$$j$$\mathbf x^{(i)}_{-j}$$\mathbf U^{(-i)}$$\hat{\mathbf z}$$\mathbb R^k$$\mathbf x^{(i)}_{-j}$ шляхом обчислення де є з -м рядом вигнали, і означає псевдоінверс. Тепер поверніть карту назад у вихідний простір: і візьмемо його ю координату . $\hat{\mathbf z} = \left [\mathbf U^{(-i)}_{-j}\right]^+\mathbf x^{(i)}_{-j} \in \mathbb R^k$$\mathbf U^{(-i)}_{-j}$$\mathbf U^{(-i)}$$j$$[\cdot]^+$$\hat{\mathbf z}$$\mathbf U^{(-i)} \left [\mathbf U^{(-i)}_{-j}\right]^+\mathbf x^{(i)}_{-j}$$j$$[\cdot]_j$

Наближення до правильного підходу

Я не зовсім розумію додаткову нормалізацію, що використовується в PLS_Toolbox, але ось один підхід, який йде в тому ж напрямку.

Є ще один спосіб відобразити на простір основних компонентів: , тобто просто перейміть замість псевдо-зворотного. Іншими словами, розмір, який залишається для тестування, взагалі не рахується, а відповідні ваги також просто витісняються. Я думаю, що це має бути менш точним, але часто може бути прийнятним. Хороша річ у тому, що отриману формулу тепер можна векторизувати наступним чином (я опускаю обчислення):$\mathbf x^{(i)}_{-j}$$\hat{\mathbf z}_\mathrm{approx} = \left [\mathbf U^{(-i)}_{-j}\right]^\top\mathbf x^{(i)}_{-j}$

$$\begin{align} \mathrm{PRESS_{PCA,\,approx}} &= \sum_{i=1}^n \sum_{j=1}^d \left|x^{(i)}_j - \left[\mathbf U^{(-i)} \left [\mathbf U^{(-i)}_{-j}\right]^\top\mathbf x^{(i)}_{-j}\right]_j\right|^2 \\ &= \sum_{i=1}^n \left\|\left(\mathbf I - \mathbf U \mathbf U^\top + \mathrm{diag}\{\mathbf U \mathbf U^\top\}\right) \mathbf x^{(i)}\right\|^2, \end{align}$$

де я написав як для компактності, а означає встановлення всіх недіагональних елементів на нуль. Зауважте, що ця формула виглядає точно як перша (наївна ПРЕСА) з невеликою корекцією! Зауважте також, що ця корекція залежить лише від діагоналі , як у коді PLS_Toolbox. Однак формула все ще відрізняється від того, що, здається, реалізовано в PLS_Toolbox, і цю різницю я не можу пояснити. U d i a g {⋅} U U$\mathbf U^{(-i)}$$\mathbf U$$\mathrm{diag}\{\cdot\}$$\mathbf U \mathbf U^\top$

Оновлення (лютий 2018): Вище я назвав одну процедуру "правильною", а іншу - "приблизною", але я вже не впевнений, що це має сенс. Обидві процедури мають сенс, і я вважаю, що жодна з них не є більш коректною. Мені дуже подобається, що "приблизна" процедура має більш просту формулу. Крім того, я пам'ятаю, що у мене був деякий набір даних, де "приблизна" процедура давала результати, які виглядали більш значущими. На жаль, я вже не пам'ятаю деталей.

---

Приклади

Ось як порівняти ці методи для двох відомих наборів даних: набір даних Iris і набір даних про вино. Зауважимо, що наївний метод виробляє монотонно спадаючу криву, тоді як інші два методи дають криву з мінімумом. Далі зауважимо, що у випадку Іриса приблизний метод пропонує 1 ПК як оптимальне число, але псевдоінверсний метод пропонує 2 ПК. (І дивлячись на будь-який розсіювач PCA для набору даних Iris, здається, що обидва перші ПК несуть деякий сигнал.) А у винному випадку псевдоінверсний метод чітко вказує на 3 ПК, тоді як приблизний метод не може визначитись між 3 і 5.

---

Код Matlab для виконання перехресної перевірки та побудови результатів

function pca_loocv(X)

%// loop over data points 
for n=1:size(X,1)
    Xtrain = X([1:n-1 n+1:end],:);
    mu = mean(Xtrain);
    Xtrain = bsxfun(@minus, Xtrain, mu);
    [~,~,V] = svd(Xtrain, 'econ');
    Xtest = X(n,:);
    Xtest = bsxfun(@minus, Xtest, mu);

    %// loop over the number of PCs
    for j=1:min(size(V,2),25)
        P = V(:,1:j)*V(:,1:j)';        %//'
        err1 = Xtest * (eye(size(P)) - P);
        err2 = Xtest * (eye(size(P)) - P + diag(diag(P)));
        for k=1:size(Xtest,2)
            proj = Xtest(:,[1:k-1 k+1:end])*pinv(V([1:k-1 k+1:end],1:j))'*V(:,1:j)'; 
            err3(k) = Xtest(k) - proj(k);
        end

        error1(n,j) = sum(err1(:).^2);
        error2(n,j) = sum(err2(:).^2);
        error3(n,j) = sum(err3(:).^2);
    end    
end

error1 = sum(error1);
error2 = sum(error2);
error3 = sum(error3);
%// plotting code
figure
hold on
plot(error1, 'k.--')
plot(error2, 'r.-')
plot(error3, 'b.-')
legend({'Naive method', 'Approximate method', 'Pseudoinverse method'}, ...
    'Location', 'NorthWest')
legend boxoff
set(gca, 'XTick', 1:length(error1))
set(gca, 'YTick', [])
xlabel('Number of PCs')
ylabel('Cross-validation error')

Щоб додати ще більш загальну точку до приємної відповіді @ amoeba:

Одна практична і важлива відмінність моделей, що контролюються, і непідконтрольних полягає в тому, що для моделей, що не контролюються, потрібно думати набагато складніше, що б ви вважали еквівалентним, а що ні.

Моделі, що контролюються, завжди мають свій кінцевий результат таким чином, що про це вам не потрібно особливо дбати: за визначенням та побудовою стверджує, що має те саме значення, що і , тому ви можете безпосередньо порівнювати його. у$\hat y$$\hat y$$y$

Для того, щоб побудувати змістовні заходи щодо ефективності, вам потрібно подумати, які види свободи моделі не мають сенсу для вашої програми, а які ні. Це призвело б до PRESS на бали, можливо (зазвичай?) Після якогось обертання / гортання, подібного до Прокруста.

ПРЕСС на x Моя здогадка (у мене зараз немає часу, щоб дізнатися, що роблять їх 2 рядки коду - але, можливо, ви могли б перейти через рядки і подивитися?):

Для того, щоб отримати міру, корисну для визначення хорошої складності моделі, від міри, яка забезпечує корисність, яка зазвичай збільшуватиметься до досягнення повної моделі, потрібно штрафувати за занадто складні моделі. Що, в свою чергу, означає, що ця пеналізація є а) вирішальною, і б) коригування штрафу буде коригувати обрану складність.

---

Побічна примітка: Я хотів би лише додати, що буду дуже обережним з таким типом автоматизованої оптимізації складності моделі. На моєму досвіді багато з цих алгоритмів дають лише псевдооб'єктивність, і часто ціною належної роботи є лише певні типи даних.