Перехресне підтвердження (CV) та узагальнена статистика перехресної перевірки (GCV)

Я знайшов можливі суперечливі визначення для статистики перехресної перевірки (CV) та для статистики узагальненої перехресної валідації (GCV), пов'язаної з лінійною моделлю (з нормальним вектором помилок гомоскедастичної помилки ). $Y = X\boldsymbol\beta + \boldsymbol\varepsilon$ $\boldsymbol\varepsilon$

З одного боку, Голуб, Хіт і Вахба визначають оцінку GCV $\hat{\lambda}$ як (стор. 216)

мінімізатор $V\left(\lambda\right)$ заданий
$V (λ) = \frac{\frac{1}{n} {‖ (I - A (λ)) y ‖}^{2}}{{(\frac{1}{n} t r (I - A (λ)))}^{2}}$ $V\left(\lambda\right) = \frac{\frac{1}{n} \left\|\left(I - A\left(\lambda\right)\right)y\right\|^2}{\left(\frac{1}{n} \mathrm{tr}\left(I - A\left(\lambda\right)\right)\right)^2}$ де $A\left(\lambda\right) = X\left(X^T X + n\lambda I\right)^{-1} X^T$

З іншого боку, Ефрон визначає те саме поняття, що і $V\left(0\right)$ (стор. 24), але він пов'язує введення цієї концепції з Craven & Wahba, де її визначення (стор. 377) є по суті тим самим. як вищезгадане визначення Голуба, Хіт і Вахби.

Чи означає це, що $0$ мінімізує $V\left(\lambda\right)$ ?

Аналогічно, Golub, Heath & Wahba визначають оцінку CV $\lambda$ (стор. 217) як мінімізатор

P (λ) = \frac{1}{n} \sum_{k = 1}^{n} {({[X β^{(k)} (λ)]}_{k} - y_{k})}^{2}

$P\left(\lambda\right) = \frac{1}{n}\sum_{k=1}^n \left(\left[X \beta^{(k)}\left(\lambda\right)\right]_k - y_k\right)^2$

де $\beta^{\left(k\right)}\left(\lambda\right)$ - оцінка

\hat{β} (λ) = {(X^{T} X + n λ I)}^{- 1} X^{T} y

$\hat{\beta}\left(\lambda\right) = \left(X^T X + n \lambda I\right)^{-1} X^T y$

з $\beta$ з $k$ - й точкою даних $y_i$ опущений.

Автори пов'язують введення оцінки CV (також її називають оцінкою PRESS) Аллену («PRESS Allen's», там же). Однак у роботі Аллена оцінка PRESS визначається (стор. 126) як $n P\left(0\right)$ (у статті Ефрона вона визначається як $P\left(0\right)$ (стор. 24)).

Знову ж, чи означає це, що $0$ мінімізує $P\left(\lambda\right)$ ?

Аллен, Девід М. Взаємозв'язок між змінним вибором та агрегуванням даних та методом прогнозування. Технометрія, Вип. 16, № 1 (лютий 1974 р.), Стор 125-127
Craven, Peter and Wahba, Grace. Згладжування шумових даних із сплайновими функціями. Numerische Mathematik 31, (1979), стор 377-403
Ефрон, Бредлі. Наскільки виправданим є показник явної помилки логістичної регресії? Технічний звіт № 232. Кафедра статистики Стенфордського університету (квітень 1985 р.)
Голуб, Джин Х., Хіт і Грейс Вахба. Узагальнена перехресна валідація як метод вибору хорошого параметра хребта. Технометрія, Вип. 21, № 2 (травень 1979 р.), Стор 215-223

cross-validation

— Еван Аад
джерело

Ви забули згадати, що це буде відповідати регресії хребта і не в останню чергу квадратів? Мене зовсім збентежило те, що таке поки я не побачив заголовків паперу внизу

λ

$\lambda$

— shadowtalker

Вилучіть у заголовку генералізовану перехресну перевірку та додайте у назву регрес-хребет. Ось для чого за замовчуванням GridSearchCV () для RidgeCV ():

— HoofarLotusX

Я вважаю, що коментарі вказують на відповідь, але не заявляють це прямо. Тож я буду тупим.

Цитувана тут формула V характерна для лінійної регресії хребта. Вони не кажуть, що це те саме, що і PRESS, вони говорять про версію PRESS, що інвартує ротацію. «Обертально-інваріантна» частина - це те, що робить це узагальненим.

У статті Ефрона йдеться про логістичну регресію, адаптовану до цього контексту. Якщо ви хочете побачити математичний переклад між двома контекстами, правильною книгою для читання є Елементи статистичного навчання, 2ed, від Hastie, Tibshirani та Freedman. Вони пропонують цю книгу безкоштовно в Інтернеті: https://web.stanford.edu/~hastie/Papers/ESLII.pdf . Ще одне корисне читання на GCV - це узагальнені моделі добавок від Simon Wood. Його лікування інтегрує GCV загалом із застосуванням у регресії та логістичній регресії.

Якщо ви подивитеся на книгу ESL, стор. 244, ви бачите в основному ту саму символіку. Вони посилаються на той великий матричний продукт, який у вас є як матриця Smoother (я б сказав, це матриця Hat, або близький родич). Вони описують Smoother як відображення від до $S$ $y$ $\hat{y}$

\hat{y} = S y

$\hat{y}=S y$

$S$ можна використовувати для обчислення залишених значень CV, по одному для кожного рядка даних. Для лінійних моделей , то матриця грає роль матриці Hat у регресійній діагностики. Однак вони кажуть, що це може бути обчислювально складним чи непотрібним, і підхід GCV є дещо більш загальною версією тієї самої ідеї. $S$

Вони пропонують формулу наближення GCV:

G C V (\hat{f}) = \frac{1}{N} \sum_{i = 1}^{N} {[\frac{y_{i} - \hat{f} (x_{i})}{1 - t r a c e (S) / N}]}^{2}

$GCV(\hat{f})=\frac{1}{N}\sum_{i=1}^{N}\left[\frac{y_i - \hat{f}(x_i)}{1-trace(S)/N}\right]^2$

Це досить схоже за поведінкою на АПК у багатьох моделях. Шлях - ефективна кількість параметрів. $trace{S}$

частина ви процитувати в більш загальному слід . Наскільки я можу зрозуміти, абстрактний GCV є приблизною версією виключення перехресної перевірки, але в деяких випадках (я вважаю, регресія хребта) це точно. Це головний момент у роботі Голуба. $n\lambda$ $S$

Удачі, напишіть, якщо ви дізнаєтесь більше.

— pauljohn32
джерело

Спасибі. Я розміщував своє запитання понад 5 років тому, і з тих пір я забув більшу частину цього матеріалу, тому не можу оцінити вашу відповідь, щоб сказати, чи добре це (начебто) чи погано, і, з цієї причини Я також не можу його прийняти. Дякую за публікацію. Сподіваємось, це буде корисно для інших, хто може натрапити на цю сторінку.

— Еван Аад