Нерівність оракул: в базовому виразі

Я переглядаю документ, який використовує нерівність оракул, щоб довести щось, але я не в змозі зрозуміти, що він навіть намагається зробити. Коли я шукав в Інтернеті про "нерівність Oracle", деякі джерела направили мене до статті "Candes, Emmanuel J." Сучасна статистична оцінка через нерівності оракул ". "які можна знайти тут https://statweb.stanford.edu/~candes/papers/NonlinearEstimation.pdf . Але ця книга здається мені занадто важкою, і я вважаю, що мені бракує певних передумов.

Моє запитання: Як би ви пояснили, що таке нерівність оракула для не-математичного мажора (включає інженерів)? По-друге, як би ви рекомендували їм розглянути передумови / теми, перш ніж намагатися дізнатися щось подібне до вищезгаданої книги.

Я настійно рекомендую, щоб хтось, хто має конкретне розуміння та великий досвід досвіду статистики високих розмірів, повинен відповісти на це.

— Волкотт
джерело

Чи може хтось із репутацією більше 1 тис., Будь ласка, запропонуйте щедро за це питання. Це справді допомогло б. Я не думаю, що загальні користувачі резюме були б знайомі з цією концепцією, оскільки більшість користувачів використовують статистику для аналізу даних, а не теоретичного аналізу, хоча, як спільнота, повністю заснована на статистиці, я вважаю, що повинен бути хтось, хто міг би адекватно відповісти на це. Я вважаю, що питання не приділяв належної уваги.

— Wolcott

Я думав над тим же питанням

— jeza

"Визначення", наведене на с.22 посилання "Нерівність оракула пов'язує ефективність реального оцінювача з характеристикою ідеального оцінювача, який спирається на досконалу інформацію, що надається оракулом, і яка недоступна на практиці". Чи це не передає вам суті визначення?

— Марк Л. Стоун

@Mark L. Stone для мене, це не так

— jeza

Навіть не дивлячись на приклад та обговорення, наведені в попередніх кількох реченнях, тобто твердження та обговорення теореми 4.1, як приклад нерівності оракул? Простіше кажучи: «Боже, ми не знаємо оптимального значення (наданого оракулом) коефіцієнта усадки, який ми повинні використовувати. Але знаючи, що оптимальне значення коефіцієнта усадки може покращити МСЕ не більше ніж на 2 проти, не маючи оптимального коефіцієнта усадки від оракула.

— Марк Л. Стоун

Спробую пояснити це в лінійному випадку. Розглянемо лінійну модель Коли (кількість незалежних змінних менше або дорівнює кількості спостережень) і матриця проектування має повний ранг, оцінювач найменшого квадрата є та помилка передбачення - з якого ми можемо вивести Це означає, що кожен параметр оцінюється з точністю у квадратіОтже, ваша загальна точність у квадраті

Y_{i} = \sum_{j = 1}^{p} β_{j} X_{i}^{(j)} + ϵ_{i}, i = 1, . . ., n .

$Y_i=\sum_{j=1}^{p} \beta_jX_{i}^{(j)}+\epsilon_i, i=1,...,n.$

p \leq n

$p \leq n$

b

$b$

\hat{b} = (X^{T} X)^{- 1} X^{T} Y

$\hat{b}=(X^TX)^{-1}X^TY$

\frac{‖ X (\hat{b} - β^{0}) ‖_{2}^{2}}{σ^{2}}

$\dfrac{\| X(\hat{b}-\beta^0) \|_2^2}{\sigma^2}$

\frac{E ‖ X (\hat{b} - β^{0}) ‖_{2}^{2}}{n} = \frac{σ^{2}}{n} p .

$\dfrac{ \mathbb{E} \| X(\hat{b}-\beta^0) \|_2^2}{n}=\dfrac{\sigma^2}{n}p.$

β_{j}^{0}

$\beta_j^0$

σ^{2} / n, j = 1, . . ., p .

$\sigma^2/n, j=1,...,p.$

(σ^{2} / n) p .

$(\sigma^2/n)p.$

А що робити, якщо кількість спостережень менша за кількість незалежних змінних ? Ми «віримо», що не всі наші незалежні змінні грають роль у поясненні , тому лише деякі, скажімо, , з них є ненульовими. Якби ми знали, які змінні є ненульовими, ми могли б нехтувати усіма іншими змінними, і за вищенаведеним аргументом загальна точність у квадраті складе $(p>n)$ $Y$ $k$ $(\sigma^2/n)k.$

Оскільки набір ненульових змінних невідомий, нам потрібна певна санкція регуляризації (наприклад, ) з параметром регуляризації (який контролює кількість змінних). Тепер ви хочете отримати результати, аналогічні розглянутим вище, ви хочете оцінити точність квадрата. Проблема в тому, що ваш оптимальний оцінювач тепер залежить від . Але великий факт полягає в тому, що при правильному виборі для ви можете отримати верхню межу помилки передбачення з високою ймовірністю, тобто "нерівність оракул" Зверніть увагу на додатковий коефіцієнт $l_1$ $\lambda$ $\hat{\beta}$ $\lambda$ $\lambda$

\frac{‖ X (\hat{β} - β^{0}) ‖_{2}^{2}}{n} \leq c o n s t . \frac{σ^{2} \log p}{n} k .

$\dfrac{\| X(\hat{\beta}-\beta^0) \|_2^2}{n} \leq const.\dfrac{\sigma^2\log p}{n}k.$

\log p

$\log p$ , яка є ціною за незнання набору ненульових змінних. " " залежать лише від або .

c o n s t .

$const.$

p

$p$

n

$n$

— Дато Гоголашвілі
джерело

Строго кажучи, нам не потрібно, щоб кількість спостережень була меншою за кількість незалежних змінних, щоб усі наступні частини були правильними.

— jbowman

Чи можете ви пояснити, як отримали рівняння очікування (друге до останнього рівняння) та нерівність (останнє рівняння)?

— user13985

\frac{‖ X (\hat{b} - β^{0}) ‖_{2}^{2}}{σ^{2}}

$\dfrac{\| X(\hat{b}-\beta^0) \|_2^2}{\sigma^2}$ має розподіл chi-квадрата з p ступенями свободи, тому його очікування становить . Остання нерівність - це нерівність оракул. Доказ не такий тривіальний, я можу порекомендувати цю книгу: Статистика

(σ^{2} / n) p

$(\sigma^2/n)p$

— Дато