Чи може хтось пояснити, як мені 5 років, цю проблему з ESL Book Hastie?

Я працюю над книгою ESL Hastie, і мені важко займатися питанням 2.3. Питання таке:

Ми розглядаємо оцінку найближчого сусіда за початком, і середнє відстань від початку до найближчої точки даних задається цим рівнянням. Я не маю уявлення, з чого почати з точки зору спроб цього вивести.

Я знаю, що більшість точок даних ближче до межі вибіркового простору, ніж до будь-якої іншої точки даних (прокляття розмірності), але у мене виникають труднощі при перекладі цього тексту в сенс лінійної алгебри / ймовірності.

Дякую!

machine-learning computational-statistics

— Гері
джерело

Що означає "ELI5" у назві? Якщо ви хочете отримати це рівняння, вам потрібно буде почати з моделі ймовірності для точок у кулі: що це за модель? (Будь ласка, не вимагайте, щоб ваші читачі посилалися на книгу чи інший сайт, щоб зрозуміти ваше запитання.)

— whuber

@whuber Я згоден - Скорочення - це жахлива схема хешування.

— Sycorax повідомляє, що повернеться до Моніки

Вам п’ять років. Вдячний вам за те, що ви хочете зрозуміти ESL, але вам доведеться почекати, поки вам виповниться шість. Це книга для великих хлопців та дівчат.

— Нік Кокс

П’ятирічний може початися з перегляду одновимірного випадку (p = 1). І як тільки це буде в руці, візьміть його звідти.

— Марк Л. Стоун

Якщо у нас буде ELI5 прописано, що про ESL?

— mdewey

Нехай - відстань від початку, а - об'єм одиничної гіперсфери в розмірах. Тоді об'єм, що міститься в гіперсфері радіусу дорівнює $r$ $V_0[p]$ $p$ $r$

V [r] = V_{0} [p] r^{p}

$V[r]=V_0[p]r^p$

Якщо дозволити позначати частку об'єму, що міститься в цій гіперсфері, і визначимо , то $P=V[r]/V_0[p]$ $R=r^p$

P [R] = R

$P[R]=R$

Якщо точки даних рівномірно розподілені в межах одиничного кулі, то для наведена вище формула являє собою інтегральну функцію розподілу (CDF) для . Це еквівалентно рівномірній щільності ймовірності для протягом одиничного інтервалу, тобто . Отже, як натякав Марк Стоун у коментарях, ми можемо звести розмірний випадок до еквівалентної 1D задачі. $0\leq R\leq 1$ $R$ $R$ $p[R]= P'[R] =1$ $p$

Тепер якщо у нас є одна точка , то за визначенням CDF ми маємо і . Якщо - найменше значення з точок, і всі точки незалежні, то CDF для задається (це стандартний результат універсальної теорії крайніх значень ). $R$ $\Pr[R\leq \rho]=P[\rho]$ $\Pr[R\geq \rho]=1-P[\rho]$ $R_{\min}$ $n$

Pr [R_{min} \geq ρ] = Pr [R \geq ρ]^{n} = (1 - ρ)^{n}

$\Pr[R_{\min}\geq \rho]=\Pr[R\geq \rho]^n=(1-\rho)^n$

За визначенням медіани маємо яку ми можемо перепишіть як що еквівалентно бажаному результату.

\frac{1}{2} = Pr [(R_{min})_{m e d} \geq R] = (1 - R)^{n}

$\frac{1}{2}=\Pr[(R_{\min})_{\mathrm{med}}\geq R]=(1-R)^n$

(1 - d^{p})^{n} = \frac{1}{2}

$(1-d^p)^n=\frac{1}{2}$

EDIT: Спроба відповіді " ELI5 " у трьох частинах.

Для 1D випадку з однією точкою відстань розподіляється рівномірно по , тому медіана буде . $[0,1]$ $\frac{1}{2}$
У 1D розподіл на мінімум понад точок є першим випадком до ї потужності. $n$ $n$
У розмірах відстань не розподілено рівномірно, але є. $p$ $r$ $r^p$

— GeoMatt22
джерело

Ха-ха, я дав коментар, що 5-річний старт може початися з перегляду випадку p = 1. Я думав над тим, щоб додати коментар, що чотирирічний може не тільки починатись із випадку p = 1, але й n = 1. Але я зрозумів, що дозволю 5-річній фігурі.

— Марк Л. Стоун

Зауважте, що коли я відповідав на запитання, то після того, як @fcop було з'ясовано, прочитав: "Розгляньте N точок даних, рівномірно розподілених в p-мірній одиничній кулі, центрованій по початку. Покажіть, що серединна відстань від початку до початку найближчу точку даних задає ... ". Отже, одиничний куля відносно норми у розмірному просторі. Після цього питання було повернуто до оригіналу, що відрізняється і не так однозначно. (Дивіться ланцюжок коментарів під оригінальним запитанням.)

L_{2}

$L_2$

p

$p$

— GeoMatt22