Як вектор змінних може представляти гіперплощину?

Я читаю Елементи статистичного навчання і на сторінці 12 (розділ 2.3) лінійну модель позначають як:

\hat{Y} = X^{T} \hat{β}

$\widehat{Y} = X^{T} \widehat{\beta}$

... де - це транспозиція вектора стовпців предикторів / незалежних змінних / входів. (Він раніше зазначав, що "всі вектори вважаються векторами стовпців", тож чи не це зробить вектором рядків і векторним стовпцем?) $X^{T}$ $X^{T}$ $\widehat{\beta}$

В включено " ", помножене на відповідний коефіцієнт, що дає (постійний) перехоплення. $X$ $1$

Продовжує говорити:

У -вимірному просторі вхід-вихід, являє собою гіперплощину. Якщо константа включена в , то гіперплан включає початок і є підпростором; якщо ні, то це афінний набір, що ріже вісь в точці . $(p + 1)$ $(X,\ \widehat{Y})$ $X$ $Y$ $(0,\ \widehat{\beta_0})$

Чи " " описує вектор, утворений конкатенацією предикторів, " " і ? І чому включення " " в змушує гіперплан проходити через початок, безумовно, що " " потрібно помножити на ? $(X,\ \widehat{Y})$ $1$ $\widehat{Y}$ $1$ $X$ $1$ $\widehat{\beta_0}$

Я не розумію книги; будь-яка допомога / порада / посилання на ресурси будуть дуже вдячні.

regression references statistical-learning

— Скотт
джерело

Це може допомогти спочатку розглянути . У такому разі , з перехопленням . Це рівняння прямої, що проходить . Розширення до більш високих розмірів негайне.

p = 1

$p = 1$

\hat{y} = {\hat{β}}_{0} + x \hat{β}

$\hat{y} = \hat{\beta}_0 + x \hat{\beta}$

β_{0}

$\beta_0$

(0, {\hat{β}}_{0})

$(0, \hat{\beta}_0)$

— ocram

Якщо допомоги @ocram недостатньо, спробуйте виписати вектори і зробити множення.

— Пітер Флом

Ось хороше графічне представлення: blog.stata.com/2011/03/03 / ... . Позначення різні, A є ваш X і x є .

\hat{β}

$\hat \beta$

— Мастеров Димитрій Васильович

Книга є неправильною, або , по крайней мере , це непослідовно. Очевидно, є змінні, не включаючи постійні. Таким чином, множина справді є гіперплощиною, але неправильно сказати, що константа "включена в ". Замість цього я думаю , що книга означало сказати константа включена в регресію , але все ж не слід розглядати як частину . Тому модель справді повинна бути написана де . Встановлення негайно дає твердження про перехоплення.

p

$p$

{(X, \hat{Y}) | X \in R^{p}}

$\{(X,\hat{Y})|X\in\mathbb{R}^p\}$

X

$X$

X

$X$

\hat{Y} = {\hat{β}}_{0} + X^{'} \hat{β}

$\hat{Y}=\hat\beta_0 + X'\hat\beta$

β = (β_{1}, β_{2}, \dots, β_{p})^{'}

$\beta=(\beta_1,\beta_2,\ldots,\beta_p)'$

X = 0

$X=0$

— whuber

(Якщо ми замість цього включимо константу в , то ми не можемо дозволити вільно змінюватися протягом усього : він обмежений лежати в розмірному підпросторі . Графік тоді кодименсія є щонайменше і тому насправді не є "гіперпланом")

X

$X$

X

$X$

R^{p}

$\mathbb{R}^p$

p - 1

$p-1$

{(X, \hat{Y})}

$\{(X,\hat Y)\}$

2

$2$

— whuber

Відповіді:

Нехай - кількість спостережень, а - кількість пояснювальних змінних. $N$ $K$

$X$ насправді є матрицеюТільки коли ми дивимось на одне спостереження, ми позначаємо кожне спостереження як - вектор рядків пояснювальних змінних одного конкретного скалярного спостереження, помножений на вектор стовпця . Крім того, - це векторний стовпець , Що містить усі спостереження . $N\!\times\!K$ $x_i^T$ $K\!\times\!1$ $\beta$ $Y$ $N\!\times\!1$ $Y_n$

Тепер, два мірна гіперплоскость розтягнеться між вектором і один (!) Вектор - стовпець . Пам'ятайте , що є матриці, так що кожна пояснює змінна представлена рівно один вектор - стовпець матриці . Якщо у нас є тільки один пояснюючі змінні, що не перехоплювати і , всі крапки даних розташовані уздовж 2 - мірної площині , натягнутої на і . $Y$ $X$ $X$ $N\!\times\!K$ $X$ $Y$ $Y$ $X$

Для множинної регресії скільки розмірів усього має гіперплан між та матрицею ? Відповідь: Оскільки у є вектори стовпців пояснювальних змінних у , ми повинні мати розмірну гіперплан . $Y$ $X$ $K$ $X$ $K\!+\!1$

Зазвичай у матричній регресії регресія вимагає постійного перехоплення для об'єктивного аналізу коефіцієнта нахилу. Щоб пристосувати цей трюк, ми змушуємо один стовпчик матриці складатися лише з " s". У цьому випадку оцінювач стоїть окремо, помножений на константу для кожного спостереження замість випадкової пояснювальної змінної. Коефіцієнт представляє, таким чином, очікуване значення враховуючи, що утримується фіксованим зі значенням 1, а всі інші змінні - нулем. Тому розмірна гіперплан зменшується на один розмір до -вимірного підпростору, і $X$ $1$ $\beta_1$ $\beta_1$ $Y$ $x_{1i}$ $K\!+\!1$ $K$ $\beta_1$ відповідає "перехопленню" цієї -вимірної площини. $K$

У налаштуваннях матриці завжди бажано ознайомитися з простим випадком двох вимірів, щоб побачити, чи зможемо ми знайти інтуїцію для наших результатів. Тут найпростіший спосіб - думати просту регресію з двома пояснювальними змінними: або альтернативно виражається в матричній алгебрі: де є матриці.

y_{i} = β_{1} x_{1 i} + β_{2} x_{2 i} + u_{i}

$y_i=\beta_1x_{1i} + \beta_2x_{2i} +u_i$

Y = X β + u

$Y=X\beta +u$

X

$X$

N \times 2

$N\!\times\!2$

$<Y,X>$ охоплює 3-мірну гіперплан.

Тепер, якщо ми змусимо всіх бути всіма , отримаємо: - це звичайна наша проста регресія, яка може бути представлена у двовимірному графіку. Зауважимо, що тепер зводиться до двовимірної лінії - підмножини спочатку тривимірної гіперплани. Коефіцієнт відповідає перехопленню перерізу лінії при . $x_1$ $1$

y_{i} = β_{1 i} + β_{2} x_{2 i} + u_{i}

$y_i=\beta_{1i} + \beta_2x_{2i} + u_i$

X, Y

$X,\ Y$

< Y, X >

$<Y,X>$

β_{1}

$\beta_1$

x_{2 i} = 0

$x_{2i}=0$

Далі може бути показано, що він також проходить через коли константа включена . Якщо ми залишимо постійну, гіпергресія регресії завжди проходить тривіально через - без сумніву. Це узагальнюється до декількох вимірів, як це буде видно пізніше при виведенні : Оскільки має повний ранг на визначення, , і тому регресія проходить через початок, якщо ми не залишимо перехоплення. $<0,\beta_1>$ $<0,0>$ $\beta$

(X^{'} X) β = X^{'} y ⟹ (X^{'} X) β - X^{'} y = 0 ⟹ X^{'} (y - X β) = 0.

$(X'X)\beta=X'y \implies (X'X)\beta-X'y=0 \implies X'(y-X\beta)=0.$

X

$X$

y - X β = 0

$y-X\beta=0$

( Редагувати: Я щойно зрозумів, що для вашого другого питання це якраз навпаки, ви написали регулювання включення або виключення константи. Однак, я вже розробив рішення, і я виправлений, якщо я помиляюся на цьому. )

Я знаю, що матричне зображення регресії на початку може бути досить заплутаним, але з часом воно значно спрощує при виведенні більш складної алгебри. Сподіваюсь, це трохи допомагає.

— Майте
джерело

Я думаю, що спосіб її думати - переставити це рівняння:

\hat{Y} - X^{T} \hat{β} = 0

$\widehat{Y} - X^{T} \widehat{\beta} = 0$

Єдиний спосіб отримати лінійне рівняння, щоб включити початок, - це зробити передбачуване рівним перехопленню. І спосіб оцінити це значення - це включити термін перехоплення в регресійну модель.

\hat{Y}

$\widehat{Y}$

— DWin
джерело