Що таке багатоваріантні ортогональні многочлени, обчислені в R?

Ортогональні многочлени в одновимірному наборі точок - це многочлени, які виробляють значення в цих точках таким чином, що його крапковий добуток і попарна кореляція дорівнюють нулю. R може виробляти ортогональні многочлени з функцією poly .

Таку ж функцію має і варіант поліма, який виробляє ортогональні многочлени на множинні множинні точки. У будь-якому випадку отримані многочлени не є ортогональними в тому сенсі, що мають парну нульову кореляцію. Насправді, оскільки поліноми першого порядку мають бути лише оригінальними змінними, поліноми першого порядку не будуть ортогональними, якщо вихідні змінні не мають співвідношення.

Тоді мої запитання:

• Які багатоваріантні ортогональні многочлени обчислюються полімою в R? Чи вони є лише продуктом одновимірних ортогональних многочленів? Для чого вони використовуються?
• Чи можуть існувати справжні багатофакторні ортогональні многочлени? Чи є простий спосіб їх виготовлення? В R? Чи реально вони використовуються в регресії?

Оновлення

У відповідь на коментар Superpronker, я наводжу один приклад того, що я маю на увазі під некорельованими поліномами:

> x<-rnorm(10000)
> cor(cbind(poly(x,degree=3)))
              1             2             3
1  1.000000e+00 -6.809725e-17  2.253577e-18
2 -6.809725e-17  1.000000e+00 -2.765115e-17
3  2.253577e-18 -2.765115e-17  1.000000e+00

Функція Poly повертає ортогональні многочлени, оцінені в точках x (тут 10000 балів за кожен многочлен). Кореляція між значеннями на різних многочленах дорівнює нулю (з деякою числовою помилкою).

При використанні багатоваріантних многочленів кореляції відрізняються від нуля:

> x<-rnorm(1000)
> y<-rnorm(1000)
> cor(cbind(polym(x,y,degree=2)))
              1.0           2.0           0.1         1.1           0.2
1.0  1.000000e+00  2.351107e-17  2.803716e-02 -0.02838553  3.802363e-02
2.0  2.351107e-17  1.000000e+00 -1.899282e-02  0.10336693 -8.205039e-04
0.1  2.803716e-02 -1.899282e-02  1.000000e+00  0.05426440  5.974827e-17
1.1 -2.838553e-02  1.033669e-01  5.426440e-02  1.00000000  8.415630e-02
0.2  3.802363e-02 -8.205039e-04  5.974827e-17  0.08415630  1.000000e+00

Тому я не розумію, в якому сенсі ці двосхилі многочлени є ортогональними.

Оновлення 2

Я хочу уточнити значення "ортогональних поліномів", що використовуються в регресії, оскільки цей контекст може бути якимось оманливим при застосуванні ідей з ортогональних многочленів у пов'язаних інтервалах - як у останньому коментарі Superpronker.

Я цитую " Практичну регресію" та "Anova" Юліана Дж. Фаравея на R- сторінках 101 і 102:

Ортогональні многочлени обходять цю задачу, визначивши

$$z_1=a_1+b_1x$$ $$z_2= a_2+b_2x+c_2x^2$$ $$z_3= a_3+b_3x+c_3x^2+d_3x^3$$ і т.д., де коефіцієнти a, b, c ... вибираються так, що $z_i^T·z_j=0$коли $i \neq j$ . Z називаються ортогональними многочленами.

Незначно зловживаючи мовою, тут автор використовує $z_i$ як для полінома (як функції), так і для вектора значень, який поліном приймає в точках множини $x$ . А може, це зовсім не зловживання мовою, оскільки з початку книги $x$ був предиктором (напр., Набором значень, взятим передбачувачем).

Це значення ортогональних многочленів насправді не відрізняється від ортогональних многочленів на проміжку. Ми можемо визначити ортогональні многочлени звичайним способом (використовуючи інтеграли) над будь-яким вимірюваним набором з будь-якою функцією вимірювання. Тут у нас є кінцевий набір ( $x$ ), і ми використовуємо крапковий добуток замість інтеграла, але це все-таки ортогональні многочлени, якщо взяти нашу функцію вимірювання як дельту Дірака в точках нашого кінцевого набору.

А стосовно кореляції: крапковий добуток ортогональних векторів у $R^n$ (як зображення ортогональних векторів на скінченному множині). Якщо крапковий добуток двох векторів дорівнює нулю, коваріація дорівнює нулю, а якщо коваріація дорівнює нулю, кореляція дорівнює нулю. У контексті лінійних моделей дуже корисно співвідносити "ортогональне" та "некорельоване", як у "ортогональному проектуванні експериментів".

Давайте вивчимо, що відбувається. Я впевнений, що ви вже знаєте більшість поданих нижче матеріалів, але щоб встановити позначення та визначення та зробити ідеї зрозумілими, я висвітлю основи поліноміальної регресії, перш ніж відповісти на питання. Якщо вам подобається, Rперейдіть до заголовка "Що робить" про дві третини шляху до цієї публікації, а потім пропустіть назад для будь-яких визначень, які можуть вам знадобитися.

Установка

Ми розглядаємо в $n\times k$ моделі матриця $\mathbb X$ потенційних пояснюють змінних в якій - то регрес. Це означає, що ми думаємо про стовпці $\mathbb X$ як $n$ вектори $X_1, X_2, \ldots, X_k$ і ми формуватимемо їх лінійні комбінації, $\beta_1 X_1 + \beta_2 X_2 + \cdots + \beta_k X_k,$ для прогнозування або оцінки відповіді.

Іноді регресію можна покращити шляхом введення додаткових стовпців, створених шляхом множення різних стовпців $X$ один на одного, коефіцієнта на коефіцієнт. Такі вироби називаються «мономерами» і їх можна писати подібними

$$X_1^{d_1} X_2^{d_2} \cdots X_k^{d_k}$$

де кожна "потужність" $d_i$ дорівнює нулю або більше, що представляє, скільки разів кожен $X_1$ з'являється у творі. Зауважте, що $X^0$ - $n$ вектор постійних коефіцієнтів ( $1$ ), а $X^1=X$ сам. Таким чином, Мономах (як вектори) породжують векторне простір , яке включає в себе вихідний стовпець простір $\mathbb X.$ Можливість, що це може бути більший векторний простір, дає цій процедурі більший обсяг для моделювання відповіді за допомогою лінійних комбінацій.

Ми маємо намір замінити оригінальну матрицю $\mathbb X$ на колекційну лінійну комбінацію одночленів. Коли ступінь принаймні одного з цих мономенів перевищує $1,$ це називається поліноміальною регресією.

Класифікація многочленів

Ступінь одночлена є сумою своїх повноважень, $d_1+d_2+\ldots+d_k.$ Ступінь лінійної комбінації одночленів ("многочлен") є найбільшою мірою серед одночленних членів з ненульовими коефіцієнтами. Ступінь має внутрішнє значення, оскільки коли ви змінюєте основу вихідного векторного простору, кожен вектор $X_i$ знову представляється лінійною комбінацією всіх векторів; одночлени $X_1^{d_1} X_2^{d_2} \cdots X_k^{d_k}$тим самим стають многочленами однакового ступеня; і, отже, ступінь будь-якого многочлена не змінюється.

Ступінь забезпечує природне "класифікацію" цієї поліноміальної алгебри: векторний простір, сформований усіма лінійними комбінаціями одночленів у $X$ ступеня до і включаючи $d+1,$ називається "поліномами [або до] ступеня $d+1$ у $X,$ "розширює векторний простір многочленів до ступеня $d$ в $X.$

Використання поліноміальної регресії

Часто поліноміальна регресія є дослідницькою в тому сенсі, що ми не знаємо спочатку, які мономи включати. Процес створення нових модельних матриць із одночленів та переналагодження регресії, можливо, потрібно буде повторити багато разів, можливо, астрономічне число разів у деяких настройках машинного навчання.

Головні проблеми такого підходу є

1. Мономіали часто вносять проблемні кількості "мультиколінеарності" в нову матрицю моделі, в першу чергу через те, що потужності однієї змінної, як правило, є дуже колінеарними. (Колінеарність між повноваженнями двох різних змінних непередбачувана, оскільки це залежить від того, наскільки ці змінні пов'язані, а тому є менш передбачуваною.)

2. Зміна лише одного стовпчика матриці моделі або введення нового або видалення його може зажадати «холодного перезапуску» процедури регресії, що потенційно може зайняти тривалий час для обчислення.

Класифікація поліноміальних алгебр дає спосіб подолати обидві проблеми.

Ортогональні многочлени в одній змінній

З огляду на одного вектор - стовпець $X,$ набір «ортогональних многочленів» для $X$ являє собою послідовність векторів - стовпців $p_0(X), p_1(X), p_2(X),\ldots$ формується в вигляді лінійної комбінації одночленним в $X$ в поодинці - що є, як сили $X$ - з такими властивостями:

1. Для кожного ступеня $d=0, 1, 2, \ldots,$ вектори $p_0(X), p_1(X), \ldots, p_d(X)$ генерують той же векторний простір, що і $X^0, X^1, \ldots, X^d.$ (Зауважте, що $X^0$ - $n$ вектор одиниць, а $X^1$ - просто $X$ себе.)

2. $p_i(X)$ є взаємно ортогональними в тому сенсі , що для $i\ne j,$

   $$p_i(X)^\prime p_j(X) = 0.$$

Зазвичай матриця заміщення моделі

$$\mathbb{P} = \pmatrix{p_0(X) & p_1(X) & \cdots & p_d(X)}$$ сформована з цих мономенів, вибирається ортонормальною шляхом нормалізації її стовпців до одиничної довжини: $$\mathbb{P}^\prime \mathbb{P} = \mathbb{I}_{d+1}.$$ Оскільки обернення $\mathbb{P}^\prime \mathbb{P}$ з'являється в більшості рівнянь регресії та інверсії матриці тотожності $\mathbb{I}_{d+1}$ саме по собі, це представляє величезний обчислювальний приріст.

Ортонормальність майже майже визначає $p_i(X).$ Ви можете переконатися в цьому:

• Перший многочлен, $p_0(X),$ повинен бути кратним $n$ вектору $\mathbf{1}=(1,1,\ldots,1)^\prime$ одиничної довжини. Є лише два варіанти, $\pm \sqrt{1/n}\mathbf{1}.$ Зазвичай обирають позитивний квадратний корінь.

• Другий многочлен, $p_1(X),$ повинен бути ортогональним до $\mathbf{1}.$ Вона може бути отримана регрес $X$ проти $\mathbf{1},$ рішення якого є вектором середніх значень Х = ˉ Х 1 . Якщо різниці ε = Х - Х не тотожне дорівнюють нулю, вони дають лише два можливих рішень р 1 ( X ) = ± ( 1 / | | е | |$\hat X = \bar{X}\mathbf{1}.$$\epsilon = X - \hat X$$p_1(X) = \pm \left(1/||\epsilon||\right)\,\epsilon.$

...

• $p_{d+1}(X)$$X^{d+1}$$p_0(X), p_1(X), \ldots, p_d(X)$$X.$

Це процес Грам-Шмідта, застосований до внутрішньої послідовності векторів $X^0, X^1, \ldots, X_d, \ldots.$ Зазвичай він обчислюється за допомогою розкладання QR, що є майже таким же, але обчислюється чисельно стабільним чином.

Ця конструкція дає послідовність додаткових стовпців, які слід враховувати, включаючи в матрицю моделі. Тому поліноміальна регресія в одній змінній зазвичай протікає шляхом додавання елементів цієї послідовності по черзі до тих пір, поки не буде досягнуто подальшого покращення регресії. Оскільки кожен новий стовпець є ортогональним для попереднього, у тому числі він не змінює жодної з попередніх оцінок коефіцієнта. Це створює ефективну та легко тлумачну процедуру.

Поліноми у кількох змінних

Розвідувальна регресія (як і підгонка моделі) зазвичай відбувається шляхом спочатку розгляду, які (оригінальні) змінні включити до моделі; потім оцінюють, чи можна змінити ці змінні, включаючи різні перетворення їх, наприклад, мономеї; а потім введення «взаємодій», утворених з продуктів цих змінних, та їх повторного вираження.

$\mathbb X$

У цей момент частини універсальної програми розпадаються. Яку послідовність взаємодій ви застосовували б одну за одною, поки не буде визначена відповідна модель? Більше того, тепер, коли ми справді увійшли до царини багатовимірного аналізу, кількість доступних варіантів та їх зростаюча складність дозволяють припустити зменшення прибутку при побудові послідовності багатоваріантних ортогональних многочленів. Якщо ж ви мали на увазі таку послідовність, ви могли обчислити її за допомогою розкладання QR.

---

Що Rробить

Програмне забезпечення для поліноміальної регресії, як правило, фокусується на обчисленні одновимірних ортогональних послідовностей поліномів. Характерно, Rщоб така підтримка була максимально автоматизованою до груп одноманітних поліномів. Це те, що polyробить. (Його супутник polym- це по суті той самий код, з меншою кількістю дзвіночків; дві функції виконують те саме.)

poly$X,$$d.$$d$$X_1, \ldots, X_k$$\mathbb X,$

1. $p_1(X_j), p_2(X_j), \ldots, p_d(X_j)$$j$$d.$$p_0(X_i)$R

2. $d.$

$d.$$2$$d=2,$ R

$$p_1(X_1),\quad p_2(X_1),\quad p_1(X_2),\quad p_1(X_1)p_1(X_2),\quad p_2(X_2).$$

R $p_2(X_1)p_1(X_2),$ $p_1(X_1)p_2(X_2)$$p_1(X_2)p_2(X_2)$formula

$p_1(X_1)p_1(X_2).$$p_1(X_1)$$p_1(X_2)$

Приклад

$$\mathbb{X} = \pmatrix{1 & 3 \\ 5 & 6 \\ 2 & 4}.$$

$X_1 = (1,5,2)^\prime$$X_1^0= (1,1,1)^\prime$$p_0(X_1) = (1,1,1)^\prime/\sqrt{3} \approx(0.58,0.58,0.58)^\prime.$$X_1^1 = X_1$$p_0(X_1),$$X_1$$p_0(X_1)$$p_1(X_1)$$X_1$$p_1(X_1) = (-0.57,0.79,-0.23)^\prime.$$X_1^2 = (1,25,4)$$p_0(X_1)$$p_1(X_1)$$X_1$$n=3$$X_1,$$(t-1)(t-5)(t-4),$$3,$$3$ або більше - це лінійні комбінації менших потужностей, і ці менші потужності лінійно незалежні.)

$X_1$

$$\mathbb{P_1} = \pmatrix{0.58 & -0.57 & 0.59 \\ 0.58 & 0.79 & 0.20 \\ 0.58 & -0.23 & -0.78}$$

(до двох значущих цифр).

$X_2$

$$\mathbb{P_2} = \pmatrix{0.58 & -0.62 & 0.53 \\ 0.58 & 0.77 & 0.27 \\ 0.58 & -0.15 & -0.80}.$$

$(0.35, 0.61, 0.035)^\prime.$polypolym

$$\mathbb{P} = \pmatrix{-0.57 & 0.59 & -0.62 & 0.35 & 0.53 \\ 0.79 & 0.20&0.77& 0.61& 0.27 \\ -0.23 & -0.78 & -0.15 & 0.035 & -0.80}.$$

$X_1$$X_2$$\mathbb{P}^\prime\mathbb{P},$$(1,2), (2,1), (3,5),$$(5,3)$$(1,1), (2,2), (3,3),$$(5,5)$$(4,4)$

$$\mathbb{P}^\prime\,\mathbb{P} = \pmatrix{\color{blue}{\bf 1} & \color{red}{\bf 0} & 1 & 0.28 & 0.091 \\ \color{red}{\bf 0} & \color{blue}{\bf 1} & -0.091 & 0.3 & 1 \\ 1 & -0.091 & \color{blue}{\bf 1} & 0.25 & \color{red}{\bf 0} \\ 0.28 & 0.3 & 0.25 & 0.5 & 0.32 \\ 0.091 & 1 & \color{red}{\bf 0} & 0.32 & \color{blue}{\bf 1}}.$$

$\mathbb P$$10^{-17}$