Чи є лінійна лінійна регресія в 3 вимірах площиною, яка найкраще підходить, або лінія, що найкраще підходить?

Наш професор не потрапляє в математику чи навіть геометричне зображення множинної лінійної регресії, і це мене трохи збентежило.

З одного боку, це все ще називається множинною лінійною регресією, навіть у більш високих розмірах. З іншого боку, якщо ми, наприклад , і ми можемо підключити будь-які значення , які ми хотіли б для і , не це дає нам площина можливих рішень, а не лінія? $\hat{Y} = b_0 + b_1 X_1 + b_2 X_2$ $X_1$ $X_2$

Взагалі, чи не наша поверхня передбачення буде мірною площиною для незалежних змінних? $k$ $k$

multiple-regression high-dimensional

— Джеремі радикліф
джерело

Ви маєте рацію, поверхня розчину взагалі буде гіперпланом. Просто слово гіперплан - рот, площина коротша, а лінія ще коротша. Якщо ви продовжуєте роботу з математики, то одновимірний випадок стає все рідше обговорюваним, тому компроміс

Big words for high dimensional, Small words for small dimensional

починає дивитись, ну назад.

Наприклад, коли я бачу рівняння типу , де - матриця, а - вектори, я називаю це лінійним рівнянням . У більш ранній частині свого життя я би назвав це системою лінійних рівнянь , зберігаючи лінійне рівняння для одновимірного випадку. Але потім я дійшов до того, що одновимірний випадок просто не виникає дуже часто, тоді як багатовимірний випадок був скрізь. $Ax = b$ $A$ $x, b$

Це трапляється і з позначенням. Колись бачив, як хтось пише

\frac{\partial f}{\partial х} = 2 х

$\frac{\partial f}{\partial x} = 2x$

Цей символ ліворуч - це назва функції, тому щоб бути формальним і педантичним, слід написати

\frac{\partial f}{\partial х} (х) = 2 х

$\frac{\partial f}{\partial x}(x) = 2x$

У мультимірних погіршення стає гірше, коли дериватив бере два аргументи, один - де ви берете похідну, а другий - у якому напрямку ви оцінюєте похідну, як виглядає

\nabla_{х} f (v)

$\nabla_{x} f (v)$

але люди швидко лінуються і починають відкидати ті чи інші аргументи, залишаючи їх зрозумітими контекстом.

Професійні математики, міцно щокучими мовами, називають це зловживання нотацією . Є теми, в яких по суті було б неможливо виразити себе, не зловживаючи позначеннями, моя улюблена диференціальна геометрія є конкретним випадком. Великий Ніколя Бурбакі дуже красномовно висловив точку

Наскільки це можливо, ми звернули увагу в тексті на зловживання мовою, без яких жоден математичний текст несе ризик педантизму, не кажучи про нечитабельність.

- Бурбакі (1988)

Ви навіть коментуєте зловживання нотацією, на яку я потрапив вище, не помічаючи цього сам!

Технічно, оскільки ви писали df / dx як часткову похідну, хоча інші похідні змінні вважалися б постійними, чи часткова похідна технічно все ще не буде функцією всіх змінних вихідної функції, як у df / dx ( х, у, ...)?

Ви абсолютно правильні, і це дає хорошу (ненавмисну) ілюстрацію того, що я тут отримую.

$\frac{d f}{d x}$ $\partial$

Здогадуюсь, я думаю про це як тоді, коли ми говоримо "нескінченна сума" замість "межа суми, оскільки кількість термінів наближається до нескінченності". Як я думаю про це, це те, що це добре, поки зрозуміла концептуальна різниця. У цьому випадку (множинна регресія) я не був впевнений в першу чергу про що ми говорили.

$\Sigma$

Як ледачі, ми хочемо економити слова в загальних випадках.

(*) Історично це не так, як розвивалися нескінченні суми. Ліміт визначення часткових сум був розроблений після цього, коли математики почали стикатися з ситуаціями, коли потрібно було дуже точно міркувати.

— Метью Друрі
джерело

Смішно, що ви наводите приклад часткових похідних, тому що я завжди про це замислювався (радощі самостійного вивчення ...). До речі (не пов’язані між собою, і я не хочу бути педантичним, але просто хочу переконатися, що я розумію, наскільки це можливо) технічно, оскільки ви писали df / dx як часткову похідну, хоча інші змістовні змінні вважатимуться постійними, не буде часткова похідна технічно все ще є функцією всіх змінних вихідної функції, як у df / dx (x, y, ...)? Я думаю, моє запитання: чи часткова похідна все ще не є функцією всіх змінних?

— jeremy radcliff

Також дякую за все це. Я думаю, я думаю про це як тоді, коли ми говоримо "нескінченна сума" замість "межа суми, оскільки кількість термінів наближається до нескінченності". Як я думаю про це, це те, що це добре, поки зрозуміла концептуальна різниця. У цьому випадку (множинна регресія) я не був впевнений в першу чергу про що ми говорили. Я спробував уявити лінію в 3d, а потім зрозумів, що це не має сенсу, якщо ми дозволимо декільком незалежним змінним вільно змінюватися, тому я просто хотів переконатися.

— jeremy radcliff

+1 чудова відповідь. Іноді люди лінуються і викличуть масу плутанини. Ось чому я намагався задати нотації в цій публікації. stats.stackexchange.com/questions/216286/…

— Хайтао Ду

@jeremyradcliff Я редагував у деяких коментарях.

— Меттью Друрі

@MatthewDrury, дякую, що знайшли час для розгляду моїх коментарів. Мені це дуже корисно, тому що я самостійно вивчаю переважну більшість математики, яку я знаю, а відсутність навколишньої культури та доступу до математиків робить такі місця, як stackexchange та відповіді, як ваша, для мене безцінні.

— jeremy radcliff

"Лінійний" не зовсім означає, що ви думаєте, що це робить у цьому контексті - це трохи більш загальне

По-перше, це насправді не посилання на лінійність у x, а на параметри * ("лінійний у параметрах").

$E(Y|X) = X\beta$ $\beta$

Таким чином, площина (або загалом гіперплан) найкраще підходить досі "лінійна регресія".

$1$ $X\beta$ $X$ $\beta$

— Glen_b -Встановити Моніку
джерело