Чи можна просту лінійну регресію зробити без використання графіків та лінійної алгебри?

Я повністю сліпий і походжу з фону програмування.

Що я намагаюся зробити - це навчитися машинному навчанню, і для цього мені спочатку потрібно дізнатися про лінійну регресію. Усі пояснення в Інтернеті, які я знаходжу з цього приводу, спочатку описують дані. Я шукаю практичне пояснення лінійної регресії, яка не залежить від графіків та графіків.

Ось моє розуміння мети простої лінійної регресії:

Проста лінійна регресія намагається знайти формулу, яка, як тільки ви дасте Xїй, дасть вам найближчу оцінку Y.

Отже, наскільки я розумію, що потрібно зробити, це порівняти предиктор (наприклад, площа будинку в квадратних футах) з незалежною змінною (ціна). У моєму прикладі ви, напевно, можете створити невізуальний спосіб отримати найкращу формулу для розрахунку ціни будинку з його площі. Наприклад, можливо, ви отримали б площу та ціну 1000 будинків у мікрорайоні та розділили ціну на площу? Результат (принаймні, в Ірані, де я живу) мав би дуже незначну дисперсію. Тож ви, мабуть, отримаєте щось подібне:

Price = 2333 Rials * Area of the house

Звичайно, тоді вам потрібно буде пройти всі 1000 будинків у вашому наборі даних, поставити площу у формулу вище, порівняти оцінку з реальною ціною, квадратні результати (я думаю, щоб запобігти відхиленню між собою відхилення) а потім отримайте число, а потім продовжуйте грати з, 2333щоб зменшити помилки.

Звичайно, це варіант грубої сили, коли, ймовірно, потрібні віки для обчислення помилок і досягнення найкращого варіанту, але ви бачите, що я говорю? Я нічого не сказав про графік, лінію або точки на графіку, або найкращий спосіб пристосування рядка до наявних даних.

Отже, навіщо для цього вам потрібна розсипчаста ділянка та лінійна алгебра? Хіба немає візуального способу?

По-перше, я правий у своїх припущеннях? Якщо ні, я б хотів виправити. Хоча я чи ні, чи є спосіб придумати формулу, не граючи з лінійною алгеброю?

Я дуже вдячний, якби міг отримати приклад із поясненням, щоб я міг це зробити разом із текстом, щоб перевірити своє розуміння.

$\beta$$E$$\beta$$\beta$

$\beta$$E$$\beta$$\beta$$\beta$

$\beta$

Редагувати: Ось посилання на деякі замітки з цим типом виведення. Математика стає трохи безладною, але в її основі це просто проблема числення.

Ваше розуміння близьке, але потребує певного розширення. Проста лінійна регресія намагається знайти формулу, яка, як тільки ви дасте Xїй, дасть вам найближчу оцінку на Y основі лінійного відношення між X і Y .

Ваш приклад цін на житло, коли трохи подовжується, показує, чому ви закінчуєте розсипати ділянки тощо. По-перше, просто розділити ціну на площу не працює в інших випадках, як ціни на землю в моєму рідному місті, де правила про будівництво означають, що просто володіння земельною ділянкою, на якій можна побудувати будинок, має високу цінність. Тому ціни на землю не просто пропорційні площі. Кожне збільшення площі посилки може призвести до однакового збільшення вартості посилки, але якщо ви пройшли весь шлях до (міфічної) ділянки 0, все одно буде пов'язана очевидна ціна, яка представляє цінність просто володіння земельною ділянкою. це затверджено для будівництва.

Це все ще є лінійним співвідношенням між площею і значенням, але є перехоплення у відношенні, що представляє значення просто володіння посилкою. Однак це робить лінійним співвідношенням те, що зміна величини на одиницю зміни площі, схилу чи коефіцієнта регресії завжди однакова, незалежно від величин площі чи величини.

Отже, скажіть, що ви вже якось знаєте і перехоплення, і нахил, які відносять ділянки посилки до значення, і ви порівнюєте значення з цього лінійного відношення з фактичними значеннями, представленими останніми продажами. Ви виявите, що передбачувані та фактичні значення рідко, якщо взагалі збігаються. Ці розбіжності представляють помилки у вашій моделі та призводять до розсіювання значень навколо передбачуваного відношення. Ви отримуєте графік розкидання точок, згрупованих навколо прогнозованого прямолінійного співвідношення між площею та значенням.

У більшості практичних прикладів ви вже не знаєте перехоплення та нахилу, тому вам доведеться спробувати оцінити їх за даними. Ось що намагається зробити лінійна регресія.

Можливо, вам буде краще думати про лінійну регресію та пов'язане з нею моделювання з точки зору оцінки максимальної ймовірності , що є пошуком конкретних значень параметрів у вашій моделі, які роблять дані найбільш вірогідними. Це схоже на підхід "грубої сили", який ви пропонуєте у своєму питанні, але з дещо іншою мірою того, що ви намагаєтеся оптимізувати. З сучасними обчислювальними методами та розумним дизайном шаблону пошуку це можна зробити досить швидко.

Оцінка максимальної ймовірності може бути концептуалізована способами, які не потребують графічного сюжету, і подібна до того, як ви вже, здається, думаєте. У випадку лінійної регресії обидва стандартні регресії з найменшими квадратами та максимальна ймовірність дають однакові оцінки перехоплення та нахилу.

Мислення з точки зору максимальної вірогідності має додаткову перевагу, що воно краще поширюється на інші ситуації, коли немає строго лінійних відносин. Хороший приклад - логістична регресія, в якій ви намагаєтеся оцінити ймовірність події, що відбувається на основі змінних прогнозів. Це може бути досягнуто з максимальною ймовірністю, але на відміну від стандартної лінійної регресії не існує простого рівняння, яке створює перехоплення та нахили при логістичній регресії.

Перш за все, мої компліменти. Кожному важко боротися зі статистикою (я - лікар, тож можна здогадатися, як важко мені) ...

Я можу запропонувати не візуальне пояснення лінійної регресії , а щось дуже близьке: тактильне пояснення до лінійної регресії .

Уявіть, що ви входите в кімнату через двері. Кімната має більш-менш квадратну форму, а двері - у нижньому лівому куті. Ви хочете потрапити до сусідньої кімнати, двері якої, як ви очікуєте, буде у верхньому правому куті, більш-менш. Уявіть, що ви не можете точно сказати, де знаходиться сусідня двері (ніколи!), Але в кімнаті розкидані люди, і вони можуть вам сказати, куди слід їхати. Вони також не бачать, але можуть сказати вам, що там поруч. Кінцевий шлях, який ви пройдете, щоб дійти до сусідніх дверей, керуючись цим народом, аналогічний лінії регресії, яка мінімізує відстань між цими людьми і приводить вас до дверей, близьких до (якщо не на) правильному шляху.

$Y$$X$

$$Y = \beta_0 + \beta_1 X + \varepsilon$$

$\beta_0$$y$$x$

$X$змінну, тобто площу будинку, на три групи: "малі", "середні" та "великі" будинки (вони описують, як оптимально приймати таке рішення, але це має меншу важливість). Далі обчисліть середній розмір "маленького" будинку та середній розмір "великого" будинку. Обчисліть також середню ціну "маленького" будинку та "великого". Тепер зменшіть свої дані до двох точок - центрів хмари точок даних для малих та великих будинків, розкиданих по простору, і видаліть усі точки даних про "середні" будинки. У двовимірному просторі вам залишаються дві точки. Лінія регресії - це лінія, яка з'єднує точки - ви можете думати про це як напрямок від однієї точки до іншої. $\beta_1$

Те саме відбувається, коли у нас більше точок, розкиданих по простору: лінія регресії знаходить свій шлях, мінімізуючи квадратну відстань до кожної точки. Отже лінія проходить точно через центр хмари точок, розкиданих у просторі. Замість з'єднання двох точок ви можете вважати це з'єднанням необмеженої кількості таких центральних точок.

---

Гельман, А., і Парк, округ Колумбія (2012). Розщеплення предиктора на верхню чверть чи третю та нижню чверть чи третю. Американський статистик, 62 (4), 1-8.

Коротка відповідь - так. Яка лінія найкраще проходить через середину всіх точок, які складають цілісність або просто поверхню літака чи джаліну? Намалюйте його; в голові або на малюнку. Ви шукаєте і в тій самотній лінії, від якої кожна точка (яка вас цікавить, побудуєте ви їх чи ні), яка б сприяла загальному мінімуму (серед балів) відхилення від цієї лінії. Якщо ви зробите це наочно, неявно за здоровим глуздом, ви наблизите (дивовижно) математично обчислений результат. Для цього існують формули, які турбують око і можуть не мати здорового глузду. У подібних формалізованих проблемах в техніці та науці розкидачі все ще запрошують попередню оцінку на очі, але на цих аренах передбачається створити "тестову" ймовірність того, що лінія є лінією. Звідти йде в гору. Однак, ви, мабуть, намагаєтесь навчити машину розміщувати (фактично) межі та межі (а) значного джгута та (б) розсипаного поголів’я всередині нього. Якщо ви надаєте вашій машині те, що становить зображення (графічну, алгебраїчну) нерухомості та мешканців, вона повинна мати можливість зрозуміти (середня лінія акуратно розділила плівку на два, обчислила декатер на лінію), що ви хочете зробити. Будь-який гідний підручник зі статистики (попросіть викладачів чи професорів назвати їх більше, ніж один) повинен в першу чергу прописати як всю точку лінійної регресії, так і як це зробити в найпростіших випадках (починаючи з випадків, які не є простими). Кілька кренделей пізніше, вам доведеться погладити. Якщо ви надаєте вашій машині те, що становить зображення (графічну, алгебраїчну) нерухомості та мешканців, вона повинна мати можливість зрозуміти (середня лінія акуратно розділила плівку на два, обчислила декатер на лінію), що ви хочете зробити. Будь-який гідний підручник зі статистики (попросіть викладачів чи професорів назвати їх більше, ніж один) повинен в першу чергу прописати як всю точку лінійної регресії, так і як це зробити в найпростіших випадках (починаючи з випадків, які не є простими). Кілька кренделей пізніше, вам доведеться погладити. Якщо ви надаєте вашій машині те, що становить зображення (графічну, алгебраїчну) нерухомості та мешканців, вона повинна мати можливість зрозуміти (середня лінія акуратно розділила плівку на два, обчислила декатер на лінію), що ви хочете зробити. Будь-який гідний підручник зі статистики (попросіть викладачів чи професорів назвати їх більше, ніж один) повинен в першу чергу прописати як всю точку лінійної регресії, так і як це зробити в найпростіших випадках (починаючи з випадків, які не є простими). Кілька кренделей пізніше, вам доведеться погладити. Будь-який гідний підручник зі статистики (попросіть викладачів чи професорів назвати їх більше, ніж один) повинен в першу чергу прописати як всю точку лінійної регресії, так і як це зробити в найпростіших випадках (починаючи з випадків, які не є простими). Кілька кренделей пізніше, вам доведеться погладити. Будь-який гідний підручник зі статистики (попросіть викладачів чи професорів назвати їх більше, ніж один) повинен в першу чергу прописати як всю точку лінійної регресії, так і як це зробити в найпростіших випадках (починаючи з випадків, які не є простими). Кілька кренделей пізніше, вам доведеться погладити.

---

Насправді: коментар Silverfish до моєї публікації supra (мабуть, немає простого способу, крім цього, щоб додати коментар до цього коментаря), так, ОП сліпий, навчається машинному навчанню та вимагає практичності без графіків чи графіків, але я припускаю, що він здатний відрізнити "візуалізацію" від "зору", візуалізує і має справжні фотографії в голові, і має основне уявлення про всі види фізичного в об'єктах навколишнього світу (будинки, серед іншого), тому він все ще може " намалюйте "як математично, так і інакше в його голові, і, ймовірно, може поставити хороший вигляд 2D і 3D на папері. На сьогоднішній день широкий спектр книг та інших текстів доступний як у фізичній шрифті Брайля, так і в електронному голосі на власному комп’ютері (наприклад, на форумах, словниках тощо), і багато шкіл для сліпих мають досить повні навчальні програми. Замість літака чи джалі, диван чи тростина не обов'язково були б більш підходящими, а тексти статистики, ймовірно, доступні. Він менш стурбований тим, як машини можуть навчитися будувати графіки або обчислювати регресію, а потім, як машини можуть навчитися робити щось еквівалентне (і більш базове), щоб зрозуміти регресію (чи може машина відображати її, реагувати на неї, слідувати це, уникати цього чи що завгодно). Основна тяга (як для сліпих, так і для прозорливих студентів) все ще полягає в тому, як візуалізувати те, що може бути невізуальним (наприклад, поняття лінійності, а не екземпляра намальованої лінії, оскільки до Евкліда та Піфагора), і як візуалізувати основне призначення особливого виду лінійності (регресія, основна точка якої найкраще підходить до найменшого відхилення, з початку математики та статистики). Фортранський вихід регресії lineprinter ледве "візуальний", поки психічно не засвоїться, але навіть основна точка регресії є уявною (лінія, яка не існує, поки вона не буде зроблена за призначенням).

Причина, чому сюжети загальновикористовуються для введення простої регресії - відповіді, передбачуваної одним провісником, - це те, що вони допомагають зрозуміти.

Однак я вважаю, що можу дати щось аромат, який може допомогти зрозуміти, що відбувається. У цьому я здебільшого зосереджуся на спробі передати деяке розуміння, яке вони дають, що може допомогти з деякими іншими аспектами, з якими ти зазвичай зіткнешся, читаючи про регресію. Тож ця відповідь стосуватиметься головним чином конкретного аспекту вашої публікації.

Уявіть, що ви сидите перед великим прямокутним столом, таким як звичайний офісний стіл, один повний простір руки (можливо, 1,8 метра), можливо, наполовину ширший.

Ви сидите перед столом у звичайному положенні, посередині однієї довгої сторони. На цьому столі велика кількість цвяхів (з досить гладкими головами) забито у верхню поверхню, так що кожен трохи підскакує (достатньо, щоб відчути, де вони є, і достатньо, щоб прив'язати до них струну або прикріпити гумку ).

Ці цвяхи знаходяться на різній відстані від вашого краю письмового столу таким чином, що в напрямку до одного кінця (скажімо лівого кінця) вони, як правило, ближче до вашого краю письмового столу, а потім, коли ви рухаєтеся до іншого кінця, голівки цвяхів. прагнуть бути далі від вашого краю.

Далі уявіть, що було б корисно мати відчуття того, наскільки в середньому нігті знаходяться від вашого краю в будь-якому положенні по вашому краю.

Виберіть деяке місце уздовж краю письмового столу і покладіть туди руку, потім простягніть вперед прямо через стіл, обережно перетягуючи руку прямо назад до вас, потім знову, рухаючи рукою вперед-назад над голівками нігтів. Ви зустрічаєте кілька десятків ударів від цих нігтів - тих, що знаходяться на тій вузькій ширині вашої руки (коли вона віддаляється безпосередньо від вашого краю, на постійній відстані від лівого кінця письмового столу), секцію або смужку, приблизно приблизно десять сантиметрів завширшки. .

Ідея полягає у тому, щоб визначити деяку середню відстань до цвяха від вашого краю письмового столу в цьому невеликому розділі. Інтуїтивно це лише середина ударів, в які ми потрапили, але якби ми виміряли кожну відстань до нігтя в тій частині ширини ручної ширини, ми могли б легко обчислити ці середні показники.

Наприклад, ми могли б скористатися Т-квадратом , голова якого ковзає по краю письмового столу і вал якого рухається в бік іншого столу, але трохи вище письмового столу, щоб ми не вдарили цвяхи, коли він ковзає вліво або праворуч - під час проходження даного цвяха ми можемо отримати його відстань уздовж валу Т-квадрата.

Тож при прогресуванні місць уздовж нашого краю ми повторюємо цю вправу, щоб знайти всі цвяхи в смузі ширини руки, що біжить до нас і від них, і знайти їх середню відстань. Можливо, ми поділимо письмовий стіл на смужки шириною руки уздовж нашого краю (тому кожен цвях зустрічається рівно однією смужкою).

А тепер уявіть, що було сказано 21 таку смужку, перша біля лівого краю та остання біля правого краю. Засоби віддаляються від нашої стільниці, коли ми просуваємося по смугах.

Ці засоби утворюють простий непараметричний оцінювач регресії очікування y (наш відстань), заданий x (відстань уздовж нашого краю від лівого кінця), тобто E (y | x). Зокрема, це подвійний непараметричний оцінювач регресії, який також називають регресограмою

Якщо ці засоби смужки збільшувались регулярно - тобто середнє значення, як правило, збільшувалося приблизно на таку ж кількість на смугу, як і ми, рухаючись по смугах, - тоді ми могли б краще оцінити нашу регресійну функцію, вважаючи, що очікуване значення y було лінійним функція x - тобто, щоб очікуване значення y заданого x було постійним плюс кратне x. Тут константа представляє, де цвяхи, як правило, дорівнюють нулю (часто ми можемо розмістити це в крайньому лівому краї, але це не повинно бути), а конкретний кратний х є тим, наскільки швидкий в середньому середній змінюється, коли ми рухаємося на один сантиметр (скажімо) праворуч.

Але як знайти таку лінійну функцію?

Уявіть, що ми накручуємо по одній гумці на кожну головку нігтів і прикріплюємо кожну довгу тонку паличку, що лежить трохи вище письмового столу, поверх нігтів, щоб вона лежала десь біля "середини" кожної смужки, яку ми мали бути для.

Ми прикріплюємо смуги таким чином, щоб вони тільки тягнулися в напрямку до та від нас (не ліворуч чи праворуч) - ліворуч до себе вони потягнулися б так, щоб зробити напрямок розтягування під прямим кутом за допомогою палиці, але тут ми перешкоджаємо цьому, щоб їх напрямок розтягування залишався лише в напрямку до нашої сторони або від неї. Тепер ми даємо палиці осісти, коли смуги тягнуть її до кожного нігтя, при цьому більш віддалені цвяхи (з більш розтягнутими гумками) підтягуються відповідно сильніше, ніж цвяхи, близькі до палички.

Тоді комбінованим результатом того, що всі стрічки натягнуть на палицю, було б (в ідеалі, принаймні) витягнути палицю, щоб мінімізувати суму квадратних довжин натягнутих гумок; у цьому напрямку безпосередньо через таблицю відстань від нашого краю столу до палички в будь-якому даному положенні x буде нашою оцінкою очікуваного значення y заданого x.

Це по суті лінійна оцінка регресії.

А тепер уявіть, що замість нігтів у нас багато фруктів (на зразок маленьких яблук), що звисають з великого дерева, і ми хочемо знайти середню відстань плодів над землею, оскільки вона змінюється залежно від положення на землі. Уявіть, що в цьому випадку висота над землею збільшується, коли ми рухаємось вперед і трохи більше, коли рухаємось вправо, знову регулярно, тому кожен крок вперед зазвичай змінює середню висоту приблизно на стільки ж, а кожен крок до Право також змінить середнє значення приблизно на постійну величину (але ця ступінчаста величина зміни середнього значення відрізняється від величини, що крокує вперед).

Якщо ми мінімізуємо суму квадратних вертикальних відстаней від плодів до тонкого плоского аркуша (можливо, тонкого листа з дуже жорсткого пластику), щоб зрозуміти, як змінюється середня висота, коли ми рухаємось вперед або крокуємо праворуч, це було б лінійна регресія з двома предикторами - множинна регресія.

Це єдині два випадки, які сюжети можуть допомогти зрозуміти (вони можуть швидко показати те, що я щойно описав, але, сподіваємось, ви знаєте, є підстава для концептуалізації тих же ідей). Крім цих найпростіших двох випадків, нам залишається лише математика.

Тепер візьмемо приклад ціни вашого будинку; ви можете зобразити площу кожного будинку на відстані уздовж вашого краю письмового столу - представляйте найбільший розмір будинку як положення біля правого краю, кожен інший розмір будинку буде деяким положенням лівіше, де певна кількість сантиметрів представлятиме деяку кількість кількість квадратних метрів. Тепер відстань представляє ціну продажу. Представляйте найдорожчий будинок як деяку відстань біля самого віддаленого краю письмового столу (як завжди, край, віддалений від вашого стільця), і кожен зсунутий сантиметр подаватиме деяку кількість ріалів.

Для представників уявімо, що ми обрали представлення таким чином, щоб лівий край письмового столу відповідав нульовій площі будинку, а найближчий край - ціною будинку в 0. Потім ми вкладаємо цвях для кожного будинку.

У нас, мабуть, не буде цвяхів біля лівого кінця нашого краю (вони можуть бути в основному праворуч і далеко від нас), оскільки це не обов'язково є вдалим вибором масштабу, але ваш вибір моделі без перехоплення робить це кращий спосіб обговорити це.

Тепер у вашій моделі ви змушуєте палицю проходити через петлю струни в лівому куті найближчого краю письмового столу - таким чином, змушуючи встановлену модель мати нульову ціну за нуль, що може здатися природним - але уявіть, якщо є деякі досить постійні компоненти ціни, які вплинули на кожен продаж. Тоді було б сенс, щоб перехоплення відрізнялося від нуля.

У будь-якому випадку, додаючи цю петлю, та сама вправа, як і раніше, знайде оцінку найменших квадратів лінії.

Чи стикалися ви з тостером, який часто буває в готелях. Ви кладете хліб на конвеєр з одного кінця, а другий виходить як тост. На жаль, у тостері в цьому дешевому готелі всі обігрівачі перемістилися на випадкові висоти та відстані від входу до тостеру. Ви не можете переміщувати обігрівачі або згинати контур ременя (який, до речі, прямий (саме тут надходить лінійний шматочок), але ви можете змінити ВИСОКУ і НАГУТКА ременя.

Враховуючи положення всіх нагрівачів, лінійна регресія підкаже вам правильну висоту та кут розміщення ременя, щоб отримати найбільше тепло в цілому. Це тому, що лінійна регресія мінімізує середню відстань між тостом і нагрівачами.

Моєю першою відпустковою роботою було вручну робити лінійні регресії. Хлопець, який сказав, що ти не хочеш цього робити, ПРАВИЛЬНО !!!

Моє улюблене пояснення лінійної регресії - геометричне, але не візуальне. Він розглядає набір даних як єдину точку у високомірному просторі, а не розбиває його на хмару точок у двовимірному просторі.

$a$$p$$(a, p)$$a_1, \ldots, a_{1000}$$p_1, \ldots, p_{1000}$

$$D = (a_1, \ldots, a_{1000}, p_1, \ldots, p_{1000})$$ $D$

$D$

$$M(\rho, \beta) = (a_1, \ldots, a_{1000}, \rho a_1 + \beta, \ldots, \rho a_{1000} + \beta).$$ $\rho$$\beta$$a_1, \ldots, a_{1000}$$\rho$$\beta$

$D$$M(\rho, \beta)$$D$

$D$$M(\rho, \beta)$

$$[p_1 - (\rho a_1 + \beta)]^2 + \ldots + [p_{1000} - (\rho a_{1000} + \beta)]^2.$$ Іншими словами, відстань між точкою даних та точкою моделі - загальна помилка квадрата моделі! Мінімізація загальної помилки квадрата моделі - це те саме, що мінімізувати відстань між моделлю та даними в просторі даних.

$\rho$$\beta$$D$$M(\rho, \beta)$

@Chris Rackauckas та @ EDM відповіді на місці. Існує багато способів наблизитись до простої лінійної регресії, яка не вимагає побудови графічних або візуальних пояснень оцінки звичайних найменших квадратів, і вони дають дуже ґрунтовні пояснення того, що насправді відбувається під час використання OLS.

Я можу додати, що використовуючи розсіювачі в якості інструментального інструктажу для вивчення будь-якої нової процедури моделювання, будь то параметрична модель старої школи, вдосконалений матеріал машинного навчання або байєсовські алгоритми, графік може допомогти скоротити час, який потрібен, щоб дізнатися, що саме алгоритм робить.

Графік також дуже важливий для дослідницького аналізу даних, коли ви вперше починаєте працювати з новим набором даних. У мене були ситуації, коли я збирав багато даних, опрацьовував теорію, ретельно спланував свою модель, а потім застосував її, лише щоб закінчити результати, які, по суті, не мали прогнозованої сили. Складання двосхилих відносин може витягнути деякі здогадки: у вашому прикладі можливо, що ціна на житло лінійно пов'язана з площею, але, можливо, відносини не є лінійними. Scatterplots допоможуть вам вирішити, чи потрібні вам умови вищого порядку у вашій регресії, чи ви хочете скористатися іншим методом, ніж лінійна регресія, або якщо ви хочете скористатися якимось непараметричним методом.

Квартет Google for Anscombe

Він показує 4 набори даних, які при перевірці чисельно не показують великої різниці.

Однак, створюючи візуальний розсіяний сюжет, відмінності стають різко помітними.

Це дає досить чітке уявлення про те, чому ви завжди повинні будувати свої дані, регресію чи відсутність регресії :-)

Ми хочемо мати рішення, яке мінімізує різницю між передбачуваними та фактичними значеннями.

$y=bx+a$

$y$$y$

Якщо припустити, що розподіл помилок зазвичай розподіляється, виявиться, що існує проблема аналітичного вирішення цієї проблеми мінімізації. Сума квадратів різниць є найкращим значенням для мінімізації для найкращого прилягання. Але нормальність взагалі не потрібна.

Насправді це не набагато більше.

$y=bx+a$

Сьогодні це залишається більше як допомога для розуміння, але не потрібно реально розуміти лінійну регресію.

EDIT: замінив нормальність припущення помилок правильним, але менш стислим списком. Нормальність вимагала, щоб мати аналітичне рішення, і це можна припустити для багатьох практичних випадків, і в цьому випадку сума квадратів є оптимальною не тільки для лінійного оцінювача, а також збільшує ймовірність.

Якщо далі допущено нормальність розподілу помилок, то сума квадратів є оптимальною як для лінійних, так і для нелінійних оцінок і забезпечує максимальну ймовірність.