Чи є залишки "прогнозовані мінус фактичні" або "фактичні мінуси прогнозовані"

46

Я бачив, що "залишки" визначаються по-різному як "передбачувані мінус фактичні значення" або "фактичні мінус прогнозовані значення". Для ілюстрації, щоб показати, що обидві формули широко використовуються, порівняйте такі пошукові веб-сторінки:

На практиці це майже ніколи не має значення, оскільки ознака невидимих залишків зазвичай не має значення (наприклад, якщо вони є квадратними або приймаються абсолютні значення). Однак моє запитання: чи вважається одна із цих двох версій (передбачення першої та фактичної першої) "стандартною"? Мені подобається бути послідовним у використанні, тому якщо є добре встановлений звичайний стандарт, я вважаю за краще дотримуватися його. Однак, якщо немає стандарту, я рада прийняти це як відповідь, якщо це можна переконливо продемонструвати, що немає стандартної конвенції.

residuals terminology error

— Tripartio
джерело

8

Оскільки залишковий зв'язок пов'язаний з помилкою моделі, коли ми пишемо це змушує нас думати, що є "нерухомою частиною" плюс "випадковою частиною", тож залишковою є мінус .

y = a + b x + ϵ

$y = a + bx + \epsilon$

y

$y$

y

$y$

a + b x

$a + bx$

— AdamO

Прогнозований мінус фактичний або фактичний мінус передбачуваний буде помилкою прогнозування (або його негативом), а встановлений мінус фактичний чи фактичний мінус встановлений буде залишковим (або його негативним). Відповідь Стівена Коласса з причини згадує помилки прогнозу .

— Річард Харді

Мені здається (прогнозовано-фактично) зручніше працювати. Часто потрібно обчислити похідні залишку щодо деяких параметрів. Якщо ви використовуєте (фактично передбачувані), то з’являються знаки мінус, які потрібно слідкувати за всіма вашими підрахунками, вимагаючи використання більше дужок, обов'язково скасовуючи подвійні негативи, коли вони виникають тощо. З мого досвіду, це призводить до більшої кількості помилок

— Нік Алгер

42

Залишки завжди є фактичними мінус прогнозованими. Моделями є: Отже, залишки , які є оцінками помилок :

y = f (x; β) + ε

$y=f(x;\beta)+\varepsilon$

\hat{ε}

$\hat\varepsilon$

ε

$\varepsilon$

\hat{ε} = y - \hat{y} \hat{y} = f (x; \hat{β})

$\hat\varepsilon=y-\hat y\\\hat y=f(x;\hat\beta)$

Я погоджуюся з @whuber, що знак насправді математично не має значення. Просто добре мати конвенцію. І чинна конвенція така, як у моїй відповіді.

Оскільки ОП кидає виклик моїм повноваженням з цього приводу, я додаю кілька посилань:

" (2008) Залишковий. В: Коротка енциклопедія статистики. Спрингер, Нью-Йорк, Нью-Йорк, штат Нью-Йорк , яка дає те саме визначення.
"Теоретичні методи дослідницьких працівників" Фішера 1925 р. Теж має таке визначення, див. Розділ 26 у цій версії 1934 року . Незважаючи на непотрібну назву, це важлива робота в історичному контексті

— Аксакал
джерело

3

Я відредагував своє запитання, щоб додати кілька зразкових веб-пошукових запитів, які чітко показують, що залишки НЕ ВИНАГА є фактичним мінусом; замінник також досить частий - звідси і моя плутанина. Моє запитання - чи існує авторитетна документація правильної конвенції, яка, на жаль, вашої відповіді не дає.

— Tripartio

5

На моєму читанні спостерігається передбачувана більшість сучасних конвенцій у статистиці. Однак примітно, що Гаусс застосував протилежну умову: залишки в природному квадраті однакові так чи інакше в контексті найменших квадратів, сум квадратів або середніх квадратів. Незважаючи на те, що існують прецеденти 19-го століття та більш ранні погляди на окремі залишки, турбота про та особливо складання рештки не почала набувати широкого розповсюдження та розповсюдження до початку 1960-х років. Тобто, лише тоді, коли знак залишків видно, комусь потрібно дбати, що це таке.

-

$-$

— Нік Кокс

18

+1. Поняття залишкових результатів походить від "залишку; того, що залишилося позаду" : іншими словами, того, що залишається в даних після врахування прогнозу. Це говорить про те, що той, хто назвав ці величини "залишком", мав на увазі визначення "значення даних мінус встановлене значення".

— whuber

3

@NickCox, чи можете ви формалізувати свої коментарі як відповідь із цитатами? Моє запитання насправді не стільки в статистиці, скільки в науковій конвенції, тому вид історичної інформації та використання даних, зазначений у вашому коментарі, є типом відповідей, які я шукаю.

— Tripartio

6

Слово залишкове довге, давно передує Сальсбургу. Мушу сказати, що його книга, хоч іноді і розважальна, далеко не авторитетна. Якщо вас цікавить, ви можете шукати мій огляд у біометрії jstor.org/stable/3068274

— Нік Кокс,

22

Я просто наткнувся вагомими причинами для однієї відповіді бути правильною.

Регресія (і більшість будь-яких статистичних моделей) стосуються того, як умовні розподіли відповіді залежать від пояснювальних змінних. Важливим елементом характеристики цих розподілів є деяка міра, яку зазвичай називають «косою» (навіть незважаючи на те, що пропонуються різні та різні формули): вона стосується найосновнішого способу відхилення форми розподілу від симетрії. Ось приклад двовимірних даних (відповідь та єдина пояснювальна змінна ) із позитивно перекошеними умовними відповідями: $y$ $x$

Синя крива - це звичайний найменший розмір квадратів. Він побудує графіки встановлених значень.

Коли ми обчислюємо різницю між відповіддю та її пристосованим значенням , ми зміщуємо місце умовного розподілу, але інакше не змінюємо його форму. Зокрема, його косостість буде незмінною. $y$ $\hat y$

Це стандартний діагностичний графік, який показує, як зміщені умовні розподіли змінюються залежно від прогнозованих значень. Геометрично це майже те саме, що "докидати" попередню розсипку.

Якщо замість цього обчислити різницю в іншому порядку, це зміститься, а потім змінить форму умовного розподілу. Його перекос буде негативним від початкового умовного розподілу. $\hat y - y,$

Це показує ті ж самі величини, що і попередня цифра, але залишки були обчислені шляхом віднімання даних від їх придатності - що, звичайно, те саме, що заперечення попередніх залишків.

Хоча обидві попередні фігури є математично рівнозначними у будь-якому відношенні - одна перетворюється на іншу, просто перегортаючи точки по синьому горизонту - одна з них має набагато більш безпосереднє візуальне відношення до початкового сюжету.

Отже, якщо наша мета полягає у співвіднесенні розподільних характеристик залишків з характеристиками вихідних даних - і це майже завжди так - тоді краще просто зрушити відповіді, а не змістити їх і змінити назад.

Правильна відповідь зрозуміла: обчисліть залишки як $y - \hat y.$

— дзижчати
джерело

1

Я не думаю, що я слідую за тим, що тут особливо особливе, - чи не суперечить Ваша аргументація щодо залишків, що відповідають оригінальному сюжету?

— MichaelChirico

2

@Michael Ви абсолютно правильні. Однак нахил корисний для ілюстрації пункту, оскільки він чітко відрізняє форму розподілу від форми його негативу.

— whuber

10

Green & Tashman (2008, Foresight ) звітують про невелике опитування щодо аналогічного питання щодо помилок прогнозу. Я підсумую аргументи для будь-якої конвенції, як повідомляється ними:

Аргументи для "фактично прогнозованих"

Статистична умова - . $y=\hat{y}+\epsilon$
Принаймні один респондент із сейсмології написав, що це також умова моделювання часу подорожі сейсмічної хвилі. "Коли реальна сейсмічна хвиля надходить до часу, передбаченого моделлю, у нас є негативний залишковий час у дорозі (помилка)." ( sic )
Ця конвенція має сенс, якщо ми інтерпретуємо як бюджет, план або ціль. Тут позитивна помилка означає, що бюджет / план / ціль перевищено. $\hat{y}$
Ця конвенція робить формули експоненціального згладжування дещо інтуїтивнішими. Ми можемо використовувати знак . З іншою умовою нам потрібно буде використовувати знак . $+$ $-$

Аргументи для "прогнозованого фактичного"

Якщо , позитивна помилка вказує на те, що прогноз був занадто високим. Це більш інтуїтивно зрозуміло, ніж навпаки. $y=\hat{y}-\epsilon$

Крім того, якщо позитивний ухил визначається як позитивні очікувані помилки, це означатиме, що прогнози в середньому зависокі за цією умовою.

І це, в основному, єдиний аргумент, наведений для цієї конвенції. Потім, враховуючи непорозуміння, до яких може призвести інша конвенція (позитивні помилки = занадто низький прогноз), вона є сильною.

Зрештою, я заперечу, що справа зводиться до того, кому потрібно повідомити своїх залишків. А враховуючи, що у цій дискусії, безумовно, є дві сторони, є сенс чітко зазначити, до якої конвенції ви керуєтесь.

— С. Коласа - Відновлення Моніки
джерело

7

Цікаві моменти, але всякий раз, коли хто каже "інтуїтивно зрозумілий", я перекладаю це як "знайоме мені", а переклад часто більш переконливий і ніколи не менший. Спробуйте це: конвенція Ейнштейна про підсумок інтуїтивно зрозуміла. Тільки коли ти звик до цього. Вимірювання кутів від осі проти годинникової стрілки інтуїтивно зрозуміло. Не для географів чи тих, хто навчився користуватися компасом, перш ніж вивчати геометрію координат.

x

$x$

— Нік Кокс

3

@NickCox: абстрактно, ти маєш рацію. Однак прийміть велику кількість людей і запитайте їх: "Прогноз погоди на сьогоднішню температуру мав велику позитивну помилку. Чи вважаєте ви, що прогноз був (А) зависоким або (В) занадто низьким ?" Я думаю, що можу передбачити, яку з (А) чи (В) переважну більшість обере.

— S. Kolassa - Відновити Моніку

6

Так - і якби ви поставили це запитання як "Чи вірите ви, що температура була (А) вищою або (В) нижчою, ніж прогнозована", ви дуже добре отримаєте протилежні відповіді! Посилання на "позитивну помилку" лише ставить питання про те, "що таке помилка", і це повертає нас - ідеально круговим способом - прямо до початкового питання.

— whuber

2

@whuber, проте це досить неприродне формулювання питання. Зважаючи на те, що "спостережуване" є "фіксованим", відношення моделі до неї здається більш природним, ніж навпаки. Я отримую квиток на перевищення швидкості, якщо їхати занадто швидко, а не "обмеження швидкості було нижче моєї швидкості". Аргументи природної мови, безумовно, мають обмежене застосування до технічних термінів / мови, хоча /

— mbrig

2

@whuber Що я говорю, це те, що один із способів формулювання питання явно більш природний (принаймні англійською).

— mbrig

4

Різна термінологія пропонує різні умовності. Термін "залишковий" означає, що це те, що залишилося після того, як були враховані всі пояснювальні змінні, тобто фактично передбачені. "Помилка передбачення" означає, що саме на скільки прогноз відхиляється від фактичного, тобто фактичного прогнозування.

Концепція моделювання також впливає на те, яка конвенція є більш природною. Припустимо, у вас є фрейм даних з одним або кількома стовпцями функцій , стовпцем відповідей та стовпцем прогнозу . $X = x_1,x_2...$ $y$ $\hat y$

Одна концепція в тому , що є «реальним» значення, а просто трансформована версія . У цьому понятті і є випадковими змінними ( є похідною). Хоча нас цікавить нас, - це той, кого ми можемо спостерігати, тому використовується як проксі для . "Помилка" - це на скільки відхиляється від цього "справжнього" значення . Це дозволяє визначити помилку як наступну напрямку цього відхилення, тобто . $y$ $\hat y$ $X$ $y$ $\hat y$ $\hat y$ $y$ $\hat y$ $\hat y$ $y$ $\hat y$ $y$ $e = \hat y -y$

Однак є ще одна концепція, яка вважає "справжнім" значенням. Тобто, y залежить від через деякий детермінований процес; конкретний стан породжує певну детерміновану цінність. Це значення потім обурюється деяким випадковим процесом. Отже, маємо . У цій концепції - "справжнє" значення y. Наприклад, припустимо, що ви намагаєтеся обчислити значення g, прискорення за рахунок сили тяжіння. Ви кидаєте купу предметів, вимірюєте, як далеко вони впали ( ) і скільки часу знадобилося їм впасти ( ). Потім ви аналізуєте дані за допомогою моделі y = $\hat y$ $X$ $X$ $x \rightarrow f(X)\rightarrow f(X)+error()$ $\hat y$ $X$ $y$ $\sqrt{\frac{2x}{g}}$ . Ви виявляєте, що немає значення g, яке змушує точно працювати це рівняння. Тож ви потім моделюєте це як

$\hat y = \sqrt{\frac{2x}{g}}$
$y = \hat y +error$ .

Тобто ви берете змінну y і вважаєте, що існує "справжнє" значення яке фактично породжується фізичними законами, а потім якесь інше значення яке модифікується чимось незалежним від , наприклад похибки вимірювання або пориви вітру чи що завгодно. $\hat y$ $y$ $\hat y$ $X$

У цій концепції ви берете y = як те, що реальність повинна "робити", і якщо ви отримаєте відповіді, які не згодні з цим, ну реальність отримала неправильну відповідь. Зараз, звичайно, це може здатися досить нерозумним і зарозумілим, якщо ставитись таким чином, але є вагомі причини для продовження цього задуму, і це може бути корисно думати таким чином. І зрештою, це просто модель; Статистики не обов'язково думають, що насправді це працює світ (хоча, мабуть, є і такі, хто це робить). А з огляду на рівняння , випливає, що помилки фактичні мінус прогнозовані. $\sqrt{\frac{2x}{g}}$ $y = \hat y +error$

Також зауважте, що якщо вам не подобається аспект другого поняття "реальність зрозумів неправильно", ви можете розглядати це як "Ми визначили деякий процес f, через який y залежить від , але ми не отримуємо точно відповіді правильні, тому має бути якийсь інший процес g, який також впливає на y ". У цій варіації $X$

$\hat y = f(X)$
$y = \hat y+g(?)$
$g = y-\hat y$ .

— Накопичення
джерело

4

Відповідь @Aksakal цілком правильна, але я просто додам ще один додатковий елемент, який я вважаю, що допомагає мені (і моїм студентам).

Девіз: статистика "ідеальна". Як і в, я завжди можу запропонувати ідеальний прогноз (я знаю, що деякі очні брови зараз піднімаються ... тому вислухай мене).

Я збираюся передбачити свої спостережувані значення . З деякою формою моделі я згенерую передбачуване значення для кожного спостережуваного значення, я буду називати це . Єдина проблема полягає в тому, що зазвичай (завжди) Отже, ми додамо нову змінну щоб рівність ... але мені здається, що кращим варіантом є додавання її до наше "передбачуване" ("складене") значення, а не додавання його до фактичного значення (оскільки додавання чи віднімання від фактичного значення фізично неможливо фізично можливо ... див. коментарі нижче): Тепер ми маємо "ідеальне" прогнозування ... наше "остаточне" значення відповідає нашому спостережуваному значенню. $y_i$ $\hat{y}_i$

y_{i} \neq {\hat{y}}_{i}

$y_i \ne \hat{y}_i$

ϵ_{i}

$\epsilon_i$

y_{i} = {\hat{y}}_{i} + ϵ_{i}

$y_i = \hat{y}_i + \epsilon_i$

Очевидно, це загрожує величезною кількістю статистичної теорії, що лежить в основі того, що відбувається ... але наголошує на думці, що спостережуване значення є сумою двох різних частин (систематичної частини та випадкової частини). Якщо ви запам'ятаєте це у цій формі, ви завжди матимете те, що залишковий, , є спостережуваним мінусом передбачуваного. $\epsilon_i$

— Грегг Н
джерело

2

Багато разів, коли це написано інакше, , він часто бере участь у якомусь обчисленні, яке не включає знак (наприклад, коли ви працюєте з абсолютом залишків або залишків у квадраті). ).

{\hat{y}}_{i} - y_{i}

$\hat{y}_i - y_i$

— Грегг Н

6

Чому «найкраще додати його до нашої передбачуваної вартості»? Чому б не "побачити, скільки потрібно коригувати дату, щоб відповідати нашому прогнозу"? Жоден з підходів, мабуть, не має претензії бути більш очевидним, значущим або "інтуїтивним", ніж інший.

— whuber

2

@whuber один предмет - "реальний" (спостережуваний, конкретний), інший - (гіпотетичний) конструкт; якби ми моделювали висоту на основі ваги, чи було б розумним "зменшити" когось на 3 дюйми, просто щоб відповідати його фактичній / спостереженій висоті деякій (уявній) передбачуваній величині?

— Грегг Н

2

Так - це звичайний спосіб мислення даних. Я лише намагаюся вказати на можливість того, що ваші припущення про те, як люди сприйматимуть це питання та зрозуміють значення "найкращого", можуть бути умоглядними та суб'єктивними.

— whuber

Справедливий пункт ... оновимо з коротким коментарем

— Грегг H

2

$\newcommand{\e}{\varepsilon}$ Я буду використовувати окремий випадок лінійної регресії найменших квадратів. Якщо ми візьмемо нашу модель , щоб бути , то в якості точок @Aksakal , що ми , природно , в кінцевому підсумку з так . Якщо замість того, щоб взяти в нашій моделі, яку ми , звичайно , вільні робити, то ми отримаємо . На даний момент насправді немає причин віддавати перевагу одному над іншим, окрім розпливчастої переваги над . $Y = X\beta + \e$ $\e = Y - X\beta$ $\hat \e = Y - \hat Y$ $Y = X\beta - \e$ $\e = X\beta - Y \implies \hat \e = \hat Y - Y$ $1$ $-1$

Але якщо , то ми отримаємо наші залишки з допомогою , де є матрицею Ідемпотентний проектуванні в простір , ортогонального простір стовпців матриці . Якщо замість цього ми використовували , то ми в кінцевому підсумку з . Але сам по собі не як . Отже, дійсно - це від'ємник матриці проекції, а саме . Тому я розглядаю це як скасування негативу, введеного за допомогою , тож заради парсингу краще просто використовувати $\hat \e = Y - \hat Y$ $(I - P_X)Y$ $I - P_X$ $X$ $Y = X\beta - \e$ $\hat \e = (P_X - I)Y$ $P_X - I$ $(P_X - I)^2 = P_X^2 - 2P_X + I = -(P_X - I)$ $P_X - I$ $I - P_X$ $Y = X\beta - \e$ $Y = X\beta + \e$ що в свою чергу дає як залишки. $Y - \hat Y$

Як уже згадувалося в інших місцях це не як - небудь ламається , якщо ми використовуємо , але ми в кінцевому підсумку з цієї подвійної негативної ситуації, я думаю , що це досить хороша причина , щоб просто використовувати . $\hat Y - Y$ $Y - \hat Y$

— jld
джерело

Але писати що-небудь не має нічого спільного з ознаками певних значень , більше, ніж писати - це зобов'язання чи припущення, що або є позитивним на практиці. Це може бути те саме рівняння, але з зворотним знаком.

+ e

$+ e$

e

$e$

y = β_{0} + β_{1} x

$y = \beta_0 + \beta_1 x$

β_{0}

$\beta_0$

β_{1}

$\beta_1$

e

$e$

— Нік Кокс

@NickCox дякую за Ваш коментар, я розумію, що я спрогнозував свою відповідь, припускаючи, що ми хочемо написати нашу модель . Я переписав це, щоб вирішити це

Y = X β + ε

$Y = X\beta + \varepsilon$

— jld