Яка різниця між оцінкою та прогнозуванням?


46

Наприклад, у мене є історичні дані про збитки, і я обчислюю екстремальні кванти (величина ризику або ймовірна максимальна втрата). Отримані результати призначені для оцінки збитків чи прогнозування їх? Де можна провести лінію? Я збентежений.


4
Тісно пов'язана дискусія про різницю між довірчими інтервалами та інтервалами прогнозування на сайті stats.stackexchange.com/questions/16493 .
whuber

Відповіді:


64

"Прогнозування" та "оцінка" дійсно іноді використовуються взаємозамінно в нетехнічній писемності, і вони, схоже, функціонують аналогічно, але між ними існує різка відмінність у стандартній моделі статистичної проблеми. An оцінили дані використовують вгадати параметр в той час як предиктор використовує дані вгадати в якому - то випадковому значенні , яке не є частиною набору даних. Для тих, хто не знайомий з тим, що означають "параметр" та "випадкове значення" у статистиці, далі надається детальне пояснення.

У цій стандартній моделі дані вважаються складовою (можливо, багатоваріантної) спостереження випадкової величини X , розподіл якої, як відомо, лежить лише у визначеному наборі можливих розподілів, "станах природи". Оцінка т є математичною процедуру , яка присвоює кожне можливе значення х деякий властивість т ( х ) про стан природи & thetas , таких як його середнє ц ( & thetas ; ) . Таким чином , оцінка є здогадом про справжній стан природи. Ми можемо сказати, наскільки хороша оцінка, порівнявши t ( x )xX txt(x)θμ(θ)t(x)до .μ(θ)

Предиктор відноситься до незалежного спостереження іншого випадкової величини Z , розподіл якої має відношення до істинного стану природи. Прогноз - це здогад про інше випадкове значення. Ми можемо сказати , наскільки добре конкретний прогноз тільки шляхом порівняння р ( х ) до значення , що реалізовується Z . Ми сподіваємось, що в середньому угода буде хорошою (в сенсі усереднення всіх можливих результатів х і одночасно над усіма можливими значеннями Z ).p(x)Zp(x)Zx Z

Звичайний найменший квадрат дає стандартний приклад. Дані складаються з пар асоціюють значення y i залежної змінної зі значеннями x i незалежної змінної. Стан природи визначається трьома параметрами α , β та σ : це говорить про те, що кожне y i є незалежним малюнком від нормального розподілу із середнім α + β x i та стандартним відхиленням σ . α , β і(xi,yi)yixiαβσyiα+βxiσαβ - параметри (числа), які вважаються фіксованими та незмінними. Інтерес зосереджується на α (перехоплення) та β (нахил). МНК оцінка, написана ( α , β ) , добре в тому сенсіщо α прагне бути ближче до альфа і β прагне бути ближче до р ,незалежнотогощо істинного (але невідомо) значень альфа і β може бути.σαβ(α^,β^)α^αβ^βαβ

Прогноз OLS складається з спостереження нового значення залежної змінної, пов'язаного з деяким значенням x незалежної змінної. x може бути або не бути серед x i в наборі даних; це несуттєво. Один інтуїтивно хороший прогноз, що це нове значення, ймовірно, буде близька до & alpha ; + β х . Кращі прогнози говорять про те, наскільки близько може бути нове значення (їх називають інтервалами прогнозування ). Вони враховують той факт , що альфаZ=Y(x)xxxiα^+β^xα^і β є невизначеним (оскільки вони залежать математично від випадкових величин ( у я ) ), що σ не відомий напевно (і , отже , повинен бути оцінений), а також припущення про те, що У ( х ) має нормальний розподіл при стандартному відхиленні σ і середньому α + β x (зверніть увагу на відсутність шапки!).β^(yi)σY(x)σα+βx

Особливо зауважимо, що цей прогноз має два окремих джерела невизначеності: невизначеність даних призводить до невизначеності в оціненому схилі, перехоплення та залишкового стандартного відхилення ( σ ); крім того, існує невизначеність у тому, яке значення Y ( x ) відбудеться. Ця додаткова невизначеність - оскільки Y ( x ) є випадковою - характеризує прогнози. Передбачення може виглядати як оцінки ( в кінці кінців, α + β х оцінки & alpha ;(xi,yi)σY(x)Y(x)α^+β^x :-) і може мати навіть саму математичну формулу ( p ( x ), іноді може бути такою ж, як t ( x ) ), алеце буде мати більшу кількість невизначеності, ніж оцінка.α+βxp(x)t(x)

Ось тоді на прикладі OLS ми чітко бачимо розмежування: оцінка вгадує параметри (які є фіксованими, але невідомими числами), тоді як прогноз здогадується про значення випадкової величини. Джерело потенційної плутанини полягає в тому, що прогнозування зазвичай будується на оцінених параметрах і навіть може мати ту саму формулу, що і оцінка.

На практиці можна відрізнити оцінювачі від прогнозів двома способами:

  1. мета : оцінювач прагне пізнати властивість справжнього стану природи, тоді як прогноз намагається вгадати результат випадкової величини; і

  2. невизначеність : передбачувач зазвичай має більшу невизначеність, ніж пов'язаний оцінювач, через додаткову невизначеність у результаті цієї випадкової величини. Отже, добре задокументовані та описані прогнози зазвичай мають діапазони невизначеності - інтервали прогнозування - ширші за смуги невизначеності оцінок, відомі як довірчі інтервали. Характерною особливістю інтервалів прогнозування є те, що вони можуть (гіпотетично) скорочуватися в міру зростання набору даних, але вони не скорочуватимуться до нульової ширини - невизначеність у випадковому результаті "не зводиться" - тоді як ширина довірчих інтервалів буде, як правило, скорочуються до нуля, що відповідає нашій інтуїції, що точність оцінки може стати довільно доброю при достатній кількості даних.

При застосуванні цього для оцінки потенційної втрати інвестицій, розглянемо спочатку мета: ви хочете знати , скільки ви могли б на самому ділі втратити на цій інвестиції (або цієї конкретної кошика інвестицій) в протягом певного періоду, або ви дійсно просто вгадати , що це очікувані збитки (можливо, у великій сукупності інвестицій)? Перший - це передбачення, другий - оцінка. Тоді розглянемо невизначеність. Як би змінилася ваша відповідь, якби у вас було майже нескінченне ресурсів для збору даних та проведення аналізів? Якщо це стане дуже точним, ви, ймовірно, оцінюєте очікувану прибутковість інвестицій, тоді як якщо ви залишаєтесь невпевненими у відповіді, ви робите прогноз.

Таким чином, якщо ви все ще не впевнені, з якою твариною ви маєте справу, запитайте це у свого оцінника / прогноктора: наскільки це неправильно і чому? За допомогою обох критеріїв (1) та (2) ви дізнаєтесь, що у вас є.


Дуже цікава відповідь! Чи можете ви надати нам деякі довідки про це?
користувач1420303

2
F

y=α+βx+ui+ϵuiN(0,σu2) α,β,σ,σu yuinui

2
ui

2
@whuber Найважливішим моментом, який ви вказали, є те, що оцінювачі завжди спрямовані на наближення величини з нестахастичним / не випадковим характером, як параметри в моделі дзеркальних дзеркал; прогноктори завжди спрямовані на наближення величини зі стохастичним / випадковим характером, як змінна відповідь (включаючи термін помилки) в моделі ЗЗР. Цей пункт підкреслений у ранніх творах Рао.
Генрі.Л

8

Оцінка завжди для невідомого параметра, тоді як прогнозування - для випадкової величини.


5
Ви прогнозуєте реалізацію випадкової величини при оцінці параметра випадкової змінної (наприклад, її очікуваного значення).
Річард Харді

@CowboyTrader, я недостатньо знаю оцінку щільності ядра, щоб прокоментувати вашу претензію.
Річард Харді

2

Різниці в моделях немає. Дійсно є (незначна) різниця в проведених акціях. Оцінка - це калібрування вашої імовірнісної моделі з використанням даних ("навчання" в термінології AI). Прогнозування - це «відгадування» майбутнього спостереження. Якщо припустити, що це «здогадування» засноване на минулих даних - це може бути випадок оцінки; наприклад прогнозування зросту наступної людини, яку ви збираєтеся зустріти, використовуючи оцінку середнього зросту у сукупності. Зауважте, що це прогнозування не завжди є примірником оцінки. Стать наступної людини, яку ви збираєтесь зустріти, не є параметром населення в класичному розумінні; Прогнозуючи стать, можливо, знадобиться деяка оцінка, але це потребуватиме ще декількох ...

У випадку вартості ризику прогнозування та оцінка збігаються, оскільки ваші прогнозовані збитки - це орієнтовна тривалість збитку.


2
Ви починаєте добре з правильного розмежування між оцінкою та прогнозуванням, але потім, як видається, останні дві третини відповіді ще раз плутають передбачення з оцінкою. Представлення прикладу гендеру все ще стає заплутаним, оскільки воно не пов'язане з початковим розмежуванням (насправді це безглуздо, оскільки в основі цього лежить зміщення статистичної моделі між етапом оцінки та прогнозування).
whuber

0

Прогнозування - це використання функції вибіркової регресії для оцінки значення залежної змінної, обумовленої деякими непоміченими значеннями незалежної змінної.

Оцінка - це процес або техніка обчислення невідомого параметра або кількості сукупності.


3
12

0

Зазвичай "оцінка" зарезервована для параметрів, а "прогнозування" - для значень. Однак іноді відмінність стає розмитою, наприклад, ви, можливо, бачили щось на кшталт "оцінити значення завтра" замість "прогнозувати значення завтра".

Цікавий ризик (VaR) - цікавий випадок. VaR не є параметром, але ми не кажемо "прогнозуємо VaR". Ми говоримо "оцінюємо VaR". Чому?

Причина в тому, що VaR не є випадковою величиною, якщо ви знаєте розподіл, і вам потрібно знати розподіл, щоб обчислити VaR. Отже, якщо ви використовуєте параметричний підхід VaR, то спочатку оцінюєте параметри розподілу, а потім обчислюєте VaR. Якщо ви використовуєте непараметричний VaR, то ви безпосередньо оцінюєте VaR аналогічно тому, як ви б оцінювали параметри. У цьому плані він схожий на квантил.

З іншого боку, сума збитків є випадковою величиною. Отже, якщо вас попросять прогнозувати втрати, ви прогнозуєте, що вони не оцінюють. Знову ж таки, іноді ми кажемо «оцінити» втрати. Отже, лінія розмита, як я писав раніше.


Ви кажете, що VaR - це не параметр, але мені цікаво, чи справді це так. VaR - (умовний або безумовний) квантил розподілу залежної змінної. Як таке, це виглядає як параметр розподілу для мене, або, принаймні, функція деяких інших, більш фундаментальних параметрів, які, здається, не змінюють суті. Це не схоже на реалізацію випадкової величини.
Річард Харді

Крім того, якщо ви говорите, що прогнозування призначене для значень, воно застосовується до значень параметрів так само, як і до реалізацій випадкових змінних (які також є значеннями). Отже, я пропоную замінити значення реалізацією випадкових змінних; тоді б у вас була дихотомія, на яку ви прагнете.
Річард Харді

-3

Нижче я знаходжу дефініції більш пояснювальні:

Оцінка - це обчислене наближення результату. Цей результат може бути прогнозом, але не обов'язково. Наприклад, я можу підрахувати, що кількість автомобілів на мосту Золоті ворота о 17 годині вчора становила 900, якщо припустити, що три смуги, що йдуть у напрямку до Маріна, є потужністю, кожен автомобіль займає 30 футів місця, а міст - 9000 футів ( 9000/30 х 3 = 900).

Екстраполяція - це оцінка значення змінної за межами відомого діапазону значень, припускаючи, що оцінене значення слідує певній схемі з відомих. Найпростішою і найпопулярнішою формою екстраполяції є оцінка лінійної тенденції на основі відомих даних. Альтернативи лінійній екстраполяції включають поліноміальну та конічну екстраполяцію. Як і оцінка, екстраполяція може використовуватися для прогнозування, але вона не обмежується прогнозуванням.

Прогнозування просто говорить щось про майбутнє. Прогнози зазвичай зосереджені на результатах, а не на шляху до цих результатів. Наприклад, я міг би передбачити, що до 2050 року всі транспортні засоби будуть працювати з електродвигунами, не пояснюючи, яким чином ми отримуємо від низького рівня прийняття в 2011 році до повного прийняття до 2050 року. Як видно з попереднього прикладу, прогнози не обов'язково грунтуються на даних.

Прогнозування - це процес складання прогнозу чи прогнозування. Терміни прогноз і прогнозування часто використовуються взаємозамінно, але іноді прогнози відрізняються від прогнозів тим, що прогнози часто дають пояснення шляхів до результату. Наприклад, прогноз прийняття електромобілів може включати шлях до повного прийняття електричного транспортного засобу за схемою прийняття у формі S, де мало автомобілів електричні до 2025 року, точка перегину відбувається в 2030 році з швидким прийняттям, а більшість автомобілів електричні після 2040 рік.

Оцінка, екстраполяція, прогнозування та прогнозування не є взаємно вичерпними та сукупно вичерпними. Хороші довгострокові прогнози складних проблем часто потребують використання інших методів, ніж екстраполяція, щоб отримати правдоподібні результати. Прогнози та прогнози можуть також відбуватися без будь-якого виду обчислених оцінок.

див. визначення посилань1 визначення2


2
Передбачення не обов'язково має стосуватися майбутнього.
miura

прочитайте його повністю: Прогноз - це просто сказати щось про майбутнє. Прогнози зазвичай зосереджені на результатах, а не на шляху до цих результатів.
sso

Так, але результатів у майбутньому не повинно бути. Наприклад, можна також передбачити невідомі минулі результати.
miura

1
Це розумний виклад того, як слова "оцінка" та "прогнозування" вживаються в нетехнічному, нестатистичному значенні. Як наводить @miura, з інших відповідей тут видно, що ці розмовні почуття відрізняються від звичайних статистичних. Я бачу вагомий аргумент на користь трактування оригінального питання нестатистичним способом. Однак це тлумачення вводить незручне та непотрібне обмеження, не дозволяючи "прогнозуванню" застосовуватись до минулих (завершених) подій з невідомими результатами.
whuber

Якщо ви застосовуєте його до фільтра Кальмана з мінімальною дисперсією ega минулого рівня, а плавні мінімальні дисперсії можуть бути використані для відновлення даних, що представляють інтерес за шумними вимірюваннями. Вищезазначені методи покладаються на передбачувачів на крок вперед ... тож, все ще прогнозуйте на крок вперед (майбутнє) :)
sso
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.