Які не байєсівські методи існують для прогнозного висновку?

За байєсівським висновком прогнозний розподіл для майбутніх даних виводиться шляхом інтеграції невідомих параметрів; інтеграція по задньому розподілу цих параметрів дає задній прогнозний розподіл - розподіл для майбутніх даних, що обумовлюються вже наявними. Які існують не байєсовські методи прогнозного висновку, які враховують невизначеність в оцінках параметрів (тобто вони не просто включають оцінки максимальної ймовірності або що-небудь назад у функцію щільності)?

Усі знають, як обчислити інтервали прогнозування після лінійної регресії, але які принципи лежать в основі обчислення та як їх можна застосовувати в інших ситуаціях (наприклад, обчислення точного інтервалу прогнозування для нової експоненціальної змінної після оцінки параметра швидкості з даних)?

Небаесівський прогнозний висновок (крім випадку ЗЗР) - відносно недавнє поле. Під заголовком "не-байєсів" ми можемо підрозділити підходи на ті, що "класичні", частістські та ті, які базуються на "ймовірності".

Класичне передбачення частотолога

$\alpha$$\beta$

Зараз у мене, як правило, виникли проблеми з тим, як класичні ІП представлені та викладаються на більшості курсів статистики, тому що переважна тенденція тлумачити їх як байєсівські задні прогнозні інтервали, яких вони, очевидно, не відповідають. Найбільш принципово, вони говорять про різні ймовірності! Байесян не претендує на багаторазовий вибірковий аналіз їх кількості (інакше вони будуть лікарями). По-друге, байєсівський ІП насправді досягає чогось більш схожого на класичний інтервал толерантності, ніж класичний інтервал передбачення.

Для довідки: Інтервали толерантності повинні бути визначені двома ймовірностями: Довіра та покриття. Впевненість говорить про те, як часто це правильно в повторних зразках. Покриття вказує нам міру мінімальної ймовірності інтервалу при істинному розподілі (на відміну від PI, який дає очікувану міру ймовірності ... знову при повторній вибірці). Це в основному те, що намагається зробити і Байєсівський ІП, але без будь-яких претензій на повторний вибірки.

Отже, основна логіка простої лінійної регресії статистики 101 полягає в отриманні властивостей повторної вибірки ПІ під припущенням нормальності. Його частістський + гауссовий підхід, який, як правило, вважають "класичним" та викладають на уроках статистики. Це ґрунтується на простоті отриманих розрахунків (див. Вікіпедію для приємного огляду).

Негауссові розподіли ймовірностей, як правило, проблематичні, оскільки вони можуть бракувати основні величини, які можна акуратно перевернути, щоб отримати інтервал. Тому немає "точного" методу для цих розподілів, часто тому, що властивості інтервалу залежать від справжніх базових параметрів.

Визнаючи цю нездатність, з імовірнісним підходом виник (і висновок та оцінка) виник інший клас прогнозування.

Висновок, заснований на вірогідності

Підходи на основі ймовірності, як і багато сучасних статистичних концепцій, можна простежити до Рональда Фішера. Основна ідея цієї школи полягає в тому, що, за винятком особливих випадків, наші статистичні умовиводи перебувають на логічно слабшому ґрунті, ніж коли ми маємо справу з висновками з нормального розподілу (чиї оцінки параметрів є ортогональними ), де ми можемо робити точні твердження про ймовірність. Зважаючи на це, слід уникати тверджень про ймовірність, за винятком конкретного випадку, в іншому випадку слід робити твердження про ймовірність і визнати, що невідомо точної ймовірності помилки (у частістському розумінні).

Таким чином, ми можемо бачити ймовірність як схожу з байєсівською ймовірністю, але без вимог інтеграції чи можливої ​​плутанини з частою частотою. Її інтерпретація цілком суб'єктивна ... хоча для однозначного виводу часто рекомендується коефіцієнт ймовірності 0,15.

Однак не часто можна побачити документи, які прямо дають "вірогідні інтервали". Чому? Здається, що це багато в чому питання соціології, оскільки ми всі звикли до тверджень, що ґрунтуються на вірогідності. Натомість те, що ви часто бачите, - це автор, що посилається на "приблизний" або "асимптотичний" довірчий інтервал таких і таких. Ці інтервали в значній мірі випливають із методів вірогідності, коли ми спираємось на асимптотичний розподіл коефіцієнта ймовірності Chi-квадрата приблизно так само, як ми покладаємось на асимптотичну нормальність вибірки.

За допомогою цього «виправлення» ми тепер можемо побудувати «приблизні» 95% регіонів довіри з майже такою ж логічною послідовністю, як і байєсівці.

Від CI до PI в рамках вірогідності

Успіх і простота вищевказаного підходу щодо імовірності призвели до уявлень про те, як поширити його на передбачення. Дуже приємна стаття з цього приводу наведена тут (я не відтворюю її відмінне висвітлення). Це можна віднести до Девіда Хінклі наприкінці 1970-х (див. JSTOR ), який придумав цей термін. Він застосував це до багаторічної " Пірсонової проблеми біноміального прогнозування ". Я підсуму основну логіку.

$y$$y$$y$

Основні правила позбавлення від "неприємних" параметрів для отримання прогнозної ймовірності такі:

1. $\mu, \sigma$
2. Якщо параметр є випадковим (наприклад, інші незабезпечені дані або "випадкові ефекти"), то ви їх інтегруєте (як і в баєсівському підході).

Відмінність між фіксованим і випадковим параметром є унікальним для імовірнісного висновку, але має зв'язки з моделями змішаних ефектів, де, здається, байєсівські, частотистські та ймовірнісні рамки стикаються.

Сподіваємось, це відповіло на ваше запитання щодо широкої області "не-баєсівського" прогнозування (і висновку з цього приводу). Оскільки гіперпосилання можуть змінитися, я також зроблю плагін до книги "По всій ймовірності: статистичне моделювання та умовивід з використанням ймовірності", в якій глибоко обговорюються сучасні рамки вірогідності, включаючи неабияку кількість гносеологічних питань вірогідності проти Байесія проти частотистів умовивід і передбачення

Список літератури

1. Інтервали прогнозування: непараметричні методи . Вікіпедія. Доступно 13.09.2015.
2. Бьорнстад, Ян Ф. Вірогідність прогнозування: огляд. Статист. Наук. 5 (1990), вип. 2, 242--254. doi: 10.1214 / ss / 1177012175. http://projecteuclid.org/euclid.ss/1177012175 .
3. Девід Хінклі. Передбачувальна ймовірність . Аннали статистики Вип. 7, № 4 (липень, 1979), стор. 718-728 Опублікував: Інститут математичної статистики Стабільна URL-адреса: http://www.jstor.org/stable/2958920
4. Юді Павітан. По всій вірогідності: статистичне моделювання та умовивід з використанням ймовірності. Oxford University Press; 1 видання (30 серпня 2001 р.). ISBN-10: 0198507658, ISBN-13: 978-0198507659. Особливо глави 5.5-5.9, 10 та 16.

Я торкнуся своєї відповіді конкретно на запитання: "Які не байєсовські методи для прогнозування, які враховують невизначеність в оцінках параметрів?" Я організую свою відповідь навколо розширення сенсу невизначеності .

Ми сподіваємось, що статистичний аналіз надає підтримку різного роду претензій, включаючи прогнози . Але ми залишаємось невизначеними щодо своїх претензій, і ця невизначеність виникає з багатьох джерел. Статистична статистика характерна для того, щоб вирішувати лише ту частину нашої невизначеності, яка випливає саме з вибірки . Відбір зразків, можливо, був основним джерелом невизначеності експериментів у галузі сільського господарства, які історично надавали значну частину стимулу для розвитку частістської статистики. Але у багатьох найважливіших сучасних додатках це не так. Зараз ми хвилюємося про всі інші невизначеності, такі як неправильне визначення моделі та різні форми зміщення --- яких, мабуть, існує сотні (!) Типів [1].

Сандер Ґренландія має чудовий дискусійний документ [2], який вказує на те, наскільки важливо враховувати ці інші джерела невизначеності, та прописує багатосторонній аналіз як засіб для цього. Він розробляє теорію цілком в байєсівському плані, що природно. Якщо потрібно продовжувати формальне, узгоджене трактування невизначеності щодо параметрів моделі, то, природно, ведуть до позитивного (суб'єктивного) розподілу ймовірностей щодо параметрів; в цей момент ви або загублені байєсівським дияволом, або увійшли до Байєзського Царства Небесного (залежно від вашої релігії).

На ваше запитання @Scortchi про те, чи можна це зробити за допомогою "не-байєсівських методів", не байесівське рішення продемонстровано в [3]. Але для тих, хто достатньо знає про байєсіанство, щоб написати ваше запитання, звернення там буде виглядати скоріше як спроба здійснити байєсівські розрахунки «похоже», так би мовити. Дійсно, як визнають автори (див. Стор. 4), чим ближче ви підходите до вдосконалених методів до кінця книги, тим більше методи виглядають саме на інтеграцію, яку ви описуєте у своєму запитанні. Вони припускають, що там, де вони відходять від байєсіанства, полягає лише в тому, що вони не мають явних пріорів щодо їх параметрів, перш ніж їх оцінювати.

$\theta(\alpha)$$\alpha$$\theta$

1. Хаваларії, Девід та Іоанн Пенсія Іоаннідіс. «Аналіз наукового картографування характеризує 235 діапазонів біомедичних досліджень». Журнал клінічної епідеміології 63, вип. 11 (листопад 2010 р.): 1205–15. doi: 10.1016 / j.jclinepi.2009.12.011.

2. Гренландія, Сандер. “Моделювання множинного зміщення для аналізу даних спостережень (із обговоренням)”. Журнал Королівського статистичного товариства: Серія A (Статистика в суспільстві) 168, вип. 2 (березень 2005 р.): 267–306. doi: 10.1111 / j.1467-985X.2004.00349.x.

3. Лаш, Тімоті Л., Метью П. Фокс та Аліза К. Фінк. Застосування кількісного аналізу зміщення до епідеміологічних даних. Статистика біології та охорони здоров'я. Нью-Йорк, Нью-Йорк: Springer New York, 2009. http://link.springer.com/10.1007/978-0-387-87959-8 .