Що таке усадка?

13

У певних колах усадка слів дуже багато. Але що таке усадка, то, схоже, не існує чіткого визначення. Якщо у мене є часовий ряд (або будь-яка колекція спостережень за деяким процесом), то якими різними способами я можу виміряти певний тип емпіричної усадки на серії? Про які різні теоретичні усадки я можу говорити? Як усадка може допомогти в передбаченні? Чи можуть люди надати хороший огляд або довідки?

estimation predictive-models shrinkage

— Вінтермут
джерело

1

Steyergerg: Застосування методів усадки в логістичному регресійному аналізі: дослідження випадку та усадки та пеніалізована ймовірність як методи підвищення точності прогнозування - хороші місця для початку. Також немає відкритого коду (я думаю), але Google знайде оригінальні статті.

— Чарльз

3

Будь-яка форма регуляризації оцінювача, яка переміщує (скорочує) оцінку (як правило, до 0 або до якогось іншого "нульового" / відомого значення); Дійсно, регуляризація, яка рухає сукупність оцінок один до одного, також є своєрідною усадкою (вона переміщує параметри, що представляють їх відмінності, до 0). Якщо ви ще цього не бачили, стаття у Вікіпедії може бути корисною.

— Glen_b -Встановіть Моніку

Як щодо емпіричної усадки. Припустимо, у мене є часовий ряд, який мені підходить модель. Чи можу я говорити про якийсь тип усадки між примірником у вибірці та результатом вибірки?

— Вінтермут

2

У 1961 році Джеймс і Штейн опублікували статтю під назвою "Оцінка квадратичної втрати" https://projecteuclid.org/download/pdf_1/euclid.bsmsp/1200512173 . Хоча він спеціально не придумує термін усадки, вони обговорюють мінімаксні оцінки для високих розмірних (фактично навіть для 3-х параметрів) статистичних даних, які мають менший ризик (очікувані втрати), ніж звичайні MLE (для кожного компонента середнє значення вибірки) для звичайних даних . Бредлі Ефрон називає їх висновок "найяскравішою теоремою післявоєнної математичної статистики". Ця стаття була цитована 3310 разів.

Копас у 1983 році пише першу статтю "Регресія, прогнозування та усадка", щоб придумати термін "усадка". Це визначено неявно в рефераті:

Пристосованість прогнозувальника регресії до нових даних майже завжди гірша, ніж його відповідність вихідним даним. Передбачення цієї усадки призводить до передбачувачів типу Штейна, які за певних припущень дають рівномірно нижчу прогнозну середню помилку квадрата, ніж найменші квадрати.

І в усіх послідовних дослідженнях здається, що усадка відноситься до експлуатаційних характеристик (та їх оцінок) для позамобільної обґрунтованості прогнозування та оцінки в контексті пошуку допустимих та / або мінімумних оцінок.

— АдамО
джерело

2

Йдеться про регуляризацію. Припустимо, ви б хотіли підлаштувати криву і використовуєте функцію квадратних втрат (ви можете вибрати іншу). ЗаfitВи хочете відновити параметри, які керують процесом, який генерував цю криву. А тепер уявіть, що ви хотіли б підігнати цю криву, використовуючи 100-й многочлен (лише для прикладу). Ви з великою ймовірністю збираєтеся переозброїти або зафіксувати кожен перегин і шум кривої. Крім того, ваші можливості передбачення поза вказаним інтервалом тренувальних даних будуть, ймовірно, дуже поганими. Отже, термін регуляризації додається до цільової функції з деякою вагою, помноженою на коефіцієнт регуляризації - l_1, l_2 або на замовлення. У випадку l_2, який, мабуть, простіше зрозуміти, це призведе до того, що великі значення параметрів будуть змушені зменшити ака-усадку. Ви можете подумати про регуляризацію або зменшення як наведення свого алгоритму до рішення, яке може бути кращим рішенням.

— Владислав Довгалець
джерело