Значення "кількості параметрів" в АПК

21

При обчисленні AIC,

$AIC = 2k - 2 ln L$

k означає 'кількість параметрів'. Але що вважається параметром? Так, наприклад, у моделі

$y = ax + b$

Чи завжди a і b зараховуються як параметри? Що робити, якщо я не переймаюся значенням перехоплення, чи можу я його ігнорувати чи все ще вважається?

А якщо

$y = a f(c,x) + b$

де $f$ - функція c і x, чи нараховую зараз 3 параметри?

aic

— Бобове шоу
джерело

9

Це гарне запитання, оскільки є тонкість:

- кількість ідентифікованих параметрів, які слід оцінити. Наприклад, хоча в регресійній моделі

записано п'ять параметрів, проте

. (Ця модель еквівалентна

k

$k$

Y \sim N (β_{0} + β_{1} X_{1} + β_{2} X_{2} + β_{3} (X_{1} + X_{2}), σ^{2})

$Y\sim\mathcal{N}(\beta_0+\beta_1X_1+\beta_2X_2+\beta_3(X_1+X_2), \sigma^2)$

k = 4

$k=4$

з

і

, який явно потребує тільки чотири параметри).

Y \sim N (β_{0} + α_{1} X_{1} + α_{2} X_{2}, σ^{2})

$Y\sim\mathcal{N}(\beta_0+\alpha_1X_1+\alpha_2X_2, \sigma^2)$

α_{1} = β_{1} + β_{3}

$\alpha_1=\beta_1+\beta_3$

α_{2} = β_{2} + β_{3}

$\alpha_2=\beta_2+\beta_3$

— whuber

3

Суворо, ви підраховуєте всі ідентифіковані, вільні параметри - середні параметри, параметри форми та масштабу, незалежно від того, що має значення (і це має значення для AIC

), але для AIC це не має ніякого значення, якщо ви опускаєте параметри, загальні для моделей, що порівнюються. Так, наприклад, в регресії слід врахувати параметр дисперсії. Отже, по моєму підрахунку, всі ваші параметри у вашому запитанні є короткими, - але якщо у всіх моделях є саме такий, це не завадить скинути його на AIC. R чітко підраховує параметр дисперсії при обчисленні AIC в регресійних моделях.

_{C}

$_C$

— Glen_b -Встановіть Моніку

@whuber Чому цей відмінний коментар не розміщується як відповідь? :)

— Олексій

Дякую, @Alexis. Я розмістив цю думку як коментар, оскільки ідея адекватно висвітлена у відповіді П Шнелла: я хотів би лише наголосити її трохи більше.

— whuber

17

Як зазначалося муген, являє собою кількість оцінених параметрів . Іншими словами, це кількість додаткових кількостей, які потрібно знати, щоб повністю вказати модель. У простій лінійній регресійній моделі можна оцінити , або обидва. Незалежно від кількості, яку ви не оціните, ви повинні зафіксувати. Немає "ігнорування" параметра в тому сенсі, що ви його не знаєте і не цікавите. Найпоширенішою моделлю, яка не оцінює і і є модель без перехоплення, де ми фіксуємо $k$

y = a x + b

$y=ax+b$

a

$a$

b

$b$

a

$a$

b

$b$

b = 0

$b=0$ . Це матиме 1 параметр. Ви могли так само легко виправити

або

якщо у вас є певні причини вважати, що це відображає реальність. (Тонка точка:

a = 2

$a=2$

b = 1

$b=1$

σ

$\sigma$ - це також параметр простої лінійної регресії, але оскільки він є у кожній моделі, ви можете його опустити, не впливаючи на порівняння AIC.)

Якщо ваша модель кількість параметрів залежить від того, чи ви фіксуєте будь-яке з цих значень, і від форми . Наприклад, якщо ми хочемо оцінити і знати, що , тоді, коли ми випишемо модель, у нас є з трьома невідомими параметрами. Якщо ж

y = a f (c, x) + b

$y=af(c,x)+b$

f

$f$

a, b, c

$a, b, c$

f (c, x) = x^{c}

$f(c,x)=x^c$

y = a x^{c} + b

$y=ax^c+b$

, тоді у нас є модель

яка дійсно має лише два параметри:

і

.

f (c, x) = c x

$f(c,x)=cx$

y = a c x + b

$y=acx+b$

a c

$ac$

b

$b$

Важливо, що - це сімейство функцій, індексованих . Якщо все, що ви знаєте, - це те, що є безперервним і це залежить від і , то вам не пощастило, оскільки існує безліч безперервних функцій. $f(c,x)$ $c$ $f(c,x)$ $c$ $x$

— П Шнелл
джерело

2

(+1) Можливо, варто згадати, що в цілому "оцінка" означає "оцінку за максимальною ймовірністю".

— Scortchi

f (c, x)

$f(c,x)$

c

$c$

c

$c$

r^{2}

$r^2$

c

$c$

2

@SideshowBob: Так - коли ви порівнюєте дві моделі, різниця у максимальній ймовірності журналу є упередженим оцінником різниці очікуваних втрат інформації Kullback-Leibler та строку покарання в AIC приблизно виправляє цю зміщення.

— Scortchi

1

@SideshowBob: Я мушу зазначити, що є модифікації AIC для узагальнених оціночних рівнянь тощо - вони використовують максимізовану квазіімовірність і досить складний термін штрафу.

— Scortchi

4

$\mathit{AIC} = 2k - 2\ln(L)$ де k - кількість параметрів моделі, а L - максимальне значення функції ймовірності для моделі.

(побачити тут )

Як ви бачите, $k$ оцінених у кожній моделі. Якщо ваша модель включає перехоплення (тобто якщо ви обчислите точкову оцінку, дисперсію та довірчий інтервал для перехоплення), вона враховується як параметр. З іншого боку, якщо ви обчислюєте модель без перехоплення, вона не враховується.

$k$ існує, щоб штрафувати моделі з більшою кількістю параметрів.

Я не знаю достатньо обізнаних, щоб відповісти на ваше друге запитання, я залишу його іншому члену громади.

— муген
джерело

1

λ

$\lambda$

1

Так, звичайно.

— PA6OTA

1

По-перше, для тих, хто, можливо, не знайомий з AIC: інформаційний критерій Akaike (AIC) - це проста метрика, призначена для порівняння "корисності" моделей.

За інформацією AIC, коли намагаються вибирати між двома різними моделями, що застосовуються до одних і самих змінних входу та відповіді , тобто моделей, розроблених для вирішення однієї і тієї ж проблеми, модель з нижчим AIC вважається "кращою".

$k$ змінних (вхідні функції або стовпці) в моделі. Чим складніша модель (чим більше змінних потрібно для оцінки або прогнозування), тим вище AIC. Це гарантує, що серед двох моделей з однаковою силою або точністю прогнозування виграє простіша модель. Це форма бритви Оккама.

c $f(c, x)$ $k$

— аріельф
джерело