Що означає оцінка інформаційного критерію Akaike (AIC) моделі?

Я бачив тут декілька запитань щодо того, що це означає в простому розумінні, але це занадто непросто для моєї мети. Я намагаюся математично зрозуміти, що означає оцінка AIC.

Але в той же час я не хочу жорсткого доказу, який би змусив мене не бачити більш важливих моментів. Наприклад, якби це було обчислення, я був би задоволений нескінченними тваринами, і якби це була теорія ймовірностей, я був би щасливий без теорії міри.

Моя спроба

читаючи тут , і деякий власний позначення цукру, є критерієм AIC моделі на наборі даних таким чином: , де це число параметрів моделі , а є функцією максимального правдоподібності значення модельного від набору даних . $\text{AIC}_{m,D}$ $m$ $D$

{AIC}_{m, D} = 2 k_{m} - 2 \ln (L_{m, D})

$\text{AIC}_{m,D} = 2k_m - 2 \ln(L_{m,D})$

k_{m}

$k_m$

m

$m$

L_{m, D}

$L_{m,D}$

m

$m$

D

$D$

Ось моє розуміння того, що означає вище:

m = \underset{θ}{arg max} Pr (D | θ)

$m = \underset{\theta}{\text{arg max}\,} \Pr(D|\theta)$

Сюди:

$k_m$ - кількість параметрів $m$ .
$L_{m,D} = \Pr(D|m) = \mathcal{L}(m|D)$ .

Тепер перепишемо AIC:

\begin{aligned} {AIC}_{m, D} = & 2 k_{m} - 2 \ln (L_{m, D}) \\ = & 2 k_{m} - 2 \ln (Pr (D | m)) \\ = & 2 k_{m} - 2 \log_{e} (Pr (D | m)) \end{aligned}

$\begin{split} \text{AIC}_{m,D} =& 2k_m - 2 \ln(L_{m,D})\\ =& 2k_m - 2 \ln(\Pr(D|m))\\ =& 2k_m - 2 \log_e(\Pr(D|m))\\ \end{split}$

Очевидно, $\Pr(D|m)$ - ймовірність спостереження набору даних $D$ за моделлю $m$ . Отже, чим краще модель $m$ вписується в набір даних $D$ , тим більшим стає $\Pr(D|m)$ і тим менше стає термін $-2\log_e(\Pr(D|m))$ .

Так чітко AIC нагороджує моделі, що відповідають їх наборам даних (тому що менший $\text{AIC}_{m,D}$ краще).

З іншого боку, термін $2k_m$ чітко карає моделі з більшою кількістю параметрів, $\text{AIC}_{m,D}$ .

Іншими словами, АПК здається мірою, що:

Нагороджуйте точні моделі (ті, що краще відповідають $D$ ) логарифмічно. Наприклад, це винагороджує збільшення фітнесу з $0.4$ до $0.5$ більше, ніж винагороджує збільшення фітнесу з $0.8$ до $0.9$ . Це показано на малюнку нижче.
Скорочення винагород параметрів лінійно. Тож зменшення параметрів від до приносить користь стільки, скільки винагороджує зниження від до . $9$ $8$ $2$ $1$

Іншими словами (знову ж таки), AIC визначає компроміс між важливістю простоти та важливістю пристосованості .

Іншими словами (знову ж таки), схоже, AIC пропонує:

Важливість фітнесу зменшується.
Але важливість простоти ніколи не зменшується, а завжди завжди є важливою.

Q1: Але питання полягає в тому, чому ми повинні дбати про цю специфічну компромісність простоти?

Q2: Чому і чому ? Чому б не просто: тобто повинен виглядати y бути однаково корисним і повинен бути здатний служити для порівняльного порівняння різних моделей (це просто не масштабується на ; це нам потрібно?). $2k$ $2 \log_e(\ldots)$

\begin{aligned} {AIC}_{m, D} = & 2 k_{m} - 2 \ln (L_{m, D}) \\ = & 2 (k_{m} - \ln (L_{m, D})) \\ \frac{{AIC}_{m, D}}{2} = & k_{m} - \ln (L_{m, D}) \\ {AIC}_{m, D, SIMPLE} = & k_{m} - \ln (L_{m, D}) \end{aligned}

$\begin{split} \text{AIC}_{m,D} =& 2k_m - 2 \ln(L_{m,D})\\ =& 2(k_m - \ln(L_{m,D}))\\ \frac{\text{AIC}_{m,D}}{2} =& k_m - \ln(L_{m,D})\\ \text{AIC}_{m,D,\text{SIMPLE}} =& k_m - \ln(L_{m,D})\\ \end{split}$

{AIC}_{m, D, SIMPLE}

$\text{AIC}_{m,D,\text{SIMPLE}}$

{AIC}_{m, D}

$\text{AIC}_{m,D}$

2

$2$

Q3: Як це стосується теорії інформації? Чи може хтось це отримати з інформаційно-теоретичного початку?

— печерний чоловік
джерело

Що означає ваше позначення в ? Ви щось натякаєте на вибір моделі? Те, що ви мали вище, насправді не означає, що AIC вимагає від вас вибору моделі. Q2, як ви кажете, є чимось досить довільним у певному сенсі, але походить від того, щоб зробити АПК оцінкою для розбіжності Куллбека-Лейблера, яка також стосується відповіді на Q1 і надає деякого значення величинам, таких як .

m = \arg max_{θ} P r (D | θ)

$m=\arg \max_\theta Pr(D|\theta)$

\exp (({AIC}_{m} - min ({AIC}_{1}, \dots, {AIC}_{M})) / 2)

$\exp((\text{AIC}_m-\min(\text{AIC}_1,\ldots,\text{AIC}_M))/2)$

— Бьорн

{arg max}_{θ} Pr (D | θ)

$\text{arg max}_{\theta} \Pr(D|\theta)$ означає тримати пошук багатьох s, поки ви не знайдете той, який мінімізує ймовірність . Кожен є кортеж / вектор параметрів, що визначають нашу модель , яка намагається пояснити набору даних . Так по суті це говорить: у нас є набір даних , яка ймовірність того, що він був сформований моделлю, параметризованою ? Наша модель по суті яка вирішує цю задачу максимізації.

θ

$\theta$

Pr (D | θ)

$\Pr(D|\theta)$

θ

$\theta$

D

$D$

D

$D$

θ

$\theta$

m

$m$

θ

$\theta$

— печерний чоловік

Вибачте, але ви переглядаєте декілька моделей (оскільки ви пишете ) чи говорите про максимальну оцінку ймовірності ? Також зауважте, що - це ймовірність виникнення даних у цій моделі та для заданих параметрів, а не ймовірність того, що дані були створені цією моделлю, параметризованою .

m = \dots

$m=\ldots$

\hat{θ} := \arg max_{θ} P_{given model} (D | θ)

$\hat{\theta} := \arg\max_\theta P_\text{given model}(D|\theta)$

P_{given model} (D | θ)

$P_\text{given model}(D|\theta)$

θ

$\theta$

— Бьорн

MLE - це я маю на увазі. Але я просто намагаюся сказати, що параметри tuple настільки вичерпні, що вони також визначають модель. Також я можу мати декілька моделей, скажімо кожна з різними оцінками AIC . Я просто складаю це позначення, тому що вважаю, що це простіше. Чи я страшенно помиляюся чи непотрібно плутаю це? (і дякую, що виправили мене щодо того, що означає MLE)

θ

$\theta$

m_{1}, m_{2}

$m_1,m_2$

{AIC}_{1}, {AIC}_{2}

$\text{AIC}_1, \text{AIC}_2$

— печерний людина

Виведення AIC як наближення до очікуваних втрат інформації KL наведено в Pawitan (2001), По

— всій

Це питання печерного людини популярне, але не було спроб відповідей місяцями, поки мій суперечливий . Можливо, фактична відповідь нижче сама по собі не є суперечливою, лише те, що питання "завантажені" питаннями, тому що поле, здається (принаймні, мені) заповнене аколітами AIC та BIC, які скоріше використовуватимуть OLS, ніж методи інших. Будь ласка, подивіться на всі перелічені припущення та обмеження щодо типів даних та методів аналізу та прокоментуйте їх; виправити це, внести свій внесок. Поки що деякі дуже розумні люди зробили свій внесок, тож робиться повільний прогрес. Я визнаю внески Річарда Харді та GeoMatt22, добрі слова Антоні Пареллада та доблесні спроби Кагдаса Озгенка та Бена Огорека пов'язати розбіжність КЛ із фактичною розбіжністю.

Перш ніж ми почнемо, давайте розглянемо, що таке AIC, і одне джерело для цього - передумови порівняння моделі AIC, а інше - від Rob J Hyndman . Зокрема, АПК обчислюється рівним

2 k - 2 \log (L (θ)),

$2k - 2 \log(L(\theta))\,,$

де - кількість параметрів у моделі, а функція ймовірності. AIC порівнює порівняння між дисперсією ( ) та зміщенням ( ) з припущеннями моделювання. З фактів та помилок АПК , пункт 3 "АПК не передбачає, що залишки є гауссовими. Просто гастросова ймовірність найчастіше використовується. Але якщо ви хочете скористатися іншим розповсюдженням, продовжуйте". АПК - це імовірність штрафу, незалежно від того, яку ймовірність ви вирішите використовувати. Наприклад, для вирішення AIC для розподілених залишків Student-t ми могли б використовувати рішення максимальної ймовірності для Student's-t . The $k$ $L(\theta)$ $2k$ $2\log(L(\theta))$ log-правдоподібність, яка зазвичай застосовується для AIC , походить від гауссової ймовірності log і надана

\log (L (θ)) = - \frac{| D |}{2} \log (2 π) - \frac{1}{2} \log (| K |) - \frac{1}{2} (x - μ)^{T} K^{- 1} (x - μ),

$\log(L(\theta)) =-\frac{|D|}{2}\log(2\pi) -\frac{1}{2} \log(|K|) -\frac{1}{2}(x-\mu)^T K^{-1} (x-\mu),$

$K$ - структура коваріації моделі,розмір вибірки; кількість спостережень у наборах даних, середня відповідь та залежна змінна. Зауважте, що, строго кажучи, AIC не коригує розмір вибірки, оскільки AIC не використовується для порівняння наборів даних, а лише моделі, що використовують один і той же набір даних. Таким чином, нам не доводиться досліджувати, чи корекція розміру вибірки виконана правильно чи ні, але нам доведеться турбуватися з цього приводу, якби ми могли якось узагальнити AIC, щоб бути корисним між наборами даних. Аналогічно багато робиться для для забезпечення асимптотичної ефективності. Мінімалістичний погляд може вважати AIC просто "індексом", що робить $|D|$ $\mu$ $x$ $K>>|D|>2$ $K>|D|$ відповідні тане має значення. Однак певна увага приділяється цьому у формі пропозиції зміненого АПК для не набагато більше, ніжназивається AIC див. другий абзац відповіді на Q2 нижче. Це розповсюдження "заходів" лише підсилює уявлення про те, що AIC є індексом. Однак рекомендується дотримуватися обережності при використанні слова "i", оскільки деякі прихильники АПК порівнюють використання слова "індекс" з тією ж прихильністю, що може бути приєднана до позначення їх онтогенезу як позашлюбного. $K>>|D|$ $K$ $|D|$ $_c$

Q1: Але питання полягає в тому, чому ми повинні дбати про цю специфічну компромісність простоти?

Відповідь у двох частинах. Спочатку конкретне питання. Вам слід дбати лише тому, що саме так було визначено. Якщо ви віддаєте перевагу, немає причин не визначати CIC; критерієм інформації печерного людини, це не буде АПК, але CIC дасть ті самі відповіді, що і AIC, це не впливає на компроміс між корисністю і притаманною простотою. Будь-яка константа, яка могла бути використана як множник AIC, включаючи один раз, повинна була бути обрана та дотримана, оскільки не існує еталонного стандарту для застосування абсолютної шкали. Однак дотримання стандартного визначення не є довільним у тому сенсі, що є місце для одного і лише одного визначення, або "умовності" для величини, як AIC, яка визначається лише у відносному масштабі. Також дивіться припущення № 3 AIC нижче.

Друга відповідь на це питання стосується специфіки взаємодії AIC між корисністю та позитивної простотою, незалежно від того, як було б обрано його постійний множник. Тобто, що насправді впливає на "компроміс"? Однією з речей, що впливає на це, є ступінь коригування свободи для кількості параметрів в моделі, це призвело до визначення "нового" AIC під назвою AIC таким чином: $_c$

\begin{aligned} A I C_{c} & = A I C + \frac{2 k (k + 1)}{n - k - 1} \\ = \frac{2 k n}{n - k - 1} - 2 \ln (L) \end{aligned},

$\begin{align}AIC_c &= AIC + \frac{2k(k + 1)}{n - k - 1}\\ &= \frac{2kn}{n-k-1} - 2 \ln{(L)}\end{align} \,,$

де - розмір вибірки. Оскільки зважування зараз дещо відрізняється при порівнянні моделей, що мають різну кількість параметрів, AIC вибирає моделі інакше, ніж сам AIC, і ідентично як AIC, коли дві моделі різні, але мають однакову кількість параметрів. Інші методи також будуть вибирати моделі по-іншому, наприклад, "BIC [sic, байесівський інформаційний критерій ], як правило, вільні параметри сильніше, ніж інформаційний критерій Akaike, хоча це залежить ..." ANOVA також санкціонує надмірні параметри, використовуючи часткові ймовірності необов'язковість значень параметрів по-різному, і в деяких обставинах було б краще використовувати AIC $n$ $_c$ . Загалом, будь-який метод оцінки відповідності моделі матиме свої переваги та недоліки. Моєю порадою було б перевірити ефективність будь-якого методу вибору моделі для його застосування до методології регресії даних більш енергійно, ніж тестування самих моделей. Будь-які причини сумніватися? Так, слід бути обережним під час побудови або вибору будь-якого тестування моделі, щоб вибрати методи, які є методологічно відповідними. AIC корисний для підмножини оцінок моделі, про це див. Q3, далі. Наприклад, вилучення інформації за моделлю A може бути найкраще виконано методом регресії 1, а для моделі B - методом регресії 2, де модель B і метод 2 іноді дає нефізичні відповіді, і де жоден метод регресії не є MLR,

Q3 Як це стосується теорії інформації :

Припущення MLR №1. АПК ґрунтується на припущеннях щодо максимальної придатності (MLR) застосовності до проблеми регресії. Є лише одна обставина, коли звичайна найменша регресія найменших квадратів та максимальна регресія ймовірності були вказані мені як однакові. Це було б тоді, коли залишки від лінійної регресії звичайних найменших квадратів (OLS) зазвичай розподіляються, і MLR має функцію втрат Гаусса. В інших випадках лінійної регресії OLS, для нелінійної регресії OLS та не-гауссових функцій втрат MLR та OLS можуть відрізнятися. Існує багато інших цілей регресії, ніж OLS або MLR або навіть хороша відповідність, і часто хороша відповідь мало стосується жодної, наприклад, для більшості зворотних проблем. Існують високоцитовані спроби (наприклад, 1100 разів) використовувати узагальнений АПК для квазіімовірності, щоб залежність від максимальної регресії ймовірності послабилася, щоб визначити більш загальні функції втрат . Більше того, MLR для Student's-t, хоча і не в закритій формі, є сильно конвергентним . Оскільки залишкові розподіли Стьюдента-t є як більш поширеними, так і загальнішими, ніж гауссові умови, а також включають їх, я не бачу особливих причин використовувати гауссова припущення для AIC.

Припущення MLR №2. MLR - це спроба кількісно оцінити корисність. Він іноді застосовується, коли це не підходить. Наприклад, для обрізаних даних діапазону, коли використовувана модель не обрізана. Корисність - це все добре і добре, якщо ми маємо повне висвітлення інформації. У часових рядах ми, як правило, не володіємо достатньо швидкою інформацією, щоб повністю зрозуміти, які фізичні події переходять спочатку, або наші моделі можуть бути недостатньо повною для дослідження дуже ранніх даних. Ще більше занепокоєння полягає в тому, що часто не можна перевіряти якість придатності в дуже пізні періоди на брак даних. Таким чином, корисність може бути лише моделюванням 30% площі, що знаходиться під кривою, і в цьому випадку ми судимо про екстрапольовану модель на основі того, де є дані, і ми не вивчаємо, що це означає. Щоб екстраполювати, нам потрібно дивитися не лише на корисність придатності «сум», але й на похідні тих сум, які не вдається, а у нас немає «користі» екстраполяції. Таким чином, придатні методи, такі як B-сплайни, знаходять застосування, оскільки вони можуть більш плавно передбачити, які дані є, коли похідні підходять, або альтернативно зворотні проблеми лікування, наприклад, неправомірна інтегральна обробка в усьому діапазоні моделей, як адаптація поширення помилок Тихонов регуляризація.

Ще одна складна проблема - дані можуть сказати нам, що ми повинні з цим робити. Те, що нам потрібно для придатності (якщо це доречно), - це залишки, які є відстанями, в тому сенсі, що стандартне відхилення - це відстань. Тобто, придатність для придатності не мала б особливого сенсу, якби залишковий засіб, який удвічі довший за одне стандартне відхилення, не був би також довжиною два стандартних відхилення. Вибір перетворень даних слід дослідити до застосування будь-якого методу вибору / регресії моделі. Якщо дані мають пропорційну помилку типу, зазвичай логарифм перед вибором регресії є недоцільним, оскільки він перетворює стандартні відхилення в відстані. Крім того, ми можемо змінити норму, яку слід мінімізувати, щоб розмістити відповідні пропорційні дані. Те саме стосується структури помилки Пуассона, ми можемо взяти квадратний корінь даних, щоб нормалізувати помилку, або змінити нашу норму пристосування. Є проблеми, які є набагато складнішими або навіть нерозв'язними, якщо ми не можемо змінити норму пристосування, наприклад, статистика підрахунку Пуассона від ядерного розпаду, коли розпад радіонуклідів вводить експоненціальну залежність від часу підрахунку даних і фактичної маси, було проведено ці підрахунки, якби не було занепаду. Чому? Якщо ми зменшимо зворотну корекцію показників підрахунку, у нас більше немає статистики Пуассона, і залишки (або помилки) від квадратного кореня виправлених підрахунків більше не відстані. Якщо ми тоді хочемо провести перевірку на корисність коригувальних даних, пов'язаних з розпадом (наприклад, AIC), нам доведеться це зробити так, як невідомо моєму покірному. Відкрите запитання для читачів, якщо ми наполягаємо на використанні MLR, чи можемо ми змінити його норму для врахування типу помилок даних (бажано), або ми повинні завжди трансформувати дані, щоб дозволити використання MLR (не як корисне)? Зауважте, AIC не порівнює методи регресії для однієї моделі, вона порівнює різні моделі для одного і того ж методу регресії.

Припущення про АПК №1. Здавалося б, MLR не обмежується нормальними залишками, наприклад, дивіться це питання про MLR та Student's-t . Далі, припустимо, що MLR відповідає нашій проблемі, щоб ми відстежували її використання для порівняння значень AIC в теорії. Далі ми припускаємо , що є 1) повна інформація, 2) один і той же тип розподілу залишків (наприклад, як в нормальній, так Student's- т ) не менше 2 моделей. Тобто ми маємо випадковість, що зараз дві моделі повинні мати тип розподілу залишків. Це могло статися? Так, напевно, але точно не завжди.

Припущення про АПК №2. AIC відносить негативний логарифм кількості (кількість параметрів у моделі, поділене на розбіжність Куллбека-Лейблера ). Чи потрібно це припущення? У папері загальних функцій втрат використовується інша «розбіжність». Це приводить нас до питання, якщо інший захід є більш загальним, ніж розбіжність KL, чому ми не використовуємо його також для AIC?

Невідповідна інформація для АПК від дивергенції Куллбека-Лейблера є "Хоча ... часто інтуїтована як спосіб вимірювання відстані між розподілами ймовірностей, розбіжність Куллбека - Лейблера не є справжньою метрикою". Ми побачимо, чому незабаром.

Аргумент KL доходить до того, що різниця між двома речами є модель (P) та дані (Q)

D_{K L} (P ‖ Q) = \int_{X} \log (\frac{d P}{d Q}) \frac{d P}{d Q} d Q,

$D_{\mathrm{KL}}(P\|Q) = \int_X \log\!\left(\frac{{\rm d}P}{{\rm d}Q}\right) \frac{{\rm d}P}{{\rm d}Q} \, {\rm d}Q \,,$

яку ми визнаємо ентропією '' P '' відносно '' Q ''.

Припущення про АПК №3. Більшість формул, що містять дивергенцію Кульбека – Лейблера, мають місце незалежно від основи логарифму. Постійний множник може мати більше значення, якби AIC пов'язував більше одного набору даних одночасно. Як це при порівнянні методів, якщо то будь-які додатні число разів, які все ще будуть . Оскільки це довільно, встановлення константи на конкретне значення як питання визначення також не є недоцільним. $AIC_{data,model 1}<AIC_{data,model 2}$ $<$

Припущення про АПК №4. Це означає, що АПК вимірює ентропію Шеннона або самоінформацію ". Що нам потрібно знати:" Чи є ентропія тим, що нам потрібно для метрики інформації? "

Щоб зрозуміти, що таке "самоінформація", нам потрібно нормалізувати інформацію у фізичному контексті, будь-хто зробить. Так, я хочу, щоб міра інформації мала властивості, які є фізичними. То як би це виглядало в більш загальному контексті?

Рівняння вільної енергії Гіббса ( $\Delta G = ΔH – TΔS$ ) пов'язує зміну енергії зі зміною ентальпії мінус абсолютну температуру, кратну зміні ентропії. Температура є прикладом успішного типу нормалізованого змісту інформації, адже якщо одна гаряча та одна холодна цегла поміщаються в контакт один з одним у термічно закритому середовищі, то між ними буде надходити тепло. Тепер, якщо ми стрибаємо на це, не думаючи занадто сильно, ми говоримо, що тепло - це інформація. Але чи відносна інформація пророкує поведінку системи. Інформація протікає до досягнення рівноваги, але рівновага чого? Температура, ось що, а не тепло, як швидкість частинок маси частинок, я не кажу про молекулярну температуру, я кажу про грубу температуру двох цеглин, які можуть мати різну масу, виготовлені з різних матеріалів, мають різну щільність і т.д., і нічого з цього я не повинен знати, все, що мені потрібно знати, - це те, що рівномірна температура - це те, що врівноважує. Таким чином, якщо одна цегла гарячіша, то вона має більше відносного інформаційного вмісту, а коли холодніше - менше.

Тепер, якщо мені кажуть, одна цегла має більше ентропії, ніж інша, і що? Це, саме по собі, не передбачить, чи отримає він або втратить ентропію, якщо поставиться в контакт з іншою цеглою. Отже, чи є ентропія лише корисною мірою інформації? Так, але лише в тому випадку, якщо ми порівнюємо ту саму цеглу із самим собою, таким чином, термін "самоінформація".

Звідси випливає останнє обмеження: для використання дивергенції KL всі цегли повинні бути однаковими. Таким чином, те, що робить AIC нетиповим показником, є те, що він не переноситься між наборами даних (наприклад, різними цеглинами), що не є особливо бажаною властивістю, яку можна вирішити шляхом нормалізації вмісту інформації. Чи лінійна дивергенція KL? Може так, може, ні. Однак це не має значення, нам не потрібно припускати лінійність для використання AIC, і, наприклад, сама ентропія, я не думаю, що це лінійно пов'язане з температурою. Іншими словами, нам не потрібна лінійна метрика для використання ентропійних обчислень.

Одне хороше джерело інформації про АПК - у цій тезі . З песимістичної сторони це говорить: "Само по собі значення AIC для даного набору даних не має значення". З оптимістичної сторони це говорить про те, що моделі, які мають близькі результати, можна диференціювати шляхом вирівнювання, щоб встановити довірчі інтервали, та багато іншого.

— Карл
джерело

Чи могли б ви вказати головну відмінність нової відповіді від старої видаленої відповіді? Здається, є певне перекриття.

— Річард Харді

Я був у середині редагування своєї відповіді протягом декількох годин, коли її видалено. Було багато змін у порівнянні з тим, коли я починав, оскільки це незавершена робота, багато читав і думав, і мої колеги на цьому веб-сайті, здається, не дбають про це, але не допомагають нічого відповісти. AIC, здається, занадто добре для критичного огляду, як я зважусь? Я завершив свою редагування і повторно розмістив її. Я хочу знати, що неправильно у моїй відповіді. Я наполегливо працював над цим, і намагався бути правдивим, і, ніхто більше не турбував.

— Карл

Не засмучуйся. Мій перший досвід тут також був розчаровуючим, але пізніше я навчився ставити питання відповідним чином. Дотримуватися нейтрального тону та уникати твердих думок, які не грунтуються на твердих фактах, було б хорошим першим кроком, ІМХО. (До речі, я відхилив ваше запитання, але все ще вагаюся у відповіді.)

— Річард Харді

+1 Просто для вашої преамбули. Зараз я продовжую читати відповідь.

— Антоні Пареллада

@AntoniParellada Ви допомогли лише утримавши запитання від видалення, що я ціную. Робота через AIC була складною, і мені в цьому потрібна допомога. Звичайно, деякі мої уявлення хороші, але у мене також є копита при захворюваннях рота, які інші розуми краще наздогнати, ніж я.

— Карл

AIC - це оцінка вдвічі більше, ніж залежно від орієнтованого на модель додавання, до очікуваного розбіжності Кульбека-Лейблера між справжнім розподілом та наближеною параметричною моделлю . $f$ $g$

Дивергенція KL є темою інформаційної теорії та працює інтуїтивно (хоча і не жорстко) як міра відстані між двома розподілами ймовірностей. У своєму поясненні нижче я посилаюся на ці слайди від Shuhua Hu. Ця відповідь все ж потребує цитування "ключового результату".

Розбіжність KL між справжньою моделлю і наближеною моделлю дорівнює $f$ $g_{\theta}$

d (f, g_{θ}) = \int f (x) \log (f (x)) d x - \int f (x) \log (g_{θ} (x)) d x

$d(f, g_{\theta}) = \int f(x) \log(f(x)) dx -\int f(x) \log(g_{\theta}(x)) dx$

Оскільки правда невідома, дані генеруються з та максимальної оцінки ймовірності дає оцінку . Заміна на у рівняннях вище означає, що як другий член формули дивергенції KL, так і сама дивергенція KL тепер є випадковими змінними. "Основний результат" на слайдах полягає в тому, що середнє значення другого додаючого члена відносно може бути оцінено простим функцією функції ймовірності (оцінюється в MLE), а , розмірністю : $y$ $f$ $\hat{\theta}(y)$ $\theta$ $\hat{\theta}(y)$ $y$ $L$ $k$ $\theta$

- E_{y} [\int f (x) \log (g_{\hat{θ} (y)} (x)) d x] \approx - \log (L (\hat{θ} (y))) + k .

$-\text{E}_y\left[\int f(x) \log(g_{\hat{\theta}(y)}(x)) \, dx \right] \approx -\log(L(\hat{\theta}(y))) + k.$

AIC визначається як подвійне очікування вище (HT @Carl), а менші (більше негативні) значення відповідають меншим оціненим розбіжностям KL між справжнім розподілом та модельованим розподілом . $f$ $g_{\hat{\theta}(y)}$

— Бен Огорек
джерело

Як відомо, термін відхилення при застосуванні до імовірності ймовірності є жаргоном і неточним. Я опустив обговорення цього питання, тому що для розбіжностей у АПК потрібна лише монотонність, щоб мати порівняльну вартість, а не лінійність. Отже, я не бачу доречності намагатися надмірно важко "візуалізувати" те, що, ймовірно, не існує, і все одно не потрібно.

— Карл

Я бачу вашу думку, що в останньому абзаці додається червона оселедець, і я розумію, що нікому не потрібно переконувати, що 2 * x займає так само, як x. Чи було б справедливо сказати, що кількість помножено на 2 "за домовленістю"?

— Бен Огорек

Щось схоже. Особисто я б проголосував за "визначено як", тому що він був спочатку обраний таким чином. Або, щоб сказати це у часовій перспективі, будь-яка константа, яка могла бути використана, в тому числі один раз, повинна була бути обрана і дотримана, оскільки не існує еталонного стандарту для застосування масштабу.

— Карл

Проста точка зору для ваших перших двох питань полягає в тому, що АПК пов'язана з очікуваною швидкістю помилки вибірки моделі максимальної ймовірності. Критерій АПК заснований на співвідношенні (Елементи статистичного рівняння навчання 7,27) де, відповідно до вашої позначення, - кількість параметрів у моделі , максимальне значення ймовірності якої .

- 2 E [\ln P r (D | θ)] \approx - \frac{2}{N} E [\ln L_{m, D}] + \frac{2 k_{m}}{N} = \frac{1}{N} E [{A I C}_{m, D}]

$-2 \, \mathrm{E}[\ln \mathrm{Pr}(D|\theta)] \approx -\frac{2}{N} \, \mathrm{E}[\ln L_{m,D}] + \frac{2k_m}{N} = \frac{1}{N} E[\mathrm{AIC}_{m,D}]$

k_{m}

$k_m$

m

$m$

L_{m, D}

$L_{m,D}$

Термін ліворуч - очікуваний показник "помилки" поза вибіркою максимальної моделі ймовірності , використовуючи журнал ймовірності як показник помилки. Коефіцієнт -2 - це традиційна корекція, яка використовується для побудови відхилення (корисна, оскільки в певних ситуаціях вона відповідає чі-квадратному розподілу). $m = \{ \theta \}$

Права рука складається з коефіцієнта "помилки" у вибірці, оціненого з максимальної ймовірності журналу, плюс термін коригує оптимізм максимальної ймовірності журналу, що має свободу дещо перевищувати дані. $2k_m/N$

Таким чином, АІК є оцінкою «помилка» швидкість (девіація) раз з власного зразка . $N$

— jwimberley
джерело