Що таке ідентифікація моделі?

Я знаю, що за моделлю, яка не може бути ідентифікована, дані можна сказати, що вони генеруються безліччю різних призначень параметрів моделі. Я знаю, що іноді можливо обмежити параметри так, щоб усі були ідентифікованими, як у прикладі в Cassella & Berger 2nd ed, розділ 11.2.

З огляду на конкретну модель, як я можу оцінити, визначити чи ні?

identifiability

— Джек Таннер
джерело

Відповіді:

Для ідентифікації ми говоримо про параметр (який може бути вектором), який розміщується на просторі параметрів , та сімейство розподілів (для простоти, думаю, PDF-файли), індексовані які ми зазвичай пишемо щось на кшталт . Наприклад, може бути і може бути $\theta$ $\Theta$ $\theta$ $\{ f_{\theta}|\, \theta \in \Theta\}$ $\theta$ $\theta = \beta$ $f$

f_{θ} (х) = \frac{1}{β} е^{- х / β}, х > 0, β > 0,

$f_{\theta}(x) = \frac{1}{\beta}\mathrm{e}^{-x/\beta}, \ x>0,\ \beta >0,$ що означатиме, що . Для того, щоб модель була ідентифікованою, перетворення, яке відображає в повинно бути однозначним . З огляду на модель на колінах, найпростіший спосіб перевірити це - почати з рівняння , (ця рівність повинна дотримуватися для (майже) всіх у підтримка ) і спробувати використовувати алгебру (або який - або інший аргумент) , щоб показати , що саме таке рівняння означає , що, насправді, .

Θ = (0, \infty)

$\Theta = (0,\infty)$

θ

$\theta$

f_{θ}

$f_{\theta}$

f_{θ_{1}} = f_{θ_{2}}

$f_{\theta_{1}} = f_{\theta_{2}}$

x

$x$

θ_{1} = θ_{2}

$\theta_{1} = \theta_{2}$

Якщо вам вдасться досягти цього плану, то ваша модель може бути ідентифікована; продовжуйте свою справу. Якщо ви цього не зробите, то або вашу модель не можна ідентифікувати, або вам потрібно знайти інший аргумент. Інтуїція однакова, незалежно від того, що в ідентифікуючій моделі неможливо за двома різними параметрами (які можуть бути векторами) породжувати ту саму функцію ймовірності.

Це має сенс, тому що якщо для фіксованих даних два унікальних параметра породили однакову ймовірність, то неможливо було б розрізнити два параметри-кандидата, що базуються лише на даних. У цьому випадку неможливо було б визначити справжній параметр.

Для наведеного вище прикладу рівняння є для (майже) всіх . Якщо ми візьмемо журнали обох сторін, отримаємо для , що означає лінійну функцію дорівнює (майже) однаково нулю. Єдина лінія, яка робить таке, - це нахил 0 і y-перехоплення нуля. Сподіваємось, ви зможете побачити решту. $f_{\theta_{1}} = f_{\theta_{2}}$

\frac{1}{β_{1}} е^{- х / β_{1}} = \frac{1}{β_{2}} е^{- х / β_{2}},

$\frac{1}{\beta_{1}}\mathrm{e}^{-x/\beta_{1}} = \frac{1}{\beta_{2}}\mathrm{e}^{-x/\beta_{2}},$

x > 0

$x > 0$

- \ln β_{1} - \frac{х}{β_{1}} = - \ln β_{2} - \frac{х}{β_{2}}

$-\ln\,\beta_{1} - \frac{x}{\beta_{1}} = -\ln\,\beta_{2} - \frac{x}{\beta_{2}}$

x > 0

$x > 0$

- (\frac{1}{β_{1}} - \frac{1}{β_{2}}) х - (\ln β_{1} - \ln β_{2})

$-\left(\frac{1}{\beta_{1}} - \frac{1}{\beta_{2}}\right)x - (\ln\,\beta_{1} - \ln\,\beta_{2})$

До речі, якщо ви можете сказати, подивившись на свою модель, що її не можна ідентифікувати (іноді можна), то звичайно вводити на неї додаткові обмеження, щоб зробити її ідентифікованою (як ви згадали). Це схоже на визнання , що функція не один-до-одного для в , але це один-до-одного , якщо обмежити , щоб брехня всередині . У більш складних моделях рівняння жорсткіші, але ідея така ж. $f(y) = y^{2}$ $y$ $[-1,1]$ $y$ $[0,1]$

(+1) Приємне, всеосяжне, глибоке пояснення. Аналогії, які ви проводите, роблять поняття зрозумілими.

— кардинал

Ви напевно відповіли на запитання, яке я задав, але я занадто новачок, щоб справді зрозуміти вашу відповідь. Якщо ви знаєте пояснення, що краще для новачка, будь ласка, повідомте мене про це.

— Джек Таннер

@cardinal, спасибі До Джека, добре, я бачу. Як щодо цього: якщо є щось вище, що ще не зрозуміло, і якщо ви вказуєте на це мені, то я можу спробувати розібрати його ще трохи. Або, якщо ви хочете, ви можете написати ще одне запитання, яке вимагає пояснення "мирянина" або прикладів цих ідей. Я думаю, що справедливо сказати, що ідентифікація - це тема, яка зазвичай виникає після типового вступного періоду навчання, тому, якщо ви хочете надати певний контекст, чому ви зараз стикаєтесь, це може допомогти потенційним відповідачам.

+1, приємна відповідь. Можливо, варто вказати на один класичний, і легким для прикладу невпізнанної моделі є необмежена версія ANOVA: Щоб виправити це, кодування опорної комірки є зазвичай використовують, де середнє значення одного рівня встановлюється як опорне (яке оцінюється перехопленням), а величина середнього значення не явно оцінюється.

у_{i j} = мк + α_{1} + α_{2} + \dots + α_{к} + ε_{i}

$y_{ij}=\mu+\alpha_1+\alpha_2+\ldots+\alpha_k+\varepsilon_i$

— gung - Відновіть Моніку

Один із способів - перевірити коваріаційну матрицю ваших оцінок параметрів. Якщо дві оцінки параметрів ідеально (приблизно) співвідносяться одна з одною або одна оцінка параметра є (приблизно) лінійною комбінацією кількох інших, то ваша модель не ідентифікується; параметри, які є функціями інших, не потрібні. У кожному з цих випадків також буде (приблизно) одниною. Отже, якщо є приблизно сингулярним, це може стати причиною турбуватися з питань ідентифікації. (Хоча я не думаю, що це виявило б нелінійні зв’язки між оцінками параметрів, які могли б спричинити неідентифікацію). $\Sigma$ $\Sigma$ $\Sigma$

Практична проблема полягає в тому, що часто важко обчислити для навіть м'яко складних моделей. $\Sigma$

Якщо ви робите проблему з максимальною ймовірністю, то ви знаєте, що асимптотична матриця коваріації ваших оцінок дорівнює оберненій інформації про рибалки, оціненій в MLE. Отже, перевірка матриці інформації рибалки на (приблизну) сингулярність також є розумним способом оцінки ідентифікованості. Це також працює, коли теоретичну інформацію про рибалки важко обчислити, оскільки часто можна дуже точно числово наблизити послідовний оцінювач інформаційної матриці рибалки, наприклад, оцінивши очікуваний зовнішній добуток функції балів за спостережуваним середнім зовнішнім продуктом .

У вас не виникає проблем з ML, тоді, можливо, вам вдасться отримати ручку на , імітуючи дані з моделі та оцінюючи параметри у великій кількості разів та обчислюючи матрицю зразкової коваріації. $\Sigma$

— Макрос
джерело

(+1) Молодці. Я навіть не думав підходити до цього питання з того напрямку.

Однією з причин, що ідея про обчислення коваріаційної матриці на основі модельованих даних є особливо акуратною, полягає в тому, що слід моделювати ці дані, щоб зробити перевірку Кука-Гельмана-Рубіна .

— Джек Таннер