Як я можу знати, який метод оцінки параметрів вибрати?

12

Існує досить багато методів оцінки параметрів. MLE, UMVUE, MoM, теоретичні рішення та інші, схоже, вони мають досить логічний випадок, чому вони корисні для оцінки параметрів. Чи будь-який один метод кращий за інші, або це лише питання про те, як ми визначаємо, що таке "найкраще підходить" оцінка (подібно до того, як мінімізація ортогональних помилок дає різні оцінки від звичайного підходу до найменших квадратів)?

— Крістофер Аден
джерело

1

Швидке уточнення: мінімізація ортогональних помилок, а не перпендикулярних, насправді не є рішенням стратегії оцінки, а рішенням щодо моделі, яка потребує оцінки - як правило, такої, яка передбачає наявність помилки вимірювання в X, а не тієї, яка не робить. (І ви можете також оцінювати його параметри різними способами.)

— сполучаєтьсяпріоритет

1

Мені подобається ваша ідея стратегії оцінювання "найкраще", але що найкраще підходить? Зазвичай мова йде про відповідність стратегії стані впевненості дослідниці в її знаннях про різні параметричні припущення, які вона хотіла б зробити, і рівень тривоги, який вона має щодо них, є абсолютно неправильним. Література з економетрики про це доволі явно пояснює як мотивацію ML проти GMM проти надійного тощо.

— кон'югатор

12

Тут є невелика плутанина двох речей: методи отримання оцінок та критерії оцінювання оцінок. Максимальна ймовірність (ML) та метод моментів (MoM) - способи отримання оцінок; Однорідна мінімальна неупередженість дисперсії (UMVU) та теорія рішень є критеріями для оцінки різних оцінювачів, коли ви їх матимете, але вони не підкажуть, як їх отримати.

З методів отримання оцінок ML зазвичай виробляє оцінки, які ефективніші (тобто менша дисперсія), ніж MoM, якщо ви знаєте модель, за якою були отримані ваші дані ("процес генерації даних" (DGP) в жаргоні). Але MoM робить менше припущень щодо моделі; як випливає з назви, він використовує лише один або декілька моментів, як правило, лише середнє або просто середнє та відхилення, тому іноді це більш надійно, якщо ви не впевнені в DGP. Для однієї і тієї ж проблеми може бути декілька оцінок MoM, тоді як якщо ви знаєте DGP, існує лише один оцінювач ML.

З методів оцінювання оцінювачів теоретичне рішення залежить від того, яка функція втрат буде використана для оцінювання вашої оцінки, хоча результати можуть бути досить надійними для цілого ряду "розумних" функцій втрат. Оцінювачі UMVU часто навіть не існують; в багатьох випадках не є НЕ несмещенной оцінкою , яка завжди має мінімальну дисперсію. І критерій неупередженості - це також сумнівна корисність, оскільки вона не є інваріантною перетворенням. Наприклад, чи надаєте перевагу неупередженому оцінці коефіцієнта шансів чи коефіцієнта шансів журналу? Два будуть різними.

— одна зупинка
джерело

Onestop: Це, безумовно, дух питання, на який я прагнув. І дякую за роз’яснення між критеріями оцінювання оцінювачів та методами їх отримання!

— Крістофер Аден

Дякую. Я трохи здивований, що ніхто інший не чіпнув, хоча це було написано вгорі голови, і я точно не знаю теорії оцінки.

— onestop

2

Я б сказав, що тип оцінки залежить від кількох речей:

Які наслідки неправильної оцінки? (наприклад, чи менш погано, якщо ваш оцінювач занадто високий, порівняно із занадто низьким? Або вам байдуже щодо напрямку помилки? Якщо помилка вдвічі більша, це вдвічі менше? Це відсоткова помилка чи абсолютна помилка це важливо? Чи оцінка є лише проміжним кроком, необхідним для прогнозування? Чи велика поведінка вибірки більш-менш важлива, ніж поведінка малого вибірки?)
Яка ваша попередня інформація про кількість, яку ви оцінюєте? (наприклад, як дані функціонально пов'язані з вашою кількістю? чи знаєте ви, чи кількість позитивна? дискретна? Ви раніше оцінювали цю кількість? скільки у вас даних? Чи є у ваших даних структура "групової інваріантності"?)
Яке у вас програмне забезпечення? (наприклад, немає корисних пропозицій MCMC, якщо у вас немає програмного забезпечення для цього чи використання GLMM, якщо ви не знаєте, як це зробити.)

Перші два пункти залежать від контексту, і, думаючи про вашу конкретну програму , ви, як правило, зможете визначити певні властивості, якими ви хотіли б мати ваш оцінювач. Потім ви вибираєте оцінювач, який ви можете фактично обчислити, який має стільки властивостей, які ви хочете мати.

Я думаю, що відсутність контексту, який має навчальний курс з оцінкою, означає, що часто використовується критерій "за замовчуванням", аналогічно попередній інформації (найбільш очевидним "типовим" є те, що ви знаєте вибіркове розподіл ваших даних). Сказавши це, деякі методи за замовчуванням хороші, особливо якщо ви недостатньо знаєте контекст. Але якщо ви робите знати контекст, і є інструменти , щоб включити цей контекст, то ви повинні, бо в іншому випадку ви можете отримати нелогічні результати (з - за того , що ви проігнорували).

Я, як правило, не великий фанат MVUE, тому що вам часто потрібно пожертвувати занадто великою кількістю дисперсії, щоб отримати неупередженість. Наприклад, уявіть, що ви кидаєте дротики на дартс, і ви хочете вдарити в очі. Припустимо, що максимальне відхилення від очей биків становить 6 см для певної стратегії кидання, але центр точок дартса на 1 см вище від бичачого ока. Це не MVUE, тому що центр повинен бути на бичачому оку. Але припустимо, що для того, щоб перенести розподіл вниз на 1 см (в середньому), ви повинні збільшити свій радіус принаймні до 10 см (тому максимальна помилка зараз становить 10 см, а не 6 см). Це та річ, яка може трапитися з MVUE, якщо тільки дисперсія вже мала. Припустимо, я був набагато точнішим кидком, і міг звузити свою помилку до 0,1 см. Тепер упередженість справді має значення, тому що я ніколи не влучу в бичне око!

Коротше кажучи, для мене зміщення має значення лише тоді, коли воно невелике порівняно з дисперсією. І зазвичай ви отримаєте лише невеликі відхилення, коли у вас є великий зразок.

— ймовірністьіслогічна
джерело