Чи існує модель, яка відповідає статистиці (наприклад, AIC або BIC), яку можна використовувати для абсолютного замість просто порівняльного порівняння?

Я не такий знайомий з цією літературою, тож пробачте мене, якщо це очевидне питання.

Оскільки AIC та BIC залежать від максимізації ймовірності, видається, що їх можна використовувати лише для порівняльного порівняння між набором моделей, що намагаються підходити до заданого набору даних. Наскільки я розумію, не було б сенсу обчислювати AIC для моделі A на наборі даних 1, обчислювати AIC для моделі B на наборі даних 2, а потім порівнювати два значення AIC і судити про це (наприклад) Модель A підходить до набору даних 1 краще, ніж модель B відповідає набору даних 2. Або, можливо, я помиляюся, і це розумно робити. Будь ласка, дай мені знати.

Моє запитання таке: чи існує статистична модель, яка може бути використана для абсолютного замість просто порівняльного порівняння? Для лінійних моделей працює щось на зразок ; він має визначений діапазон і дисциплінує конкретні уявлення про те, що є "хорошим" значенням. Я шукаю щось більш загальне і думав, що я міг би почати з того, щоб пінгінг експертів тут. Я впевнений, що хтось раніше думав про подібні речі, але я не знаю правильних термінів, щоб зробити продуктивний пошук у Google Scholar. $R^2$

Будь-яка допомога буде вдячна.

model-selection aic bic

— Натан ВанХуднос
джерело

Якщо модель A підходить до набору даних 1, а модель B відповідає набору даних 2, взагалі нічого порівняти не можна: моделі та дані абсолютно різні. То що саме ви намагаєтеся досягти? BTW, в цьому плані гірше, ніж марний; про деяку критику дивіться stats.stackexchange.com/questions/13314/…

R^{2}

$R^2$

— whuber

Що ви маєте на увазі під чимось "загальнішим", чи можете ви навести приклад для інших типів моделей, на які ви могли б розширитись? Деякі моделі легко адаптуються до підходу , наприклад, низькі розміри, але інші - досить важкі, наприклад, припади біноміальних даних.

R^{2}

$R^2$

— russellpierce

@whuber Вау, це чудова відповідь на питання ! Але, за його недоліками, використовується для того, щоб сказати, що їх модель "хороша" в "абсолютному" розумінні (наприклад, "Мій такий-і-такий, який кращий, ніж те, що зазвичай бачить ... "). Я шукаю більш обґрунтовану (і загальну) статистику, ніж щоб досягти тієї самої мети (наприклад, "Мій MagicStatistic такий-і-такий, що краще ...). Моя перша наївна думка полягала в тому, щоб зробити щось подібне нормалізація перехресної перевірки на k-кратну кількість, але, схоже, ніхто не робив подібного (тому, мабуть, це не дуже гарна ідея)

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

R^{2}

$R^2$

— Nathan VanHoudnos

@Nathan Я не хочу звучати так, ніби я харчуюся над точкою або одержимий нею - я ні, - але мені здається, що люди, які використовують заявляють про свою модель, добре в абсолюті сенс часто може бути ... помилятися. Один урок полягає в тому, що статистика, що відповідає моделі, інтерпретується лише в контексті набору даних. Коли два набори даних потенційно не мають нічого спільного, що насправді буде означати порівняння двох таких статистичних даних? Отже, для початку вирішення вашого питання нам потрібно зробити припущення про те, як два набори даних можуть бути пов’язані один з одним. Будь-які пропозиції?

R^{2}

$R^2$

R^{2}

$R^2$

— whuber

Єдине, що я міг би уявити у царині того, про що ти говориш, - це міра точності прогнозування. Якість двох моделей на двох різних наборах даних потенційно можна порівняти, за допомогою яких одна прогнозує найкраще, хоча і це не ідеально.

— Макрос

Відповідно до того, що запропонував Макрос, я думаю, що термін, який ви шукаєте, є показником ефективності. Хоча це не безпечний спосіб оцінювання прогнозованої потужності, це дуже корисний спосіб порівняння примірної якості різних моделей.

Прикладом міри може бути Похибка середнього середнього відсотка, але більше їх легко знайти.

Припустимо, ви використовуєте SetA з modelA для опису кількості дірок на дорозі, а ви використовуєте SetB і modelB для опису кількості людей у країні, то, звичайно, ви не можете сказати, що одна модель краща за іншу, але ви можете принаймні подивіться, яка модель дає більш точний опис.

— Денніс Джахеруддін
джерело

Є кілька нових робіт, які досліджують саме те, що ви шукаєте, я думаю; Nakagawa та Schielzeth (2013) представляють статистику R² для моделей зі змішаними ефектами під назвою "R2 GLMM", щоб визначити кількість незрозумілої дисперсії в моделі.

Умовно R²GLMM інтерпретується як дисперсія, що пояснюється як фіксованими, так і випадковими факторами;

Гранична R²GLMM являє собою дисперсію, пояснювану фіксованими факторами.

У 2014 році Джонсон оновив рівняння для обліку випадкових моделей нахилів.

На щастя, ви можете легко обчислити як граничний, так і умовний R²GLMM, використовуючи пакет "MuMIn" в R ( Barton, 2015 ).

— Нова
джерело