Статистичні умовиводи при неправильній специфікації моделі

У мене є загальне методологічне запитання. На це можна було відповісти і раніше, але я не в змозі знайти відповідну тему. Я буду вдячний вказівниками на можливі дублікати.

( Ось чудовий, але без відповіді. Це також схоже за духом, навіть з відповіддю, але остання занадто специфічна з моєї точки зору. Це також близько, виявлено після публікації запитання.)

Тема полягає в тому, як зробити дійсні статистичні умовиводи, коли модель, сформульована перед переглядом даних, не в змозі адекватно описати процес генерації даних . Питання дуже загальне, але я запропоную конкретний приклад, щоб проілюструвати суть. Однак я очікую, що відповіді зосереджуватимуться на загальному методологічному питанні, а не придумувати деталі конкретного прикладу.

Розглянемо конкретний приклад: у налаштуваннях часових рядів я вважаю, що процес генерування даних є таким

Як я можу зробити достовірний статистичний висновок щодо своєї гіпотези з предметної теми $\frac{dy}{dx}=1$?

• Якщо я використовую оригінальну модель, її припущення порушуються і оцінювач $\beta_1$не має приємного розповсюдження, яке інакше було б. Тому я не можу перевірити гіпотезу, використовуючи$t$-тест.

• Якщо, побачивши дані, я переходжу від моделі $(1)$ до $(2)$ і змінити мою статистичну гіпотезу $H_0\colon \ \beta_1=1$ до $H'_0\colon \ \gamma_1=1$, модельні припущення задоволені, і я отримав добре оцінений оцінювач $\gamma_1$ і може протестувати $H'_0$ без особливих труднощів використовувати $t$-тест.
  Однак перехід від$(1)$ до $(2)$повідомляється набором даних, на яких я хочу перевірити гіпотезу. Це обумовлює розподіл оцінювача (а отже, і висновок) залежно від зміни базової моделі, що пояснюється спостережуваними даними. Зрозуміло, що введення такого кондиціонування не є задовільним.

Чи є хороший вихід? (Якщо не частоліст, то, можливо, якась байєська альтернатива?)

Вихід - це буквально не зразковий тест, справжній. Не той, де ви розділили вибірку на тренування і протримаєтесь, як у перекваліфікації, а справжній прогноз. Це дуже добре працює в природничих науках. Насправді це єдиний спосіб роботи. Ви будуєте теорію на деяких даних, тоді, як ви очікуєте, придумаєте щось, що ще не спостерігалося. Очевидно, що це не працює в більшості соціальних (так званих) наук, таких як економіка.

У галузі це працює, як і в науках. Наприклад, якщо алгоритм торгівлі не працює, з часом ви втратите гроші, а потім відмовитеся від них. Перехресні набори даних та навчальні набори широко використовуються при розробці та прийнятті рішення про розгортання алгоритму, але після того, як він буде у виробництві, все залежить від заробітку або втрати. Дуже простий тестовий зразок.

Ви можете визначити "комбіновану процедуру" та дослідити її характеристики. Скажімо, ви починаєте з простої моделі і дозволяєте встановити одну, дві або три більш складні (або непараметричні) моделі, якщо проста модель не підходить. Вам потрібно вказати формальне правило, згідно з яким ви вирішите не підходити до простої моделі, а до однієї з інших (і до якої). Вам також потрібно провести тести, щоб ваша гіпотеза, що цікавить, застосовувалась у всіх задіяних моделях (параметричних або непараметричних).

За допомогою такої установки ви зможете змоделювати характеристики, тобто з яким відсотком ваша нульова гіпотеза остаточно відхиляється у випадку, якщо вона правдива, та у випадку кількох відхилень, що цікавлять. Також ви можете імітувати з усіх моделей, що беруть участь, та дивитись на такі речі, як умовний рівень та умовна потужність, враховуючи, що дані надходили з моделі X, Y або Z, або з огляду на те, що процедура тестування неправильної специфікації обрана модель X, Y або Z.

Ви можете виявити, що вибір моделі не приносить великої шкоди в тому сенсі, що досягнутий рівень все ще дуже близький до рівня, на якому ви були після, і потужність в порядку, якщо не чудова. Або ви можете виявити, що вибір моделі, що залежить від даних, дійсно накручує речі; це залежатиме від деталей (якщо ваша процедура вибору моделі дуже надійна, шанси рівні і на потужність впливати не буде дуже сильно).

Тепер це не зовсім те саме, що вказати одну модель, а потім переглянути дані та вирішити "о, мені потрібна інша", але це, мабуть, так близько, як ви можете підійти до дослідження, які були б характеристики такого підходу. Це не банально, тому що вам потрібно зробити ряд варіантів, щоб досягти цього.

Загальне зауваження: Я вважаю, що класифікувати застосовану статистичну методологію двозначно на "дійсну" та "недійсну" вводиться в оману. Ніщо ніколи не діє 100%, оскільки припущення щодо моделей ніколи точно не відповідають практиці. З іншого боку, хоча ви можете знайти вагомі (!) Причини для того, щоб назвати щось "недійсне", якщо глибоко дослідити характеристики нібито недійсного підходу, можна виявити, що він все ще працює досить добре.