Яка різниця між кондиціонуванням на регресорах проти трактування їх як фіксованих?

Іноді ми припускаємо, що регресори є фіксованими, тобто вони нестахастичні. Я думаю, що це означає, що всі наші прогноктори, оцінки параметрів і т. Д. Тоді безумовні, правда? Чи можу я навіть зайти так далеко, що вони більше не є випадковими змінними?

Якщо, з іншого боку, ми погоджуємось, що більшість регресорів в економіці кажуть, що вони стохастичні, оскільки жодна зовнішня сила не визначала їх, маючи на увазі експеримент. Тоді економетрики обумовлюють ці стохастичні регресори.

Чим це відрізняється від трактування їх як виправлених?

Я розумію, що таке кондиціонування. Математично це означає , що ми робимо все спостереження і логічний висновок обумовлює цей конкретний набору регресорів і не маємо жодних амбіцій , щоб сказати , що висновки, оцінки параметрів, оцінка дисперсії і т.д. б те ж саме , якщо б ми бачили іншу реалізацію наших регресорів (таке суть у часових рядах, де кожен часовий ряд зустрічається лише один раз).

Однак, щоб дійсно зрозуміти різницю між фіксованими регресорами та кондиціонуванням на стохастичних регресорах, мені цікаво, чи хтось тут знає приклад процедури оцінки або умовиводу, що є дійсним для, наприклад, фіксованих регресорів, але руйнується, коли вони стохастичні (і буде бути обумовленим).

Я з нетерпінням чекаю цих прикладів!

— Гірек
джерело

Чи знайомі ви з моделями помилок у змінних?

— robin.datadrivers

Гей, @ robin.datadrivers ні, я насправді не є.

— Гірек

Це моделі, спеціально розроблені для коригування оцінок похибки вимірювання в незалежних змінних. Не зовсім те саме, що стохастичні регресори, але вам може бути корисно поглянути. Крім того, дослідження опитування зазвичай передбачають, що незалежні змінні, зібрані за допомогою опитувань, мають помилку вибірки - напевно, існують моделі, які пояснюють помилку вибірки.

— robin.datadrivers

Ще одна думка, на яку я натрапив, - це використовувати байєські моделі. Байєсові моделі можуть розглядати регресори як випадкові, вказавши попередній розподіл для них. Як правило, якщо вони розглядаються як фіксовані, ви вказуєте попередній розподіл лише для параметрів (коефіцієнтів, засобів, відхилень), але коли у вас відсутні відсутні коеваріати або результати, ви вказуєте попередній розподіл для них. Я не знаю точно, як би я його реалізував без більшої думки, але, можливо, є спосіб вказати попередній розподіл для кожної незалежної змінної.

— robin.datadrivers

Ось я на тонкому льоду, але дозвольте спробувати: у мене є відчуття (будь ласка, прокоментуйте!), Що головна відмінність між статистикою та економетрикою полягає в тому, що в статистиці ми, як правило, вважаємо регресори фіксованими, отже, матриця проектування термінології, яка, очевидно, походить від проектування експериментів, де припущення полягає в тому, що ми спочатку обираємо, а потім фіксуємо пояснювальні змінні.

Але для більшості наборів даних, більшості ситуацій, це погана відповідність. Ми дійсно спостерігаємо пояснювальні змінні, і в цьому сенсі вони стоять на тій же основі, що і змінні відповіді, вони обидва визначаються деяким випадковим процесом, що знаходиться поза нашим контролем. Розглядаючи питання $x$ "Виправлено", ми вирішуємо не розглядати багато проблем, які можуть викликати це.

Розглядаючи регресори як стохастичні, з іншого боку, як це прагнуть економетри, ми відкриваємо можливість моделювання, яке намагається розглянути такі проблеми. Короткий перелік проблем, які ми могли б потім розглянути та включити до моделювання, це:

похибки вимірювання в регресорах
співвідношення між регресорами та термінами помилок
відстала реакція як регресора
...

Можливо, це слід робити набагато частіше, ніж це робиться сьогодні?

EDIT

Я спробую викласти аргумент на умову щодо регресорів дещо формальніше. Дозволяє $(Y,X)$ бути випадковим вектором, і інтерес викликає регресію $Y$ на $X$ , де регресія означає умовне очікування $Y$ на $X$ . За мультинормальними припущеннями це буде лінійна функція, але наші аргументи від цього не залежать. Починаємо з факторингу щільності суглоба звичайним способом

f (у, х) = f (у ∣ х) f (х)

$f(y,x) = f(y\mid x) f(x)$ але ці функції не відомі, тому ми використовуємо параметризовану модель

f (у, х; θ, ψ) = f_{θ} (у ∣ х) f_{ψ} (х)

$f(y,x; \theta, \psi)=f_\theta(y \mid x) f_\psi(x)$ де

θ

$\theta$ параметризує умовний розподіл і

ψ

$\psi$ граничний розподіл

X

$X$ . У звичайній лінійній моделі ми можемо мати

θ = (β, σ^{2})

$\theta=(\beta, \sigma^2)$ але це не передбачається. Повний простір параметрів

(θ, ψ)

$(\theta,\psi)$ є

Θ \times Ψ

$\Theta \times \Psi$ , декартовий продукт, і ці два параметри не мають спільного.

Це спочатку можна інтерпретувати як факторизацію статистичного експерименту (або процесу генерації даних, DGP) $X$ генерується відповідно до $f_\psi(x)$ , і як другий крок, $Y$ формується відповідно до умовної щільності $f_\theta(y \mid X=x)$ . Зауважте, що перший крок не використовує ніяких знань про $\theta$ , що входить лише на другому кроці. Статистика $X$ є допоміжним для $\theta$ , див. https://en.wikipedia.org/wiki/Ancillary_statistic .

Але, залежно від результатів першого кроку, другий крок може бути більш-менш інформативним $\theta$ . Якщо розподіл задано $f_\psi(x)$ мають дуже низьку дисперсію, скажімо, спостережувану $x$ Росія буде зосереджена в невеликому регіоні, тому це буде складніше оцінити $\theta$ . Отже, перша частина цього двоетапного експерименту визначає точність, з якою $\theta$ можна оцінити. Тому природним є стан $X=x$ у висновку про параметри регресії. Це аргумент обумовленості, і викладений вище текст чітко пояснює його припущення.

У розроблених експериментах його припущення здебільшого дотримуються, часто це стосується даних спостережень. Деякі приклади проблем будуть: регресія з відсталими відповідями в якості прогнозів. Умови щодо прогнозів у цьому випадку також обумовлюють відповідь! (Додам більше прикладів).

Одна з книг, в якій досить детально обговорюються ці проблеми, - це Інформаційні та експоненціальні сім'ї: У статистичній теорії О. Е. Барндорф-Нільсен. Див. Особливо розділ 4. Автор каже, що логіка розділення в цій ситуації рідко пояснюється, але дає такі посилання: Р. А. Фішер (1956) Статистичні методи та наукові висновки $\S 4.3$ і Свердруп (1966) Сучасний стан теорії рішень та теорії Неймана-Пірсона .

— kjetil b halvorsen
джерело