Приховування регресійної моделі від професора (регресійний броненосець) [закрито]

Я працюю над домашнім завданням, де мій професор хотів би, щоб ми створили справжню регресійну модель, імітували вибірку даних, і він намагатиметься знайти нашу справжню регресійну модель, використовуючи деякі методи, які ми вивчили на уроці. Ми також повинні будемо робити те ж саме з набором даних, який він нам надав.

Він каже, що йому вдалося створити досить точну модель для всіх минулих спроб спробувати його і обдурити. Були студенти, які створювали якусь божевільну модель, але він, певно, зміг створити простішу модель, яка була б достатньою.

Як я можу розробити складну модель для нього? Я не хочу бути супердешевим, виконуючи 4 квадратичні терміни, 3 спостереження та масивну дисперсію? Як я можу створити начебто нешкідливий набір даних, який має під собою жорстку маленьку модель?

Він просто має 3 правила, яких слід дотримуватися:

1. У вашому наборі даних повинна бути одна змінна "Y" та 20 змінних "X", позначені як "Y", "X1", ..., "X20".

2. Ваша змінна відповідь повинна виходити з лінійної моделі регресії, яка задовольняє: Y ′ i = β 0 + β 1 X ′ i 1 + … + β p - 1 X ′ i , p - 1 + ϵ i де ϵ i ∼ N ( 0 , σ 2 ) і p ≤ 21 .$Y$
   

   $$Y_i^\prime = \beta_0 + \beta_1 X_{i1}^\prime + \ldots + \beta_{p-1}X_{i,p-1}^\prime + \epsilon_i$$ $\epsilon_i \sim N(0,\sigma^2)$$p \leq 21$

3. Усі змінні, які були використані для створення Y , містяться у вашому наборі даних.$X$$Y$

Слід зазначити, що не всі 20 змінних X повинні бути у вашій реальній моделі

Я думав використати щось на кшталт Fama-French 3-факторної моделі і змусити його почати з даних про запаси (SPX та AAPL) і мусив перетворити ці змінні на безперервно складені прибутки, щоб трохи зменшити це. Але це залишає мене з відсутніми значеннями в першому спостереженні, і це часовий ряд (про який ми ще не обговорювали в класі).

Переконайтесь, що це правильне місце для публікації чогось подібного. Я відчував, що це може породити добру дискусію.

Редагувати: Я також не прошу зокрема "заздалегідь побудованих" моделей. Мені цікавіше тематика / інструменти в статистиці, які б дали можливість комусь займатися цим.

$y_i=X_{i1}+\epsilon_i$$X_{ij}=\sin(i+j)$$i=1..1000$$\sigma=1000000$

Удачі визначити фазу з цим співвідношенням шум / сигнал.

$Y$$\epsilon_i\sim N(0,1)$

$Y$$X_1$$X_1$$Y$$X_1$$X_2$

$X_1$$X_2$$X_1$$X_2$ $Y$

$E[Y|X_1]$$E[Y|X_2]$$E[Y|X_1, X_2]$ $E[Y|X_1]$$Y$$Y$ тощо. Ви можете заперечити, що це було не те, що він сказав, оскільки він заявляє:

змінна Y повинна виходити з лінійної моделі регресії, яка задовольняє (...) змінним, які були використані для створення Y (...) вашої реальної моделі (...)

І ви могли б викликати хорошу дискусію в класі про причинність, що означає справжній DGP та ідентифікація взагалі.

Використовуйте змінні з мультиколінеарністю та гетероседастичністю, як дохід у порівнянні з віком: зробіть іншу хворобливу інженерну функцію, яка забезпечує проблеми з масштабуванням: дайте НС для деяких, що посипаються в бідності. Частина лінійності дійсно робить її більш складною, але це може бути болючим. Крім того, люди, що пережили люди, збільшили б проблему для нього вперед.

$X_5X_8X_{12}X_{13}$

Виберіть будь-яку лінійну модель. Надайте йому набір даних, де більшість зразків приблизно x = 0. Дайте йому кілька зразків приблизно x = 1 000 000.

Приємно, що зразки навколо х = 1 000 000 не є пересічними. Вони генеруються з одного джерела. Однак оскільки шкали настільки різні, помилки навколо 1М не підходять до помилок близько 0.

У нас є набір даних з n вибірок, поблизу x = 0. Ми виберемо ще 2 бали у «досить далеко» значеннях. Ми припускаємо, що ці дві точки мають деяку помилку.

Значення "досить далеко" - це таке значення, що помилка для оцінки, яку не проходить безпосередньо в цих двох точках, значно більша, ніж помилка решти набору даних.

Отже, лінійна регресія вибере коефіцієнти, які пройдуть у цих двох точках і пропустять решту набору даних та будуть відрізнятися від підкресленої моделі.

Дивіться наступний приклад. {{1, 782}, {2, 3099}, {3, 110}, {4, 1266}, {5, 1381}, {1000000, 1002169}, {1000001, 999688}}

Це у форматі серії WolfarmAlpha. У кожній парі перший елемент є x, а другий генерується в Excel за формулою = A2 + NORMINV (RAND (), 0,2000).

$\beta_0=1, \beta_1=1$

$y= 178433. x - 426805$$y=x$