Коли неправильні лінійні моделі стають надійно красивими?

Запитання:

Чи неправильні лінійні моделі використовуються на практиці чи це якась цікавість, яка час від часу описується в наукових журналах? Якщо так, то в яких районах вони використовуються?
Чи є інші приклади таких моделей?
Нарешті, чи були б стандартні помилки, -значення, тощо, взяті з OLS для таких моделей, правильними, чи їх слід якось виправити? $p$ $R^2$

Передумови: У літературі періодично описуються неправильні лінійні моделі. Загалом такі моделі можна описати як

y = a + b \sum_{i} w_{i} x_{i} + ε

$y = a + b \sum_i w_i x_i + \varepsilon$

те, що їх відрізняє від регресії, полягає в тому, що не є коефіцієнтами, оціненими в моделі, а є вагами, які $w_j$

дорівнює для кожної змінної ( одинично зважена регресія ), $w_i = 1$
ґрунтуючись на кореляціях (Dana і Dawes, 2004), $w_i = \rho(y, x_i)$
обраний випадковим чином (Dawes, 1979),
$-1$ для змінних, негативно пов'язаних з , для змінних, позитивно пов'язаних з (Wainer, 1976). $y$ $1$ $y$

Також прийнято використовувати якесь масштабування функцій, наприклад перетворення змінних у -скореї. Отже, подібну модель можна спростити до одновимірної лінійної регресії $Z$

y = a + b v + ε

$y = a + b v + \varepsilon$

де , і його можна просто оцінити за допомогою регресії OLS. $v = \sum w_i x$

Список літератури:
Dawes, Robyn M. (1979). Надійна краса неправильних лінійних моделей у прийнятті рішень . Американський психолог, 34, 571-582.

Грейф, А. (2015). Поліпшення прогнозів з використанням рівномірних прогнозів . Журнал бізнес-досліджень, 68 (8), 1792-1799.

Вайнер, Говард (1976). Оцінка коефіцієнтів у лінійних моделях: це не робить ніколи не значення . Психологічний вісник 83 (2), 213.

Дана, Дж. Та Дауес, РМ (2004). Перевага простих альтернатив регресії для прогнозів суспільствознавства . Журнал статистики освіти та поведінки, 29 (3), 317-331.

— Тім
джерело

У якому сенсі статистика, отримана за цими моделями, була б "неправильною"?

— whuber

Коли s будуть попередньо визначені & , це лише скорочення даних, що проводиться на прогнозах - досить поширене в різних формах (див., Наприклад, шкалу Коми Глазго та коефіцієнт захворюваності Чарлсона) - що не вплине на обгрунтованість висновку у звичайній рамці OLS. Коли використовується для визначення s, стандартні помилки & c. вийде, в оптимістичному напрямку я б подумав.

w_{i}

$w_i$

b

$b$

y

$y$

w_{i}

$w_i$

— Scortchi

Це був не поінформований коментар - документи все ще знаходяться на моїй купі "для читання". Я просто замислився: - "чому" неналежний "?". Непередбачуваним для прогноктора є лінійна комбінація інших змінних - середнє значення декількох вимірювань, оцінка основної складової, прогноз від іншої регресії, рівень експоненціально згладженого часового ряду або обчислене значення з добре встановленого або спеціальний індекс. Не оцінюючи ваги за відгуком, не заважають ступеню свободи, що допомагає уникнути перевитрати з меншими розмірами вибірки.

— Scortchi

Наприклад, Beddhu (2000), "проста шкала коморбідності прогнозує клінічні результати та витрати у хворих на діаліз" Am. J. Med., 108 , 8 модельне рівняння має таку ж форму, як і ваша, де

x_{i}

$x_i$ s визначаються як показники змінної діабету, лімфоми, & c., & the

w_{i}

$w_i$ s заздалегідь вказані. Я думаю, що я говорю, що відмінність між "неправильними" та "належними" регресійними моделями, здається, спирається на поняття даного Богом набору

x_{i}

$x_i$ s, для кожної з яких "правильна" модель оцінювала б коефіцієнт.

— Scortchi

Коли

w_{i} = ρ (y, x_{i})

$w_i = \rho(y, x_i)$ , & якщо

ρ

$\rho$ Були оцінені з тих самих даних, до яких підходить модель, це був би зовсім інший чайник з рибою.

— Scortchi

Насправді, мені здається, це асортимент припущених структур коваріації. Іншими словами, це тип попереднього моделювання Баєса.

Це отримує надійність у порівнянні зі звичайною процедурою MLR, оскільки кількість параметрів ( $\downarrow$ df) зменшується і вводить неточність через посилене опущене змінне зміщення , OVB. Через ОВВ схил сплющений, $|\hat\beta|<|\beta|$ , коефіцієнт визначення знижується $\hat{R}^2<R^2$ .

Мій особистий досвід полягає в тому, що перевагою байєсівського підходу є використання кращого моделювання; перетворювати параметри, використовувати інші норми та / або використовувати нелінійні методи. Тобто, як тільки фізика проблеми та методи будуть належним чином вивчені та скоординовані, статистика F, коефіцієнт визначення тощо покращуються, а не погіршуються.

— Карл
джерело