Як виявити, коли регресійна модель перестала відповідати?

Коли ви той, хто виконує роботу, усвідомлюючи, що ви робите, ви розвиваєте почуття, коли ви переоцінили модель. З одного боку, ви можете відстежувати тенденцію або погіршення в регульованій площі R моделі. Можна також відслідковувати подібне погіршення p-значень коефіцієнтів регресії основних змінних.

Але, коли ви просто читаєте, що хтось інший вивчає, і не маєте уявлення про власний процес розробки внутрішньої моделі, як можна чітко визначити, чи є модель надмірно придатною чи ні.

Перехресне підтвердження та регуляризація є досить поширеними методами для запобігання надмірної придатності. Для швидкого перегляду я рекомендую слайди підручника Ендрю Мура щодо використання перехресної перевірки ( дзеркала ) - зверніть особливу увагу на застереження. Для більш детальної інформації обов'язково прочитайте глави 3 та 7 EOSL , які добре висвітлюють тему та пов’язані з цим питання.

Коли я сам встановлюю модель, я, як правило, використовую інформаційні критерії під час процесу підгонки, такі як AIC або BIC , або, як варіант, тести коефіцієнта ймовірності ймовірності для моделей, що підходять на основі максимальної ймовірності або F-тесту для моделей, що підходять на основі найменших квадратів.

Всі вони концептуально схожі тим, що штрафують додаткові параметри. Вони встановлюють поріг "додаткової пояснювальної потужності" для кожного нового параметра, доданого до моделі. Всі вони є формою регуляризації .

Для інших моделей я переглядаю розділ методів, щоб побачити, чи використовуються такі прийоми, а також використовую правила, наприклад, кількість спостережень за параметром - якщо за параметром є приблизно 5 (або менше) спостережень, я починаю цікавитись.

Завжди пам’ятайте, що змінна потреба не повинна бути «значною» в моделі, щоб бути важливою. Я можу бути конфедером і повинен бути включений на цій основі, якщо ваша мета - оцінити ефект інших змінних.

Я б припустив, що це проблема із тим, як повідомляються результати. Не "бити в байєсівський барабан", але наближатись до невизначеності моделі з точки зору байесів, як проблема висновку, тут дуже допоможе. І це теж не повинно бути великою зміною. Якби звіт просто містив ймовірність того, що модель справжня, це було б дуже корисно. Цю кількість можна легко оцінити за допомогою BIC. Викличте BIC для m-ї моделі . Тоді ймовірність того, що mth модель є "справжньою" моделлю, враховуючи, що M- моделі підходили (і що одна з моделей істинна) задається:$BIC_{m}$$M$

$$P(\text{model m is true}|\text{one of the M models is true})\approx\frac{w_{m}\exp\left(-\frac{1}{2}BIC_{m}\right)}{\sum_{j=1}^{M}w_{j}\exp\left(-\frac{1}{2}BIC_{j}\right)}$$ $$=\frac{1}{1+\sum_{j\neq m}^{M}\frac{w_{j}}{w_{m}}\exp\left(-\frac{1}{2}(BIC_{j}-BIC_{m})\right)}$$

Where $w_{j}$ is proportional to the prior probability for the jth model. Note that this includes a "penalty" for trying to many models - and the penalty depends on how well the other models fit the data. Usually you will set $w_{j}=1$, however, you may have some "theoretical" models within your class that you would expect to be better prior to seeing any data.

Now if somebody else doesn't report all the BIC's from all the models, then I would attempt to infer the above quantity from what you have been given. Suppose you are given the BIC from the model - note that BIC is calculable from the mean square error of the regression model, so you can always get BIC for the reported model. Now if we take the basic premise that the final model was chosen from the smallest BIC then we have $BIC_{final}<BIC_{j}$. Now, suppose you were told that "forward" or "forward stepwise" model selection was used, starting from the intercept using $p$ potential variables. If the final model is of dimension $d$, then the procedure must have tried at least

$$M\geq 1+p+(p-1)+\dots+(p-d+1)=1+\frac{p(p-1)-(p-d)(p-d-1)}{2}$$

different models (exact for forward selection), If the backwards selection was used, then we know at least

$$M\geq 1+p+(p-1)+\dots+(d+1)=1+\frac{p(p-1)-d(d-1)}{2}$$

Models were tried (the +1 comes from the null model or the full model). Now we could try an be more specific, but these are "minimal" parameters which a standard model selection must satisfy. We could specify a probability model for the number of models tried $M$ and the sizes of the $BIC_{j}$ - but simply plugging in some values may be useful here anyway. For example suppose that all the BICs were $\lambda$ bigger than the one of the model chosen so that $BIC_{m}=BIC_{j}-\lambda$, then the probability becomes:

$$\frac{1}{1+(M-1)\exp\left(-\frac{\lambda}{2}\right)}$$

So what this means is that unless $\lambda$ is large or $M$ is small, the probability will be small also. From an "over-fitting" perspective, this would occur when the BIC for the bigger model is not much bigger than the BIC for the smaller model - a non-neglible term appears in the denominator. Plugging in the backward selection formula for $M$ we get:

$$\frac{1}{1+\frac{p(p-1)-d(d-1)}{2}\exp\left(-\frac{\lambda}{2}\right)}$$

Now suppose we invert the problem. say $p=50$ and the backward selection gave $d=20$ variables, what would $\lambda$ have to be to make the probability of the model greater than some value $P_{0}$? we have

$$\lambda > -2 log\left(\frac{2(1-P_{0})}{P_{0}[p(p-1)-d(d-1)]}\right)$$

Setting $P_{0}=0.9$ we get $\lambda > 18.28$ - so BIC of the winning model has to win by a lot for the model to be certain.