Відкидання випускників на основі "в 2,5 рази більше RMSE"

У Kahneman and Deaton (2010) автори пишуть наступне:$^\dagger$

Ця регресія пояснює 37% дисперсії із середньоквадратичною помилкою (RMSE) 0,67852. Для усунення збитків та неправдоподібних звітів про прибутки ми відхилили спостереження, в яких абсолютна величина різниці між доходами журналу та його прогнозом перевищила в 2,5 рази більше RMSE.

Це звичайна практика? Яка інтуїція стоїть за цим? Дещо дивним є визначення зовнішньої форми на основі моделі, яка може бути недостатньо точно визначеною. Чи не слід визначати людей, що випадають, базуватися на деяких теоретичних підставах того, що є правдоподібною цінністю, а не на тому, наскільки добре ваша модель прогнозує реальні значення?

$\dagger$ : Даніель Канеман, Ангус Дітон (2010): високий дохід покращує оцінку життя, але не емоційне самопочуття. _{^{Праці Національної академії наук вересень 2010, 107 (38) 16489-16493; DOI: 10.1073 / pnas.1011492107}}

Причина відмови від цих даних вказана саме там, у цитаті: а саме "для усунення людей, які втратили досвід та неправдоподібних звітів про прибутки". Те, що вони посилаються на обидва ці речі спільно, означає, що вони визнають, що принаймні деякі їхні люди не мають правдоподібних значень, і в будь-якому випадку вони не дають аргументів, чому значення з високим залишковим значенням слід вважати "неправдоподібними. "значення доходу. Роблячи це, вони ефективно видаляють точки даних, оскільки залишки вище, ніж очікується в їх регресійній моделі. Як я вже говорив в інших відповідях тут , це рівносильно вимагати, щоб реальність відповідала вашим припущенням моделі та ігнорувала частини реальності, які не відповідають цим припущенням.

Невже це звичайна практика чи ні, це жахлива практика. Це відбувається тому, що з навколишніми точками даних важко розібратися, і аналітик не бажає їх правильно моделювати (наприклад, використовуючи модель, яка дозволяє вищими куртозами в термінах помилок), тому вони просто видаляють частини реальності, які не відповідають їх здатності проводити статистичне моделювання. Ця практика є статистично небажаною, і вона призводить до висновків, які систематично недооцінюють дисперсію та куртоз у помилках. Автори цього документу повідомляють, що вони знищили 3,22% своїх даних через вилучення цих людей, що залишилися (стор. 16490). Оскільки більшість цих даних мали б дуже високі доходи, це ставить під сумнів їхню здатність робити надійні висновки про вплив високих доходів (що є метою їх роботи).