Чи є високо цитовані документи зі статистикою, які насправді поширюють погану статистичну практику?

Очевидно, що існує багато способів зловживати статистичними методами. Чи знаєте ви будь-які приклади поганої статистичної практики, які вперше були опубліковані як явні поради (наприклад, "ви повинні використовувати цей метод для ...") у авторитетних академічних журналах, які потім неодноразово цитувалися?

Прикладом можуть бути 10 подій на правило передбачення, які часто використовуються для логістичних або регресійних моделей Кокса PH ( LINK ).

Щоб було зрозуміло, я не маю на увазі високо цитовані документи, які траплялися з використанням поганих методів статистики - це, на жаль, банально.

Р. А. Фішер, "Упорядкування польових експериментів". Журнал Міністерства сільського господарства Великобританії. 33: 503–513. 1926 рік.

$\alpha = 0.05$

... зручно провести межу приблизно на тому рівні, на якому ми можемо сказати: "Або в лікуванні є щось, або відбувся збіг, такий, що не відбувається частіше одного разу в двадцяти випробуваннях".

... Якщо кожен двадцять не здасться достатньо високим шанси, ми можемо, якщо вважатимемо за краще, провести лінію на п’ятдесят (2-відсотковий бал) або один на сотню (1 відсотковий бал). Особисто письменник вважає за краще встановити низький рівень значущості на рівні 5 відсотків і повністю ігнорувати всі результати, які не зможуть досягти цього рівня. Науковий факт слід вважати експериментально встановленим лише у тому випадку, якщо правильно розроблений експеримент рідко не вдається надати цьому рівню значущості.

В економетриці ви, звичайно, можете знайти якийсь приклад поширених методів відомими (і висококваліфікованими) економетриками, опублікованими в гідних журналах. Мені не відомий теоретичний документ, але Лалонде (1986) досить відомий тим, що вказує, що використовувані в даний час методи не так добре: він порівнює для тих же експериментальних методів набір даних із спостережними та знаходить великі відмінності в області (причинного) лікування оцінка . Існує велика література, яка поширювала ці неекспериментальні методи, які використовувались тоді і які часто використовуються і сьогодні.

Згодом відбулася (і, на мою думку, все ще є) дискусія щодо того, чи можливе вирішення відповідності балів щодо схильності (див. Приклад тут ).

Крім того, існує багато суперечок щодо оцінки інструментальної змінної . Висновки високо цитованих оригінальних робіт оспорюються. Це, мабуть, найближчий приклад до вашого питання. Bound та Jaeger (1996 та наступні документи) сумнівались у висновках відомої роботи від Angrist and Krueger (1991; 2700 цитат згідно Google Scholar), яка в основному встановила метод інструментальної змінної в літературі прикладної економетрики.

Існує також велика дискусія щодо відповідності так званих оцінок зменшеної форми для встановлення причинності, див., Наприклад, Imbens (2010) .

Ще одна велика тема - це звичайно про стандартну помилку. Можливо, можна знайти добре відомий папір, що поширює р-значення. У економетрики, стандартна помилка для більш довгих часових рядів часто прорахувалися (в конструкції різниці-в-різниці ) з - за неправильні існуючі методи, см тут . Однак мені не відомий оригінальний високо цитований документ, що пропонує ці методи в цьому контексті, але я впевнений, що ви знайдете приклади в цій галузі.

Джерела:

Ангріст, Джошуа Д. та Алан Б. Кеугер. "Чи впливає обов'язкове відвідування школи на навчання в школі та на заробітки?" Щоквартальний економічний журнал 106, вип. 4 (1991): 979-1014.

Бертран, Маріанна, Естер Дуфло та Сендхіл Муллайнатан. "Скільки нам слід довіряти оцінкам відмінностей у різницях?" Щоквартальний економічний журнал 119, вип. 1 (2004): 249-275.

Пов’язаний, Джон та Девід А. Йегер. Про термін дії сезону народження як інструменту рівнянь заробітної плати: коментар до анґріста та Крюгера "Чи впливає обов'язкове відвідування школи на Scho. № w5835. Національне бюро економічних досліджень, 1996.

Dehejia, Радєєв. "Зміна рівня практичної схильності: відповідь Сміту і Тодду." Журнал економетрики 125, вип. 1-2 (2005): 355-364.

Імбенс, Гвідо В. "Краще пізно, ніж нічого: Деякі коментарі щодо Дітона (2009) та Гекмана та Урзуа (2009)". Журнал економічної літератури 48, вип. 2 (2010): 399–423.

LaLonde, Robert J. "Оцінка економетричних оцінок навчальних програм за допомогою експериментальних даних". Американський економічний огляд (1986): 604-620. *

Я спробую (хоча і не так сильно):

Дуже корисний [Cameron, AC, & Miller, DL (2015). Посібник практикуючих щодо надійного кластерного висновку. Journal of Human Resources, 50 (2), 317-372.] // вже 1900 цитат вченого Google // дає поради щодо відповідного рівня кластеризації стандартних помилок:

"Консенсус повинен бути консервативним та уникати упередженості та використовувати більші та більш агреговані кластери, коли це можливо, аж до точки, в якій існує стурбованість щодо надто мало кластерів".

Однак [Abadie, A., Athey, S., Imbens, GW, & Wooldridge, J. (2017). Коли слід відрегулювати стандартні помилки для кластеризації? (№ w24003). Національне бюро економічних досліджень.] Показує, що "насправді шкода кластеризації на занадто сукупному рівні". Перегляньте сторінку 1 пізніше: https://economics.mit.edu/files/13927

Можливо, ви також могли б зробити більш жорсткий випадок, починаючи з двох помилкових уявлень, наголошених Abadie et al (2017).