Посилання, що містять аргументи проти тестування значущості гіпотез?


63

В останні кілька років я прочитав низку робіт, що заперечували проти використання тестування значимості нульової гіпотези в науці, але не думав вести постійний список. Нещодавно колега попросив мене щодо такого списку, тому я подумав, що я попрошу всіх тут допомогти створити його. Щоб почати все, ось що у мене поки що:


4
Це не на 100% актуально, тому я не публікую це як відповідь. Але, JPA Ioannidis, чому більшість опублікованих досліджень є помилковими , PLoS Med 2 (8): e124, 2005. Варто прочитати.
кардинал

1
Відома книга серед економістів - Зіляк, Стівен Т. та Дейдре Нансен Маклоскі. Культ статистичної значущості: як стандартна помилка коштує нам роботи, справедливості та життя. University of Michigan Press, 2008.
Вальдемар

1
Яка мета тут?
Аксакал

У березні 2016 року ASA випустила офіційну "Звіт про p-цінності" .
Kenny LJ

1
На цій сторінці представлено багато посилань (включаючи коментарі): lesswrong.com/lw/g13/against_nhst . Більше посилань у відповіді Glen_b тут: stats.stackexchange.com/questions/142533 .
Амеба каже, що поверніть Моніку

Відповіді:


42

Кріс Фрейлі викладав цілий курс з історії дебатів (начебто посилання розірвано, хоча воно ще є на його офіційному сайті; ось копія в Інтернет-архіві ). Його резюме / висновок тут (знову ж таки, архівна копія ). За даними на домашній сторінці Фрейлі, останній раз він викладав цей курс у 2003 році.

Він передумовлює цей список із "упередженням інструктора":

Хоча моя мета - сприяти жвавій, глибокій та чесній дискусії з питань, що перебувають у цій справі, я вважаю, що необхідно з самого початку зробити явні упередження. Пол Мейл одного разу заявив, що "сер Рональд [Фішер] нас заблудив, зачарував і провів нас по шляху первоцвіту. Я вважаю, що майже універсальна залежність від просто спростування нульової гіпотези як стандартного методу підтвердження змістовних теорій у софт області - це жахлива помилка, в основному невірна, погана наукова стратегія та одна з найгірших речей, що коли-небудь траплялися в історії психології ". Я перегукуюся з почуттями Мела. Одна з моїх цілей цього семінару - дати зрозуміти, чому я вважаю, що це так. Крім того, я очікую від вас, коли ви закінчите цей семінар,

Я скопію в список читання, якщо сторінка курсу коли-небудь зникне:

Тиждень 1. Вступ: Що таке тест значущості гіпотези? Факти, міфи та стан нашої науки

  • Лікен, DL (1991). Що не так з психологією? У D. Cicchetti & WM Grove (ред.), Чітко замислюючись про психологію, т. 1: Питання суспільних інтересів, Нариси на честь Пола Е.Меля (с. 3 - 39). Міннеаполіс, MN: Університет штату Міннесота.

Тиждень 2. Рання критика NHST

  • Meehl, PE (1967). Теорія-тестування з психології та фізики: методологічний парадокс. Філософія науки, 34, 103-115.

  • Meehl, PE (1978). Теоретичні ризики та табличні зірочки: сер Карл, сер Рональд та повільний прогрес м'якої психології. Журнал консалтингової та клінічної психології, 46, 806-834.

  • Rozeboom, WW (1960). Помилковість тесту на значимість гіпотези. Психологічний вісник, 57, 416-428.

  • Бакан, Д. (1966). Тест на значимість у психологічних дослідженнях. Психологічний вісник, 66, 423-437. [необов’язково]

Тиждень 3. Сучасна критика NHST

  • Коен, Дж. (1994). Земля кругла (р <.05). Американський психолог, 49, 997-1003.

  • Гігеренцер, Г. (1993). Суперего, его та ідентифікатор в статистичних міркуваннях. У G. Keren & C. Lewis (ред.) Посібник з аналізу даних у науках про поведінку: методологічні питання (с. 311-339). Хіллсдейл, Нью-Джерсі: Партнери Лоуренса Ерльбаума.

  • Schmidt, FL & Hunter, JE (1997). Вісім поширених, але помилкових заперечень щодо припинення тестування значимості при аналізі даних досліджень. У Лізі А. Харлоу, Стенлі А. Мулайка та Джеймса Х. Штайгера (ред.) Що робити, якщо не було тестів на значущість? (с. 37–64). Mahwah, NJ: Лоуренс Ерльбаум Associates.

  • Оукс, М. (1986). Статистичний висновок: коментар до соціальних та поведінкових наук. Нью-Йорк: Вілі. (Глава 2 [Критика випробувань значущості]) [необов'язково]

Тиждень 4. Спростування: прихильники NHST приходять на його захист

  • Фрік, RW (1996). Доцільне використання тестування гіпотез нуля. Психологічні методи, 1, 379-390.

  • Хаген, Р.Л. (1997). Похваливши нульову гіпотезу статистичним тестом. Американський психолог, 52, 15-24.

  • Вілкінсон, Л., та робоча група зі статистичного висновку. (1999). Статистичні методи в журналах психології: Настанови та пояснення. Американський психолог, 54, 594-604.

  • Вайнер, Х. (1999). Один привіт за тестування значущості гіпотез. Психологічні методи, 6, 212-213.

  • Мулайк, С.А., Раджу, штат Нью-Йорк, і Харшман, штат Каліфорнія (1997). Є час і місце для перевірки значущості. У роботі Лізи А. Харлоу, Стенлі А. Мулайка та Джеймса Х. Штайгера, ред. Що робити, якщо не було тестів на значимість? (с. 65-116). Mahwah, NJ: Лоуренс Ерльбаум Associates. [необов’язково]

Тиждень 5. Спростування: прихильники NHST приходять на його захист

  • Абелсон, Р.П. (1997). Про дивовижну довголіття відрізаних коней: Чому є випадок для перевірки значущості. Психологічна наука, 8, 12-15.

  • Крюгер, Дж. (2001). Тестування значущості гіпотези: Про виживання хибного методу. Американський психолог, 56, 16-26.

  • Scarr, S. (1997). Правила доказування: більший контекст для статистичних дебатів. Психологічна наука, 8, 16-17.

  • Грінвальд, AG, Gonzalez, R., Harris, RJ, & Guthrie, D. (1996). Розміри ефектів та значення p: Що слід повідомити, а що слід повторити? Психофізіологія, 33, 175-183.

  • Ніккерсон, RS (2000). Тестування значущості гіпотез: Огляд старої та тривалої суперечки. Психологічні методи, 5, 241-301. [необов’язково]

  • Harris, RJ (1997). Тести значущості мають своє місце. Психологічна наука, 8, 8-11. [необов’язково]

Тиждень 6. Розмір ефекту

  • Розенталь, Р. (1984). Метааналітичні процедури соціальних досліджень. Беверлі-Хіллз, Каліфорнія: Мудрець. [Гл. 2, Визначення результатів досліджень]

  • Чоу, С.Л. (1988). Тест значущості чи розмір ефекту? Психологічний вісник, 103, 105-110.

  • Абелсон, Р.П. (1985). Парадокс пояснення дисперсії: Коли мало - це багато. Психологічний вісник, 97, 129-133. [необов’язково]

Тиждень 7. Статистична потужність

  • Hallahan, M., & Rosenthal, R. (1996). Статистична потужність: поняття, процедури та програми. Дослідження поведінки та терапія, 34, 489-499.

  • Sedlmeier, P., & Gigerenzer, G. (1989). Чи впливають дослідження статистичної потужності на силу досліджень? Психологічний вісник, 105, 309-316.

  • Коен, Дж. (1962). Статистична сила аномально-соціальних психологічних досліджень: огляд. Журнал ненормальної та соціальної психології, 65, 145-153. [необов’язково]

  • Меддок, Дж. Е., Россі, Дж. Е. (2001). Статистична потужність статей, опублікованих у трьох журналах, пов'язаних зі здоров’ям та психологією. Психологія здоров’я, 20, 76-78. [необов’язково]

  • Thomas, L. & Juanes, F. (1996). Важливість статистичного аналізу потужності: приклад поведінки тварин. Поведінка тварин, 52, 856-859. [необов’язково]

  • Россі, JS (1990). Статистична сила психологічних досліджень: Що ми здобули за 20 років? Журнал консалтингової та клінічної психології, 58, 646-656. [необов’язково]

  • Тукі, JW (1969). Аналіз даних: освячення чи детективна робота? Американський психолог, 24, 83-91. [необов’язково]

Тиждень 8. Інтервали конфіденційності та перевірка значущості

  • Гарднер, штат Міссурі, та Д.Г. Альтман. 1986. Інтервали довіри, а не значення P: Оцінка, а не тестування гіпотез. Британський медичний журнал, 292, 746-750.

  • Куммінг, Г., І Фінч, С. (2001). Буквар на розумінні, використанні та обчисленні довірчих інтервалів, що ґрунтуються на центральних та нецентральних розподілах. Навчально-психологічний вимір, 61, 532-574.

  • Loftus, GR, & Masson, MEJ (1994). Використання довірчих інтервалів у внутрішніх темах. Психономічний вісник та огляд, 1, 476-490.

9 тиждень [примітка: ми пропускаємо цей розділ]. Теоретичне моделювання: Розробка формальних моделей природних явищ

  • Haefner, JW (1996). Моделювання біологічних систем: Принципи та застосування. Нью-Йорк: Міжнародне видавництво Thomson. (Глави 1 [Моделі систем] та 2 [Процес моделювання])

  • Loehlin, JC (1992). Латентні змінні моделі: вступ до фактору, шляху та структурного аналізу. Хіллсдейл, Нью-Джерсі: Партнери Лоуренса Ерльбаума. (Розділ 1 [Шляхові моделі у факторному, траєкторійному та структурному аналізі], стор. 1-18]

  • Грант, DA (1962). Тестування нульової гіпотези та стратегії дослідження теоретичних моделей. Психологічний огляд, 69, 54-61. [необов’язково]

  • Біндер, А. (1963). Подальші міркування щодо тестування нульової гіпотези та стратегії та тактики дослідження теоретичних моделей. Психологічний огляд, 70, 107-115. [необов’язково]

  • Edwards, W. (1965). Тактична записка про взаємозв'язок наукової та статистичної гіпотез. Психологічний вісник, 63, 400-402. [необов’язково]

Тиждень 10. Що означає ймовірність? Суперечка щодо відносної частоти та суб'єктивної ймовірності

  • Зальсбург, Д. (2001). Дама дегустувала чай: як статистика революціонізувала науку у ХХ столітті. Нью-Йорк: WH Freeman. (Глави 10, 11 та 12)

  • Оукс, М. (1986). Статистичний висновок: коментар до соціальних та поведінкових наук. Нью-Йорк: Вілі. (Глави 4, 5 і 6)

  • Прузек, РМ (1997). Вступ до байєсівського висновку та його застосувань. У роботі Лізи А. Харлоу, Стенлі А. Мулайка та Джеймса Х. Штайгера, ред. Що робити, якщо не було тестів на значимість? (с. 287–318). Mahwah, NJ: Лоуренс Ерльбаум Associates.

  • Rindskoph, DM (1997). Тестування гіпотези "малого", не нульового: Класичний та баєсовський підходи. У Лізі А. Харлоу, Стенлі А. Мулайка та Джеймса Х. Штайгера (Едс). Що робити, якщо не було тестів на значимість? (с. 319-332). Mahwah, NJ: Лоуренс Ерльбаум Associates.

  • Edwards, W., Lindman, H., Savage, LJ (1963). Байєсівський статистичний висновок для психологічних досліджень. Психологічний огляд, 70, 193-242. [необов’язково]

Тиждень 11. Оцінка теорії: Філософія науки та тестування та внесення змін до теорій

  • Meehl, PE (1990). Оцінювання та внесення змін до теорій: Стратегія оборони Лакатосія та два принципи, які цього вимагають. Психологічний розслідування, 1, 108-141.

  • Робертс, С. і Пашлер, Х. (2000). Наскільки переконливо підходить? Коментар до теоретичного тестування. Психологічний огляд, 107, 358-367.

12. тиждень Оцінка теорії: Філософія науки та тестування та внесення змін до теорій

  • Урбах, П. (1974). Прогрес і виродження в "дискусії про IQ" (I). Британський журнал філософії науки, 25, 99-125.

  • Serlin, RC & Lapsley, DK (1985). Раціональність в психологічних дослідженнях: принцип достатнього блага. Американський психолог, 40, 73-83.

  • Дар, Р. (1987). Ще один погляд на Мела, Лакатоса та наукову практику психологів. Американський психолог, 42, 145-151.

  • Голсон, Б. та Баркер, П. (1985). Kuhn, Lakatos & Laudan: Застосування з історії фізики та психології. Американський психолог, 40, 755-769. [необов’язково]

  • Faust, D., & Meehl, PE (1992). Використання наукових методів для вирішення питань з історії та філософії науки: Деякі ілюстрації. Терапія поведінки, 23, 195-211. [необов’язково]

  • Урбах, П. (1974). Прогрес і виродження в "дискусії про IQ" (II). Британський журнал філософії науки, 25, 235-259. [необов’язково]

  • Лосось, WC (1973, травень). Підтвердження. Науковий американський, 228, 75-83. [необов’язково]

  • Meehl, PE (1993). Філософія науки: допомога чи перешкода? Психологічні доповіді, 72, 707-733. [необов’язково] Маніка. PT, & Secord, PF (1983). Наслідки для психології нової філософії науки. Американський психолог, 38, 399-413. [необов’язково]

Тиждень 13. Чи підірвала традиція NHST непідвладну базу знань з психології?

  • Cooper, H., DeNeve, K., & Charlton, K. (1997). Виявлення зниклої науки: Доля досліджень, представлених на огляд комітетом з питань людських предметів. Психологічні методи, 2, 447-452.

  • Шмідт, Флорида (1996). Тестування статистичної значущості та накопичувальні знання з психології: наслідки для підготовки дослідників. Психологічні методи, 1, 115-129.

  • Грінвальд, AG (1975). Наслідки забобонів проти нульової гіпотези. Психологічний вісник, 82, 1-20.

  • Berger, JO & Berry, DA (1988). Статистичний аналіз та ілюзія об’єктивності. Американський вчений, 76, 159-165.

Тиждень 14. Реплікація та наукова цілісність

  • Сміт, штат Північна Кароліна (1970). Реплікаційні дослідження: занедбаний аспект психологічного дослідження. Американський психолог, 25, 970-975.

  • Sohn, D. (1998). Статистична значущість та повторюваність: Чому перший не передбачає другого. Теорія та психологія, 8, 291-311.

  • Meehl, PE (1990). Чому підсумки досліджень психологічних теорій часто не можна зрозуміти. Психологічні доповіді, 66, 195-244.

  • Платт, Дж. Дж. (1964). Сильний висновок. Науки, 146, 347-353.

  • Фейнман, Р.Л. (1997). Звичайно, ви жартуєте, містере Фейнман! Нью-Йорк: WW Norton. (Розділ: Вантажно-культова наука).

  • Rorer, LG (1991). Деякі міфи науки з психології. У D. Cicchetti & WM Grove (ред.), Чітко розмірковуючи про психологію, т. 1: Питання суспільних інтересів, Нариси на честь Пола Е.Меля (с. 61 - 87). Міннеаполіс, MN: Університет штату Міннесота. [необов’язково]

  • Lindsay, RM & Ehrenberg, ASC (1993). Дизайн повторних досліджень. Американський статистик, 47, 217-228. [необов’язково]

Тиждень 15. Кількісне мислення: навіщо нам потрібна математика (а не NHST як така) в психологічній науці

  • Aiken, LS, West, SG, Sechrest, L., & Reno, RR (1990). Дипломна підготовка зі статистики, методології та вимірювання з психології: опитування доктора філософії. програми в Північній Америці. Американський психолог, 45, 721-734.

  • Meehl, PE (1998, травень). Сила кількісного мислення. Запрошено адресу як отримувача премії Джеймса МакКін-Каттелла на щорічному засіданні Американського психологічного товариства, Вашингтон, округ Колумбія.


5
+1. Цікаво - і досить показово - що читання починаються і закінчуються Мелом.
whuber

2
Ви зробили справжню послугу в обміні цим.
rolando2

2
Здається, посилання на курс та резюме порушені. Інформацію можна знайти через проект Archive: web.archive.org/web/20151023151618/http://www.uic.edu/classes/…
AG


Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.