Чи найбільш опубліковані кореляції в соціальних науках недостовірні і що з цим робити? [зачинено]

Незважаючи на важливі, але чутливі зусилля людей, спрямовані на "гетьчі", щоб розкрити практику роботи з хижацькими журналами , все більше і більш фундаментальна загроза опиняється в тіні суспільствознавчих досліджень ( хоча, безумовно, існує багато проблем, з якими дослідникам потрібно вирішити ). Для досягнення прямої точки, відповідно до одного погляду, ми можемо не довіряти коефіцієнтам кореляції, отриманим у зразках менше 250 .

Можна було б важко знайти тест, на який можна більше визначити наявність, спрямованість та міцність зв'язку між заходами соціальних наук, ніж коефіцієнт довіреної кореляції. Однак не важко буде знайти рецензовані звіти, які заявляють про сильні претензії щодо співвідношення двох конструкцій на основі коефіцієнтів кореляції, обчислених за даними менше 250 випадків.

З огляду на поточну кризу реплікації, яка стоїть перед соціальними науками (див. Друге посилання вище), як ми повинні розглядати цей звіт щодо стабілізації коефіцієнтів кореляції лише у великих вибірках (принаймні, за деякими стандартами соціальних наук)? Це ще одна тріщина у стіні рецензованих суспільствознавчих досліджень, чи це порівняно тривіальна справа, яка перекрита у своїй презентації?

Оскільки, мабуть, немає жодної правильної відповіді на це питання, я сподіваюсь, що він створить нитку, де ресурси щодо цього питання можна ділитися, продумано розглядати та обговорювати (ввічливо та з повагою, звичайно).

Додавання довірчих інтервалів для оцінених справжніх коефіцієнтів кореляції було б невеликим (і дуже простим) першим кроком у правильному напрямку. Його ширина негайно створює враження про точність співвідношення зразків і, в той же час, дозволяє письменнику, а також аудиторії перевірити корисні гіпотези. Що мене спантеличувало завжди, розмовляючи зі статистиками з суспільствознавства, що абсолютний вибірковий коефіцієнт кореляції вище (або якась інша межа) вважався значимим. Одночасно вони перевіряли робочу гіпотезу$\rho$$L = 0.3$$\rho \ne 0$. Це незрозуміло. Чому дуже незначний коефіцієнт кореляції чисельності населення раптом вважатиметься значущим? "Правильною" робочою гіпотезою було б . Маючи під рукою інтервал довіри для , такі гіпотези можна легко перевірити: просто перевірте, чи інтервал розташований повністю вище (або нижче ), і ви знаєте, чи можете ви заявляти про "істотну" статистичну асоціацію навіть у населення.$|\rho| > L$$\rho$$L$$-L$

Звичайно, просто додавання довірчого інтервалу та використання значущих тестів не вирішить занадто багато проблем (як, наприклад, поганий вибірковий зразок, пропущений розгляд плутанини тощо). Але це в основному безкоштовно. Я б здогадався, що навіть SPSS здатний їх обчислити!

Як зазначає Майкл М , надійність повідомлених кореляцій - або будь-якої іншої оцінки - можна оцінити, використовуючи довірчі інтервали. До певної міри, тобто. КІ буде занадто вузьким, якщо після збору даних було обрано моделі, які, за моїми оцінками, трапляються приблизно 95% часу в соціальних науках (я, чесно скажу, є моєю повною здогадкою).

Засіб подвійне:

• Ми говоримо про "повторюваність криза ". Таким чином, невдалі реплікації інформують нас, що початковий ефект був, ймовірно, лише випадковим шумом. Нам потрібно зробити (і фінансувати, і записати, і подати, і прийняти) більше реплікацій. Дослідження реплікації повільно набувають респектабельності, і це гарна річ.

• Другий засіб, звичайно метааналіз. Якщо у нас є багато повідомлених кореляцій подібних даних, навіть якщо кожен з них має низький рівень , ми можемо об'єднати інформацію та щось дізнатися. В ідеалі ми навіть зможемо виявити$n$публікація-упередженість в процесі.