Чи відображає розмір біноміального ефекту (BESD) оманливе зображення розміру ефекту?

Мені важко прийняти, що Дональд Рубін коли-небудь придумав би справжній лимон техніки. І все-таки таке моє сприйняття BESD [ 1 , 2 , 3 ].

Оригінальний документ Розенталя та Рубіна (1982) стверджував, що було важливим показник "як переробити будь-яке співвідношення моменту продукту на такий [2х2] дисплей, незалежно від того, чи є оригінальні дані безперервними чи категоричними".

Таблиця, наведена нижче, зі с. 451 2-го посилання вище:

Ця техніка, схоже, завищує величину практично будь-якого розміру ефекту. Тут з вихідних даних = .01, але коли "переведено" в таблицю непередбачених ситуацій 2х2, ми, здається, стикаємося з набагато сильнішим ефектом. Я не заперечую, що коли дані переробляються в категоричний формат таким чином, дійсно = .1, але я вважаю, що щось було дуже спотворено в перекладі.$R^2$$\phi$

Чи пропускаю тут щось справді цінне? Крім того, у мене складається враження, що за останні 10 чи більше років статистичне співтовариство в основному відкидало це як законний метод - чи я помиляюся в цьому?

Рівняння для обчислення рівня експериментальності ( ) та контролю ( C ) ( s r ) відповідно є простим:$E$$C$$sr$

$E_{sr} = .50 + r/2$

і

$C_{sr} = .50 - r/2$

Довідка:

Розенталь, Р., і Рубін, DB (1982). Просте відображення загального призначення величини експериментального ефекту. Журнал педагогічної психології, 74 , 166–169.

Я можу продемонструвати, що це упереджено (я думаю), але не можу пояснити, чому. Я сподіваюся, що хтось може побачити мою відповідь і допомогти пояснити її більше.

Як і в багатьох мета-аналізах та зображенні, яке ви опублікували, багато людей трактують BESD як: Якби ви медіану розділили обидві змінні, ви точно помістили людей у ​​"правильні" клітини таблиці 2 на випадок 2 на 2 випадки із заданим відсотком час.

$.50 + r/2 = .70$$r$

$r$

$r = .38$$.50 + r/2$

Потім я взяв середнє і стандартне відхилення кожного з цих векторів довжиною 10 000. Код:

library(MASS)
# set population params
mu <- rep(0,2)
Sigma <- matrix(.38, nrow=2, ncol=2) + diag(2)*.62
# set seed
set.seed(1839)
# generate population
pop <- as.data.frame(mvrnorm(n=1000000, mu=mu, Sigma=Sigma))
# initialize vectors
besd_correct <- c()
actual_correct <- c()
# actually break up raw data by median split, see how it works
for (i in 1:10000) {
  samp <- pop[sample(1:1000000, 100),]
  besd_correct[i] <- round(100*(.50 + cor(samp)[1,2]/2),0)
  samp$V1_split <- ifelse(samp$V1 > median(samp$V1), 1, 0)
  samp$V2_split <- ifelse(samp$V2 > median(samp$V2), 1, 0)
  actual_correct[i] <- with(samp, table(V1_split==V2_split))[[2]]
}
# cells for BESD
mean(besd_correct)
100 - mean(besd_correct)
# cells for actual 2 x 2 table with median split
mean(actual_correct)
100 - mean(actual_correct)

На основі BESD ми отримуємо цю таблицю, де v1і v2посилаються на змінні, lowі highпосилаються на нижче та вище медіани відповідно:

+---------+--------+---------+
|         | v2 low | v2 high |
+---------+--------+---------+
| v1 low  | 69     | 31      |
+---------+--------+---------+
| v1 high | 31     | 69      |
+---------+--------+---------+

Виходячи з того, що насправді робимо медіану розбиття з необробленими даними, ми отримуємо цю таблицю:

+---------+--------+---------+
|         | v2 low | v2 high |
+---------+--------+---------+
| v1 low  | 62     | 38      |
+---------+--------+---------+
| v1 high | 38     | 62      |
+---------+--------+---------+

Тож, хоча хтось міг би стверджувати, використовуючи BESD, що існує "38 відсоткових різниць у контрольній та експериментальній", фактична медіана розщеплення має це число 24.

Я не впевнений, чому це відбувається, або якщо це залежить від розміру вибірки та кореляції (можна було б легко зробити більше моделювання, щоб розібратися), я думаю, що це показує, що це упереджено. Мені б хотілося, щоб хтось міг прислухатися до математичного пояснення, а не до обчислювальних.

Інтуїція Марка Уайта неправильна. BESD насправді не моделює медіанний розкол. Середній розкол пов'язаний з реальними втратами статистичної інформації - він систематично зменшує відносини (див. Http://psycnet.apa.org/record/1990-24322-001), тому середні значення розщеплення показують меншу точність, ніж BESD. BESD демонструє точність класифікації так, ніби змінні були справді дихотомічними, а не штучно дихотомізованими через серединний розкол. Щоб побачити це, обчисліть кореляцію за даними середнього розщеплення. Ви побачите, що вона менша, ніж кореляція для вихідних змінних. Якби змінні були спочатку двійковими, два методи погодились би. За своєю природою BESD відображає змінні, ніби вони були справді бінарними. Якщо він використовується для безперервних змінних, це обов'язково являє собою абстракцію - насправді не існує груп "успіху" та "відмови" або "лікування" та "контролю",

BESD не є упередженим. Це точно відображає вплив конкретного лікування на точність класифікації, якщо ми працювали з двома бінарними змінними. Це корисний показ для демонстрації потенційної практичної цінності міри чи лікування, і, так, він дійсно демонструє, що навіть ефекти з невеликою дисперсією, що враховується статистикою, можуть мати значуще значення. BESD широко застосовується у прикладній психологічній та організаційній практиці, і він сильно погоджується з іншими показниками розміру практичного ефекту (наприклад, що вибір групи зверху вниз за допомогою міри з кореляцією дійсності r = .25 призведе до значення .25 Зростання результативності результатів серед вибраної групи порівняно з невибраною групою.

Різниця, що обліковується за статистикою, постійно призводить до непорозумінь і недооцінки щодо розміру змінних відносин, оскільки операція квадратування нелінійна. Багато прикладних методологів (наприклад, https://us.sagepub.com/en-us/nam/methods-of-meta-analysis/book240589 ) рішуче перешкоджають їх використанню на користь їх квадратних коренів (які більш точно передають розмір ефекти).

Для детальної відповіді, аналізу того, коли це має значення, та кращого рішення, будь ласка, див. Точний метод обчислення зміни абсолютного відсотка в дихотомічному результаті від розміру метааналітичного ефекту: поліпшення оцінок впливу та оцінок витрат, TR Miller, Дж. Дерзон, Д. Хендрі, Цінність для здоров'я, 14: 1, 144-151, 2011. Ось узагальнена відповідь у рефераті цієї статті. МЕТА: Метааналізи зазвичай розраховують розмір ефекту лікування (d Коена), який легко перетворюється на інший загальний показник, показник розміру біноміального ефекту (BESD). BESD - коефіцієнт кореляції і являє собою відсоткову різницю у результатах, що можна віднести до втручання. І d, і BESD знаходяться в довільних одиницях; не вимірює абсолютної зміни внаслідок втручання. Метод, який використовується для оцінки абсолютної зміни від BESD, передбачає як 50-50 розбиття результату, так і збалансовану конструкцію. Отже, неточні припущення лежать в основі більшості метааналітичних оцінок прибутку в результаті втручання (та його економічної ефективності). Ця стаття розробляє точну формулу без цих припущень. МЕТОДИ: Формула розроблена алгебраїчно з 1) формули коефіцієнта кореляції, представленої у вигляді таблиці 2 на 2, побудованої на основі відносного розміру груп лікування та контролю та відсотка людей, які мали б умову відсутності втручання, та 2) формула коефіцієнта кореляції BESD, що показує зміну ймовірності успіху з лікуванням. РЕЗУЛЬТАТИ: Моделювання показує, що BESD лише наближає до зменшення результатів, які втручання цілком може досягти, коли результат проблеми настає у 35% -65% випадків. Що стосується менш загальних результатів, BESD значно завищує вплив втручання. Навіть коли BESD точно оцінює ймовірні зміни відсотків результату, він малює оманливу картину частки випадків, які дозволять досягти позитивного результату.