Виявлення шаблонів обману на іспиті на багато запитань

ПИТАННЯ:

У мене є двійкові дані щодо іспитових питань (правильні / неправильні). Деякі люди, можливо, мали попередній доступ до набору питань та їх правильних відповідей. Я не знаю, хто, скільки чи хто. Якби не було обману, припустимо, я б моделював вірогідність правильної відповіді для пункту$i$ як, деявляє собою складність питання, а- латентна здатність індивіда. Це дуже проста модель відповіді на предмет, яку можна оцінити за допомогою таких функцій, як ltm's rasch () в R. Крім оцінок(деіндексує осіб) латентної змінної, у мене є доступ до окремих оцінок$logit((p_i = 1 | z)) = \beta_i + z$$\beta_i$$z$$\hat{z}_j$$j$$\hat{q}_j$ тієї ж прихованої змінної, яку отримано з іншого набору даних, в якому обману не було можливим.

Мета - виявити людей, які, ймовірно, обдурили, та предмети, які вони обдурили. До яких підходів ви можете скористатися? Крім необроблених даних, , та доступні, хоча перші два матимуть певні упередження через обман. В ідеалі рішення було б у формі ймовірнісного кластеризації / класифікації, хоча це не є необхідним. Практичні ідеї дуже вітаються, як і формальні підходи.$\hat{\beta}_i$$\hat{z}_j$$\hat{q}_j$

Поки що я порівнював співвідношення балів запитань для пар осіб із вищими та нижчими балів (де є приблизний показник ймовірності того, що вони обдурили). Наприклад, я сортував людей по а потім побудував співвідношення підрахунків послідовних пар питань людей. Я також спробував побудувати середнє співвідношення балів для осіб, значення яких було більше, ніж квантиль , як функція . Жодних очевидних зразків для будь-якого підходу.$\hat{q}_j -\hat{z}_j$$\hat{q}_j - \hat{z}_j$$\hat{q}_j - \hat{z}_j$$\hat{q}_j - \hat{z}_j$$n^{th}$$\hat{q}_j - \hat{z}_j$$n$

---

ОНОВЛЕННЯ:

Я в результаті поєднав ідеї від @SheldonCooper і корисний документ Freakonomics, який @whuber вказав на мене. Інші ідеї / коментарі / критики вітаються.

Нехай є бінарним балом особи за запитанням i . Оцініть модель відповіді елемента logit (Pr (X_ {ij} = 1 | z_j) = \ beta_i + z_j, де \ beta_i - параметр легкості елемента та z_j - латентна змінна здатність. (Більш складну модель можна замінити; I Я використовую 2PL у своїй заявці. Як я вже згадував у своєму початковому дописі, у мене є оцінки \ hat {q_j} змінної здатності з окремого набору даних \ {y_ {ij} \} (різні елементи, ті самі особи) на зокрема, \ hat {q_j} є емпіричними оцінками Байєса з тієї ж моделі відповіді пункту, що і вище.$X_{ij}$$j$$i$

$$logit(Pr(X_{ij} = 1 | z_j) = \beta_i + z_j,$$ $\beta_i$$z_j$$\hat{q_j }$$\{y_{ij}\}$$\hat{q_j}$

Ймовірність спостережуваного балу , що обумовлена ​​легкістю предмета та здатністю людини, може бути записана де - прогнозована ймовірність правильна відповідь, а - зворотний logit. Тоді, від характеристик предмета та особи, спільна ймовірність того, що особа має спостереження є і аналогічно спільна ймовірність того, що предмет має спостереження$x_{ij}$

$$p_{ij} = Pr(X_{ij} = x_{ij} | \hat{\beta_i }, \hat{q_j }) = P_{ij}(\hat{\beta_i }, \hat{q_j })^{x_{ij}} (1 - P_{ij}(\hat{\beta_i }, \hat{q_j }))^{1-x_{ij}},$$ $P_{ij}(\hat{\beta_i }, \hat{q_j }) = ilogit(\hat{\beta_i} + \hat{q_j})$$ilogit$$j$$x_j$ $$p_j = \prod_i p_{ij},$$ $i$$x_i$ єОсоби з найнижчими значеннями це ті, у кого спостережувані бали умовно найменші - вони, можливо, обманщики. Елементи з найнижчими значеннями це ті, що умовно найменш вірогідні - це можливі елементи витоку / спільного використання. Цей підхід спирається на припущення, що моделі правильні, і оцінки особи є некорельованими, залежно від характеристик особи та предмета. Порушення другого припущення не є проблематичним, хоча, поки ступінь кореляції не змінюється у різних осіб, і модель може бути легко вдосконалена (наприклад, шляхом додавання додаткових характеристик особи або предмета). $$p_i = \prod_j p_{ij}.$$ $p_j$$p_j$$j$$p_{ij}$

Додатковим кроком, який я спробував, є взяття r% від найменш вірогідних осіб (тобто осіб з найнижчими r% відсортованих значень p_j), обчислення середньої відстані між їх спостережуваними балами x_j (яка повинна співвідноситися для осіб з низьким r, які можливі шахрайки), і побудуйте його для r = 0,001, 0,002, ..., 1.000. Середня відстань збільшується для r = 0,001 до r = 0,025, досягає максимуму, а потім повільно знижується до мінімуму при r = 1. Не зовсім те, на що я сподівався.

Спеціальний підхід

Я б припустити , що розумно надійним , оскільки він був оцінений на багатьох студентів, більшість з яких не змінював питання я . Для кожного учня j сортуйте запитання в порядку збільшення складності, обчисліть β i + q j (зауважте, що q $\beta_i$$i$$j$$\beta_i + q_j$$q_j$- це лише постійне зміщення) і порогове значення в якомусь розумному місці (наприклад, p (правильне) <0,6). Це дає набір питань, на які студент навряд чи зможе відповісти правильно. Тепер ви можете використовувати тестування гіпотез, щоб побачити, чи це порушено, і в цьому випадку студент, ймовірно, обдурив (якщо припустити, що ваша модель правильна). Одне застереження полягає в тому, що якщо таких питань мало, у вас може бути недостатньо даних, щоб тест був надійним. Крім того, я не думаю, що визначити, яке питання він обдурив, неможливо, оскільки він завжди має 50% шансів здогадатися. Але якщо припустити, що багато студентів отримали доступ до (і обдурили) однаковий набір запитань, ви можете порівняти їх серед студентів і побачити, на які запитання відповіли частіше, ніж випадково.

Можна зробити подібний трюк із запитаннями. Тобто для кожного запитання, сортуйте учнів за , додайте β i (це тепер постійне зміщення) та поріг при ймовірності 0,6. Це дає вам список учнів, які не зможуть правильно відповісти на це питання. Тож у них 60% шансів здогадатися. Знову зробіть тестування гіпотез і побачите, чи порушено це. Це працює лише в тому випадку, якщо більшість студентів обдурили один і той же набір питань (наприклад, якщо під іспитом "просочилася підгрупа питань").$q_j$$\beta_i$

Принциповий підхід

Для кожного учня існує двійкова змінна з попереднім Бернуллі з певною придатною ймовірністю, що вказує, чи є учень шахраєм. Для кожного питання існує двійкова змінна l i , знову ж таки, з деяким відповідним попереднім Бернуллі, що вказує, чи питання просочилося. Потім є набір двійкових змінних a i j , що вказує, чи відповів студент j на питання i правильно. Якщо c j = 1 і l i = 1 , то розподіл a i $c_j$$l_i$$a_{ij}$$j$$i$$c_j = 1$$l_i = 1$$a_{ij}$є Бернуллі з вірогідністю 0,99. Інакше розподіл . Ці a i j - спостережувані змінні. c j і l я приховані і їх слід робити. Ви, мабуть, можете це зробити шляхом вибірки Гіббса. Але й інші підходи також можуть бути здійсненні, можливо, щось пов'язане з роздвоєнням.$logit(\beta_i + q_j)$$a_{ij}$$c_j$$l_i$

Якщо ви хочете скористатися більш складними підходами, ви можете подивитися на моделі теорії реагування на елементи. Потім ви зможете змоделювати складність кожного питання. Студенти, які виправили складні предмети, пропускаючи простіші, я думаю, більше шанси на обман, ніж ті, хто робив зворотне.

Минуло більше десяти років, як я робив подібні речі, але я думаю, що це може бути перспективним. Більш детально ознайомтеся з книгами психометрики