Тест на пропорції та двійковий класифікатор

У мене є прототип машини для виготовлення деталей.

У першому тесті машина виробляє деталей, і двійковий класифікатор повідомляє мені, що частини несправні ( , зазвичай і ), а частини хороші. $N_1$ $d_1$ $d_1 < N_1$ $d_1/N_1<0.01$ $N_1\approx10^4$ $N_1-d_1$

Потім технік вносить деякі зміни в машину, щоб зменшити кількість несправних деталей.

У другому і наступному тесті модифікована машина виробляє деталі, і той самий двійковий класифікатор (недоторканий) повідомляє мені, що частини несправні, все одно досить схожий на . $N_2$ $d_2$ $d_2/N_2$ $d_1/N_1$

Технік хотів би знати, чи ефективні його зміни.

Якщо припустити, що класифікатори досконалі (її чутливість - 100%, а її специфічність - 100%), я можу провести тест на пропорції (з R я просто набираю prop.test(c(d1,d2),c(N1,N2))).

Але класифікатор не є досконалим, тож як я можу взяти до уваги чутливість та специфіку класифікатора, як невідомо, щоб правильно відповісти техніку?

— Алессандро Джекопсон
джерело

Чи можете ви підтвердити швидкість точності класифікатора?

— Мішель

@Michelle Я знаю без помилок та але я не знаю, скільки дефектних деталей неправильно класифікуються як хороші.

d_{1}

$d_1$

d_{2}

$d_2$

— Алессандро Якопсон

Привіт ще раз. Чи можете ви зробити випадкову вибірку хороших частин від N1 та N2 окремо, щоб оцінити помилкову позитивну швидкість?

— Мішель

За допомогою цієї інформації ви можете використовувати цей метод для порівняння змін? onlinelibrary.wiley.com/doi/10.1002/sim.906/ab Abstract також дивіться тут ncbi.nlm.nih.gov/pubmed/18224558 та іншу ідею тут, повний текст: stat.colostate.edu/~bradb/papers/lrgraphfinal. pdf

— Мішель

(+1) це чудове питання!

— steffen

Тож я вивожу це з перших принципів, і, таким чином, не впевнений, що це правильно. Ось мої думки:

EDIT: Раніше це було не зовсім правильно. Я оновив його.

Нехай позначає очікувану різницю між фактичною кількістю справжніх позитивних та числом, виведеним двійковим класифікатором, який ми будемо називати . Ви можете виміряти це за допомогою запуску класифікатора на наборі з відомими мітками. Віднімаємо кількість фактичних позитивних результатів від кількості позитивних результатів, виданих класифікатором, а потім ділимо на щоб отримати . $\alpha$ $d_1$ $\hat{d_1}$ $N$ $\alpha$
Отже, бальна оцінка фактичного співвідношення дефектних деталей дається через: . Тобто спостерігається кількість несправних деталей, менша очікуваної кількості помилкових позитивів плюс очікувана кількість помилкових негативів. $\hat{\frac{d_1}{N_1}} = \frac{d_1 + \alpha * N_1}{N_1}$
Аналогічно $\hat{\frac{d_2}{N_2}} = \frac{d_2 + \alpha * N_2}{N_2}$
Отже, тепер давайте зробимо тест опори. У стандартному тесті опори ми спочатку обчислюємо об'єднане відношення, яке використовується як нульове значення: . Отже, тут ми вносимо в нашу точку оцінки $p= \frac{p_1*N_1 + p_2*N_2}{N_1 + N_2}$ і $\hat{\frac{d_1}{N_1}}$ щоб отримати: $\hat{\frac{d_2}{N_2}}$ $p= \frac{d_1 + d_2 + \alpha * (N_1 + N_2)}{N_1 + N_2}$
І тоді стандартна помилка - просто звичайна: $\sqrt{p*(1-p)*(\frac{1}{N_1} + \frac{1}{N_2})}$
І тестова статистика така ж: $z = \frac{\frac{d_1}{N_1} - \frac{d_2}{N_2}}{se}$

Деякі думки щодо тлумачення:

Модель може створювати уявні значення для стандартної помилки. Це станеться тоді, коли , що буде в тому випадку, коли кількість помилок, які ми очікуємо, що класифікатори помиляться, перевищуватиме кількість, яку ми спостерігали. Наприклад, припустимо, що ми очікуємо, що наш класифікатор видасть у середньому 5 позитивних даних, навіть коли дається зразок, який не містить позитивних результатів. Якщо ми спостерігаємо 4 позитиви, то це як би немає сигналу: наш результат не відрізняється від шуму, виданого класифікатором. У цьому випадку, ми не повинні відкидати нульову гіпотезу, я думаю. $p < 0$
Ще один спосіб задуматися над тим, що якщо кількість несправних деталей знаходиться в межах похибки для класифікатора, то, звичайно, ми не можемо сказати, чи є різниця: ми навіть не можемо сказати, чи є якісь деталі несправними!

Включення помилок в оцінці : $\alpha$

Я подумав про це ще кілька, і я думаю, що ви можете це зробити декількома способами, але, по суті, ви хочете отримати оцінку розподілу . В ідеалі ви б це зробили, повторивши процедуру отримання оцінки на репрезентативній вибірці наборів даних, на яких ви збираєтесь використовувати цей метод. Якщо це неможливо, ви можете завантажувати дані на одному наборі даних, малюючи з нього зразки, хоча це не ідеально, якщо ваш єдиний набір даних не є репрезентативним для всіх ваших наборів. $\alpha$ $\alpha$

Припустимо, що ми хочемо обчислити довірчий інтервал з достовірністю . $h$

Емпірично обчислити $\frac{h}{2}$ $\alpha$ $\alpha$ $\frac{h}{2}$ $low_l, low_r)$ $(high_l, high_r)$ $\alpha$ $(high_l,low_r)$ (який містить обидва попередні інтервали) повинен бути (1-год.) * 100% ІС для різниці пропорцій ... Я думаю ...

$\alpha$

— Джон Дучетт
джерело

+1, дякую. У 6 ви написали "статичну", ви мали на увазі "статистику"?

— Алессандро Якопсон

p < 0

$p<0$

0 < p < 1

$0<p<1$

0 < p < 1

$0<p<1$

0.01 (N 1 - d 1) \approx 100

$0.01(N1−d1)\approx100$

β = \frac{7}{100}

$\beta=\frac{7}{100}$

β

$\beta$

β

$\beta$ prop.test(7,100)

@uvts_cvs Так, це має бути "статистично". Я виправлю це за мить. У розрахунку на стандартну помилку також є помилка друку, яка повинна бути замість p * (1-p). P завжди повинен бути <1, за винятком, можливо, якщо ваш класифікатор дійсно поганий і d великий. Для вашого третього коментаря, так, це ідея. Я просто не впевнений, як включити цю оцінку в модель. Можливо, хтось тут ще знає?

— Джон Дучетт

α

$\alpha$

β

$\beta$