Визначте, чи значно покращився процес поширення важких хвостів

12

Я спостерігаю за часом обробки процесу до та після зміни, щоб з'ясувати, чи покращився процес зміною. Процес покращився, якщо скоротити час обробки. Час розподілу часу обробляється жиром, тому порівняння на основі середнього значення не є розумним. Натомість хотілося б знати, чи вірогідність спостерігати менший час обробки після зміни значно вище 50%.

Нехай - випадкова величина за час обробки після зміни, а - раніше. Якщо значно вище тоді я б сказав, що процес покращився. $X$ $Y$ $P(X < Y)$ $0.5$

Тепер у мене є спостереження з і спостережень з . Видимий ймовірність є . $n$ $x_i$ $X$ $m$ $y_j$ $Y$ $P(X < Y)$ $\hat p = \frac{1}{n m} \sum_i \sum_j 1_{x_i < y_j}$

Що я можу сказати про огляду на спостереження та ? $P(X < Y)$ $x_i$ $y_j$

sampling nonparametric

— Християнин
джерело

12

Ваша оцінка дорівнює статистиці Mann-Whitney поділеній на (спасибі, Глен!), І тому еквівалентна статистиці Wilkoxon-рейтингу (також відома як статистика Wilcoxon-Mann-Whitney) : , де - розмір вибірки (при умові, що немає зв’язків.) Ви можете використовувати таблиці / програмне забезпечення тесту Вілкоксона і перетворити їх назад на щоб отримати довірчий інтервал або -значення. $\hat{p}$ $U$ $mn$ $W$ $W = U + {n(n+1)\over{2}}$ $n$ $y$ $U$ $p$

Нехай - розмір вибірки , = . Потім, асимптотично, $m$ $x$ $N$ $m+n$

$W^* = \frac{W-\frac{m(N+1)}{2}}{\sqrt{\frac{mn(N+1)}{12}}} \sim \text{N}(0,1)$

Джерело: Голландер і Вулф , непараметричні статистичні методи, приблизно стор. 117, але, мабуть, більшість непараметричних книг зі статистикою потраплять туди.

— джебмен
джерело

@Glen_b - дякую, я оновив відповідь. Дуже щедра здогадка, яку ви зробили там про причину помилки!

— jbowman

13

@jbowman пропонує (приємне) стандартне рішення проблеми оцінки яка відома як модель напруженості . $\theta=P(X<Y)$

Інша непараметрична альтернатива була запропонована в Baklizi and Eidous (2006) для випадку, коли і незалежні. Це описано нижче. $X$ $Y$

За визначенням ми маємо це

θ = P (X < Y) = \int_{- \infty}^{\infty} F_{X} (y) f_{Y} (y) d y,

$\theta=P(X<Y)=\int_{-\infty}^{\infty}F_X(y)f_Y(y)dy,$

де є ВПР з і щільність . Потім, використовуючи зразки і можна отримати ядра оцінювачів з і і , отже і оцінку $F_X$ $X$ $f_Y$ $Y$ $X$ $Y$ $F_X$ $f_Y$ $\theta$

\hat{θ} = \int_{- \infty}^{\infty} {\hat{F}}_{X} (y) {\hat{f}}_{Y} (y) d y .

$\hat\theta=\int_{-\infty}^{\infty}\hat F_X(y)\hat f_Y(y)dy.$

Це реалізовано в наступному коді R за допомогою ядра Гаусса.

# Optimal bandwidth
h = function(x){
n = length(x)
return((4*sqrt(var(x))^5/(3*n))^(1/5))
}

# Kernel estimators of the density and the distribution
kg = function(x,data){
hb = h(data)
k = r = length(x)
for(i in 1:k) r[i] = mean(dnorm((x[i]-data)/hb))/hb
return(r )
} 

KG = function(x,data){
hb = h(data)
k = r = length(x)
for(i in 1:k) r[i] = mean(pnorm((x[i]-data)/hb))
return(r )
} 

# Baklizi and Eidous (2006) estimator
nonpest = function(dat1B,dat2B){
return( as.numeric(integrate(function(x) KG(x,dat1B)*kg(x,dat2B),-Inf,Inf)$value))  
}

# Example when X and Y are Cauchy
datx = rcauchy(100,0,1)
daty =  rcauchy(100,0,1)

nonpest(datx,daty)

Для того, щоб отримати довірчий інтервал для ви можете отримати зразок завантаження цього оцінника наступним чином. $\theta$

# bootstrap
B=1000
p = rep(0,B)

for(j in 1:B){
dat1 =  sample(datx,length(datx),replace=T)
dat2 =  sample(daty,length(daty),replace=T)
p[j] = nonpest(dat1,dat2)
}

# histogram of the bootstrap sample
hist(p)

# A confidence interval (quantile type)
c(quantile(p,0.025),quantile(p,0.975))

Можливо також розглянути інші види інтервалів завантаження.

2

Цікава та хороша довідка на папері (+1). Я додам його до свого репертуару!

— jbowman

0

$X_i-Y_i$ $P(X_i-Y_i<0) = p$ $I\{X_i-Y_i<0\}$ $i=1,2,..,n$ $X$ $X_i < Y_i$ $n$ $p=P(X_i-Y_i<0)$ $X/n$

— Майкл Р. Черник
джерело

2

Що лежить в основі спарювання, Майкл?

— whuber

ОП сказав: «Нехай X - випадкова величина за час обробки після зміни, а Y - раніше». Отже, Xi - після втручання, а Yi - до.

— Майкл Р. Черник

m = n

$m=n$

X_{i}

$X_i$

Y_{j}

$Y_j$

1

Ти правий. Я здогадуюсь, якийсь тест з двох зразків, наприклад, Wilcoxon, як запропонував jbowman, був би доречним. Цікаво, що форма Манна-Вітні і тесту підраховує кількість Xis <the Yjs.

— Майкл Р. Черник