Чому ecdf використовує ступінчасту функцію, а не лінійну інтерполяцію?

Емпіричні функції CDF зазвичай оцінюються за допомогою крокової функції. Чи є причина, чому це робиться таким чином, а не за допомогою лінійної інтерполяції? Чи має ступінчаста функція цікавих теоретичних властивостей, які змушують нас віддавати перевагу цьому?

Ось приклад двох:

ecdf2 <- function (x) {
  x <- sort(x)
  n <- length(x)
  if (n < 1) 
    stop("'x' must have 1 or more non-missing values")
  vals <- unique(x)
  rval <- approxfun(vals, cumsum(tabulate(match(x, vals)))/n, 
                    method = "linear", yleft = 0, yright = 1, f = 0, ties = "ordered")
  class(rval) <- c("ecdf", class(rval))
  assign("nobs", n, envir = environment(rval))
  attr(rval, "call") <- sys.call()
  rval
}


set.seed(2016-08-18)
a <- rnorm(10)
a2 <- ecdf(a)
a3 <- ecdf2(a)

par(mfrow = c(1,2))
curve(a2, -2,2, main = "step function ecdf")
curve(a3, -2,2, main = "linear interpolation function ecdf")

r distributions ecdf

— Тал Галілі
джерело

Пов’язані …

"... оцінюється за допомогою крокової функції" є витонченим помилковим уявленням: ECDF не просто оцінюється за допомогою крокової функції; то є така функція за визначенням. Він ідентичний CDF випадкової величини. Зокрема, задавши будь-яку кінцеву послідовність чисел , визначте простір ймовірностей з , дискретний і рівномірний. Нехай випадкова величина , призначаючи до . ECDF є CDF з .

x_{1}, x_{2}, \dots, x_{n}

$x_1, x_2, \ldots, x_n$

(Ω, S, P)

$(\Omega,\mathfrak{S},\mathbb{P})$

Ω = {1, 2, \dots, n}

$\Omega=\{1,2,\ldots, n\}$

S

$\mathfrak{S}$

P

$\mathbb{P}$

X

$X$

x_{i}

$x_i$

i

$i$ $X$ Це величезне концептуальне спрощення є переконливим аргументом для визначення.

— whuber

Це за визначенням.

Емпірична функція розподілу набору спостережень визначається за допомогою $(X_n)$

F_{e} (t) = \frac{# {X_{n} ∣ X_{n} \leq t}}{n}

$F_e(t) = \frac{\#\{X_n \mid X_n \le t\}}n$

Де - встановлена кардинальність. Це, за своєю природою, ступінчаста функція. Він конвергується до фактичного CDF майже напевно . $\#$

Також зауважте, що для будь-якого розподілу з принаймні два (особливо невідроджених дискретних розподілів) ваш варіант ECDF не збігається з фактичним CDF. Наприклад, розглянемо розподіл Бернуллі з CDF $P(X = x) \ne 0$ $x$

F_{X} (x) = p χ_{x \geq 0} + (1 - p) χ_{x \geq 1}

$F_X(x) = p \chi_{x \ge 0} + (1-p) \chi_{x \ge 1}$ це покрокова функція, тоді як ecdf2 перейде в (кусочно-лінійна функція, що з'єднує і .

χ_{x \geq 0} \cdot (p + (1 - p) min (x, 1))

$\chi_{x\ge 0} \cdot (p + (1-p)\min(x, 1))$

(0, p)

$(0,p)$

(1, 1)

$(1,1)$

— AlexR
джерело

Дякую Алекс. Так є ще одна назва функції, яку я написав? (тому що я б здогадався, що це також сходиться до власне CDF)

— Тал Галілі

@TalGalili Це не так. Розглянемо розподіл Бернуллі. Ваш файл у форматі ecdf2 не зблизиться в цьому випадку. Ви можете назвати це згладженим файлом. Я підозрюю, що він сходиться з фактичним CDF, якщо у фактичного CDF немає точок з ненульовою ймовірністю, крім крайніх точок (де ви не згладжуєте)

— AlexR

@AlexR ви можете відредагувати свою відповідь, щоб додати цей коментар, оскільки дискретні розподіли є причиною такого певного - тому він відповідає на питання "чому".

— Тім

@Tim Done.

${}{}$

— AlexR

Дякую. Чи є спосіб визначити безперервну емпіричну функцію, яка б сходилася до крокової функції, але була б повністю монотонною (тобто: без різких «стрибків»)?

— Тал Галілі