Альтернатива емпіричного розподілу

BOUNTY:

Повна винагорода буде присуджена тому, хто подасть посилання на будь-який опублікований документ, який використовує або згадує оцінювач нижче.$\tilde{F}$

Мотивація:

Цей розділ для вас, мабуть, не важливий, і я підозрюю, що він не допоможе вам отримати винагороду, але оскільки хтось запитав про мотивацію, ось над чим я працюю.

Я працюю над проблемою теорії статистичних графів. Стандартний щільний графік, що обмежує об'єкт є симетричною функцією в тому сенсі, що . Вибірка графіка на вершинах можна вважати вибіркою рівномірних значень на одиничному інтервалі ( для ), і тоді ймовірність ребра - . Нехай результуюча матриця суміжності називатися .$W : [0,1]^2 \to [0,1]$$W(u,v) = W(v,u)$$n$$n$$U_i$$i = 1, \dots, n$$(i,j)$$W(U_i, U_j)$$A$

Ми можемо трактувати як щільність якщо вважати, що \ iint W> 0 . Якщо ми оцінюємо f на основі A без будь-яких обмежень до f , то не можемо отримати послідовну оцінку. Я знайшов цікавий результат щодо послідовної оцінки f, коли f походить від обмеженого набору можливих функцій. З цієї оцінки і \ суми А , ми можемо оцінити W .$W$$f = W / \iint W$$\iint W > 0$$f$$A$$f$$f$$f$$\sum A$$W$

На жаль, знайдений нами метод виявляє послідовність, коли ми вибираємо з розподілу щільність . Спосіб побудови вимагає, щоб я відібрав сітку точок (на відміну від отримання малюнків з оригіналу ). У цьому питанні stats.SE я запитую 1-мірну (простішу) проблему того, що відбувається, коли ми можемо випробовувати зразки Бернулліса на такій сітці, а не насправді вибирати безпосередньо з розподілу.$f$$A$$f$

посилання на обмеження графіка:

Л. Ловаш та Б. Сегеді. Межі послідовностей щільних графів ( arxiv ).

К. Боргс, Дж. Чайес, Л. Ловаш, В. Сос і К. Вестергомбі. Збіжні послідовності щільних графіків i: частоти підграфа, метричні властивості та тестування. ( арксів ).

Позначення:

Розглянемо безперервний розподіл cdf та pdf який має позитивну підтримку на інтервалі . Припустимо, не має точковоїмаси, скрізь диференційований, а також, що є надсумою на проміжку . Нехай означає , що випадкова величина вибірка з розподілу . є однорідними випадковими змінними на .$F$$f$$[0,1]$$f$$F$$\sup_{z \in [0,1]} f(z) = c < \infty$$f$$[0,1]$$X \sim F$$X$$F$$U_i$$[0,1]$

Налаштування проблеми:

Часто ми можемо дозволити бути випадковими змінними з розподілом і працювати зі звичайною емпіричною функцією розподілу як де - функція індикатора. Зауважимо, що цей емпіричний розподіл сам по собі випадковий (де зафіксовано).$X_1, \dots, X_n$$F$

$$\hat{F}_n(t) = \frac{1}{n} \sum_{i=1}^n I\{X_i \leq t\}$$ $I$$\hat{F}_n(t)$$t$

На жаль, я не можу малювати зразки безпосередньо з . Однак я знаю, що має позитивну підтримку лише на , і я можу генерувати випадкові величини де - випадкова величина з розподілом Бернуллі з вірогідністю успіху де і визначені вище. Отже, . Один із очевидних способів, який я міг би оцінити з цих значень - взявши де$F$$f$$[0,1]$$Y_1, \dots, Y_n$$Y_i$

$$p_i = f((i-1+U_i)/n)/c$$ $c$$U_i$$Y_i \sim \text{Bern}(p_i)$$F$$Y_i$ $$\tilde{F}_n(t) = \frac{1}{\sum_{i=1}^n Y_i} \sum_{i=1}^{\lceil tn \rceil} Y_i$$ $\lceil \cdot \rceil$ - це функція стелі (тобто просто до найближчого цілого числа) і перемалюйте, якщо (щоб уникнути ділення на нуль і змушення Всесвіту) . Зауважте, що також є випадковою змінною, оскільки є випадковими змінними.$\sum_{i=1}^n Y_i = 0$$\tilde{F}(t)$$Y_i$

Запитання:

З (що я думаю, що має бути) найлегше - найважче.

1. Хтось знає, чи має цей (чи щось подібне) ім'я? Чи можете ви надати посилання, де я бачу деякі його властивості?$\tilde{F}_n$

2. Як , чи є послідовний оцінювач (і чи можете ви це довести)?$n \to \infty$$\tilde{F}_n(t)$$F(t)$

3. Який обмежуючий розподіл як ?$\tilde{F}_n(t)$$n \to \infty$

4. В ідеалі я хотів би пов'язати наступне як функцію - наприклад, , але я не знаю, що таке правда. означає Big O за ймовірністю$n$$O_P(\log(n) /\sqrt{n})$$O_P$

$$\sup_{C \subset [0,1]} \int_C |\tilde{F}_n(t) - F(t)| \, dt$$

Деякі ідеї та замітки:

1. Це дуже схоже на вибірку прийняття-відхилення з розшаруванням на основі сітки. Зауважте, що це не тому, що там ми не малюємо іншого зразка, якщо відхиляємо пропозицію.

2. Я майже впевнений, що цей є упередженим. Я думаю, що альтернатива є неупередженою, але вона має неприємну властивість, .$\tilde{F}_n$

   $$\tilde{F^*}_n(t) = \frac{c}{n} \sum_{i=1}^{\lceil tn \rceil} Y_i$$ $\mathbb{P}\left(\tilde{F^*}(1) = 1\right) < 1$

3. Мені цікаво використовувати як плагін-оцінювач . Я не думаю, що це корисна інформація, але, можливо, ви знаєте якусь причину, чому це може бути.$\tilde{F}_n$

Приклад в R

Ось декілька код R, якщо ви хочете порівняти емпіричний розподіл з . Вибачте, що деякі відступи неправильні ... Я не розумію, як це виправити.$\tilde{F}_n$

# sample from a beta distribution with parameters a and b
a <- 4 # make this > 1 to get the mode right
b <- 1.1 # make this > 1 to get the mode right
qD <- function(x){qbeta(x, a, b)} # inverse
dD <- function(x){dbeta(x, a, b)} # density
pD <- function(x){pbeta(x, a, b)} # cdf
mD <- dbeta((a-1)/(a+b-2), a, b) # maximum value sup_z f(z)


# draw samples for the empirical distribution and \tilde{F}
draw <- function(n){ # n is the number of observations
  u <- sort(runif(n)) 
  x <- qD(u) # samples for empirical dist
  z <- 0 # keep track of how many y_i == 1
  # take bernoulli samples at the points s
  s <- seq(0,1-1/n,length=n) + runif(n,0,1/n) 
  p <- dD(s) # density at s
  while(z == 0){ # make sure we get at least one y_i == 1
    y <- rbinom(rep(1,n), 1, p/mD) # y_i that we sampled
    z <- sum(y)
  }
  result <- list(x=x, y=y, z=z)
  return(result)
}

sim <- function(simdat, n, w){
  # F hat -- empirical dist at w
  fh <- mean(simdat$x < w) 
  # F tilde
  ft <- sum(simdat$y[1:ceiling(n*w)])/simdat$z
  # Uncomment this if we want an unbiased estimate.
  # This can take on values > 1 which is undesirable for a cdf.
  ### ft <- sum(simdat$y[1:ceiling(n*w)]) * (mD / n)
  return(c(fh, ft))
}


set.seed(1) # for reproducibility

n <- 50 # number observations
w <- 0.5555 # some value to test this at (called t above)
reps <- 1000 # look at this many values of Fhat(w) and Ftilde(w)
# simulate this data
samps <- replicate(reps, sim(draw(n), n, w))

# compare the true value to the empirical means
pD(w) # the truth 
apply(samps, 1, mean) # sample mean of (Fhat(w), Ftilde(w))
apply(samps, 1, var)  # sample variance of (Fhat(w), Ftilde(w))
apply((samps - pD(w))^2, 1, mean) # variance around truth


# now lets look at what a single realization might look like
dat <- draw(n)
plot(NA, xlim=0:1, ylim=0:1, xlab="t", ylab="empirical cdf",
     main="comparing ECDF (red), Ftilde (blue), true CDF (black)")
s <- seq(0,1,length=1000)
lines(s, pD(s), lwd=3) # truth in black
abline(h=0:1)
lines(c(0,rep(dat$x,each=2),Inf),
     rep(seq(0,1,length=n+1),each=2),
     col="red")
lines(c(0,rep(which(dat$y==1)/n, each=2),1),
      rep(seq(0,1,length=dat$z+1),each=2),
      col="blue")

ЗМІНИ:

РЕДАКЦІЯ 1 -

Я відредагував це на адресу коментарів @ whuber.

EDIT 2 -

Я додав R-код і трохи більше очистив його. Я трохи змінив позначення на предмет читабельності, але це по суті те саме. Я планую викласти за це щедро, як тільки мені це дозволять, тому, будь ласка, повідомте мене, якщо ви хочете отримати додаткові роз'яснення.

EDIT 3 -

Я думаю, я звернувся із зауваженнями @ кардинала. Я зафіксував помилки друку в загальній варіації. Я додаю щедрості.

EDIT 4 -

Додано розділ "мотивація" для @cardinal.

Хоча ця довідка

РЕДАКТУВАННЯ: ДОБАВЛЕНО ПОСИЛАННЯ ДО ДУЖЕ ПОДІЛЬНОЇ СТАТИСТИКИ "Непараметричне оцінювання від неповних спостережень" Е. Л. Каплан та Пол Мейєр, Журнал Американської статистичної асоціації, Vol. 53, № 282 (черв., 1958), стор 457-481

не є вашим ECDF-подібним оцінювачем на Я вважаю, що він логічно еквівалентний оціннику Каплана-Мейєра (ака. оцінника ліміту продукту), який використовується в аналізі виживання, хоча це застосовується до часового діапазону .$[0,1]$$[0,\infty)$

Оцінка зміщення буде можливою, коли ви обгрунтовано оціните розподіл за допомогою згладжування ядра, якщо воно буде вестись досить добре (див., Наприклад, перетворення Хмаладзе у Вікіпедії).

У випадку біваріанта у вашій графічній задачі, що оцінює від хоча з тривіальною обмеженістю симетрії, схоже на підхід у Жана-Девіда Ферманіана, Драгана Радуловича та Мартена Вегкампа (2004), слабке зближення емпіричної копули процесів , Бернуллі , т. 10, ні. 5, 847–860, як @cardinal вказував «Багатовимірний метод дельти».$f = W / \iint W$$A$

Це відповідає на питання 2 і 3 вище. Я все ще дуже хочу посилання (з питання 1).

Це ще не враховується, коли .$\sum Y_i = 0$

Розглянемо , то де підписники позначають похідні. Нагадаємо, . Нехай Отже, зауважте, що і . Також, $g(A,B) = A/(A+B)$

$$\begin{align} g_A(A,B) &= (A+B)^{-1} + A(A+B)^{-2}\\ g_B(A,B) &= -A(A+B)^{-2}\\ g_{AA}(A,B) &= 2B(A+B)^{-3}\\ g_{AB}(A,B) &= (A-B)(A+B)^{-3}\\ g_{BB}(B,B) &= 2A(A+B)^{-3} \end{align}$$ $p_i = f((i-1+U_i)/n)/c$ $$\begin{align} R = \frac{1}{n}\sum_{i=1}^{\lceil nt \rceil} Y_i, \quad& \mu_R = \mathbb{E}(R) = \int_0^t p(u) \, d u = c^{-1}F(t)\\ S = \frac{1}{n}\sum_{\lceil nt \rceil +1}^n Y_i, \quad& \mu_S = \mathbb{E}(S) = \int_t^1 p(u) \, d u = c^{-1}(1-F(t)) \end{align}$$ $\mu_R + \mu_S = c^{-1}F(t) + c^{-1}(1-F(t)) = c^{-1}$$g(\mu_R, \mu_S) = F(t)$ $$\begin{align} \text{ Var}(R) &= \frac{1}{n^2} \sum_{i=1}^{\lceil nt \rceil} \text{ Var}(Y_i) = \frac{1}{n} \int_0^t f(u)/c(1-f(u)/c) \, d u = \frac{1}{nc^2} \int_0^t f(u)(c-f(u)) \, d u\\ \text{ Var}(S) &= \frac{1}{nc^2} \int_t^1 f(u)(c-f(u)) \, d u \end{align}$$ Зауважте, що незалежністю s.$\text{ Cov}(R,S) = 0$$Y_i$

Тепер ми використовуємо розширення Тейлора, щоб отримати

$$\begin{align} &\mathbb{E}\left(\tilde{F}_n(t)\right) =\mathbb{E}\left( \frac{1}{\sum_{i=1}^n Y_i} \sum_{i=1}^{\lceil tn \rceil} Y_i \right) =\mathbb{E}\left(\frac{nR}{nR+nS}\right) =\mathbb{E}\left(\frac{R}{R+S}\right) =\mathbb{E}\left(g(R,S)\right)\\ &=g(\mu_R,\mu_S) + \frac{1}{2}\mathbb{E}((R - \mu_R)^2)g_{RR}(\mu_R, \mu_S) \nonumber\\ &\quad + \mathbb{E}((R - \mu_R)(S-\mu_S))g_{RS}(\mu_R, \mu_S) + \frac{1}{2}\mathbb{E}((S - \mu_S)^2)g_{SS}(\mu_R, \mu_S) + \dots \\ &= F(t) + \frac{1}{2}\mathbb{E}((R - \mu_R)^2)2\mu_S(\mu_R+\mu_S)^{-3} \nonumber\\ &\quad + \mathbb{E}((R - \mu_R)(S-\mu_S))(\mu_R-\mu_S)(\mu_R+\mu_S)^{-3} \nonumber\\ &\quad + \frac{1}{2}\mathbb{E}((S - \mu_S)^2) 2\mu_R(\mu_R+\mu_S)^{-3} + \dots\\ &= F(t) + (\mu_R+\mu_S)^{-3} \bigg( \mathbb{E}((R - \mu_R)^2)\mu_S + \mathbb{E}((R - \mu_R)(S-\mu_S))(\mu_R-\mu_S) \nonumber\\ &\quad + \mathbb{E}((S - \mu_S)^2) \mu_R \bigg) + \dots \\ &= F(t) + c^3 \left( \text{ Var}(R)c(1-F(t)) \right. \nonumber\\ &\quad + \left.\text{ Cov}(R,S)(cF(t) - c(1-F(t))) + \text{ Var}(S) cF(t) \right) + \dots \\ &= F(t) + c^4 \left( \left(\frac{1}{n} \int_0^t f(u)(c-f(u)) \, d u\right) (1-F(t)) \right. \nonumber\\ &\quad \left. + \left(\frac{1}{n} \int_t^1 f(u)(c-f(u)) \, d u \right) F(t) \right) + \dots\\ &= F(t) + \tilde{V}_{F(t)}/n + \dots\\ &= F(t) + {\cal O}(n^{-1}) \end{align}$$ де Зокрема, ми отримуємо $$\begin{align} \tilde{V}_{F(t)} &= c^2\left(\int_0^t f(u)(c-f(u)) \, d u\right) (1-F(t)) + c^2\left(\int_t^1 f(u)(c-f(u)) \, d u \right) F(t)\\ &< c^2\left( \int_0^t cf(u) \, d u\right)(1 - F(t)) + c^2\left( \int_t^1 cf(u) \, d u\right)F(t)\\ &< c^3 2F(t)(1-F(t)) \end{align}$$ $$\begin{align} \sqrt{n}\left(\tilde{F}_n(t) - F(t)\right) \overset{d}{\to} N(0,V_{F(t)}) \end{align}$$

Будь ласка, коментуйте, якщо ви бачите щось не так у цьому.

ЗМІНИ:

Редагувати 1 -

Виправлено помилку у . Дякую @cardinal за вашу пропозицію в коментарях до питання 4.$V_{F(t)}$

Редагувати 2 -

Виправлено безліч помилок: у мене було де я повинен був мати у багатьох місцях. Мені все ж потрібно звернутись до @ відповіді кардинала про .$c^{-1}$$c$$\sum Y_i = 0$