Як називається метод оцінки щільності, де всі можливі пари використовуються для створення нормального розподілу суміші?

Я просто думав про акуратний (не обов'язково хороший) спосіб створення однієї розмірної оцінки щільності, і моє питання:

Чи має цей метод оцінки щільності назву? Якщо ні, то це особливий випадок якогось іншого методу в літературі?

Ось метод: У нас є вектор який, як ми вважаємо, виведений з якогось невідомого розподілу, який ми хотіли б оцінити. Спосіб цього полягає в тому, щоб взяти всі можливі пари значень у і для кожної пари встановити нормальний розподіл, використовуючи максимальну ймовірність. Отримана оцінка щільності - це розподіл суміші, що складається з усіх отриманих нормалей, де кожній нормі надається однакова вага.X [ x i , x j ] i ≠ $X = [x_1,x_2,...,x_n]$$X$$[x_i,x_j]_{i \neq j}$

На малюнку нижче показано використання цього методу на векторі . Тут кола - це точки даних, кольорові нормали - це максимальні розподіли правдоподібності, оцінені за допомогою кожної можливої ​​пари, а товста чорна лінія показує отриману оцінку щільності (тобто розподілу суміші).$[-1.3,0.15,0.73,1.4]$

До речі, реально реалізувати метод в R, який витягує зразок із отриманого розподілу суміші:

# Generating some "data"
x <- rnorm(30)

# Drawing from the density estimate using the method described above.
density_estimate_sample <- replicate(9999, {
  pair <- sample(x, size = 2)
  rnorm(1, mean(pair), sd(pair))
})

# Plotting the density estimate compared with 
# the "data" and the "true" density.
hist(x ,xlim=c(-5, 5), main='The "data"')
hist(density_estimate_sample, xlim=c(-5, 5), main='Estimated density')
hist(rnorm(9999), xlim=c(-5, 5), main='The "true" density')

Це інтригуюча ідея, оскільки оцінювач стандартного відхилення виявляється менш чутливим до людей, що звикають, ніж звичайні підходи середньоквадратичного квадрату. Однак, я сумніваюся, цей оцінювач був опублікований. Три причини: це обчислювально неефективно, воно є упередженим, і навіть коли виправлення змінено, воно є статистично неефективним (але лише небагато). Це можна побачити за допомогою невеликого попереднього аналізу, тому давайте зробимо це спочатку, а потім зробимо висновки.

Аналіз

Оцінки ML середнього та стандартного відхилення на основі даних єσ ( x i , x j$\mu$$\sigma$$(x_i, x_j)$

$$\hat\mu(x_i,x_j) = \frac{x_i+x_j}{2}$$

і

$$\hat\sigma(x_i,x_j) = \frac{|x_i-x_j|}{2}.$$

Тому метод, описаний у питанні, є

$$\hat\mu(x_1, x_2, \ldots, x_n) = \frac{2}{n(n-1)} \sum_{i\gt j} \frac{x_i+x_j}{2} = \frac{1}{n}\sum_{i=1}^nx_i,$$

що є звичайним оцінювачем середнього, і

$$\hat\sigma(x_1, x_2, \ldots, x_n) = \frac{2}{n(n-1)}\sum_{i\gt j}\frac{|x_i-x_j|}{2} = \frac{1}{n(n-1)}\sum_{i,j}|x_i-x_j|.$$

Очікуване значення цього оцінювача легко виявляється шляхом використання обмінних даних, що означає, що не залежить від та . Звідси$E = \mathbb{E}(|x_i-x_j|)$$i$$j$

$$\mathbb{E}(\hat\sigma(x_1, x_2, \ldots, x_n)) = \frac{1}{n(n-1)}\sum_{i,j}\mathbb{E}(|x_i-x_j|) = E.$$

Але оскільки і є незалежними нормальними змінними, їх різниця - нульова середня нормальна з дисперсією . Тому його абсолютне значення - раз a розподіл, середнє значення якого . Отже$x_i$$x_j$$2\sigma^2$$\sqrt{2}\sigma$$\chi(1)$$\sqrt{2/\pi}$

$$E = \frac{2}{\sqrt{\pi}} \sigma.$$

Коефіцієнт - це зміщення в цьому оцінювачі.$2/\sqrt{\pi} \approx 1.128$

Таким же чином, але, маючи значно більше роботи, можна було б обчислити дисперсію , але - як ми побачимо - це навряд чи буде великим інтересом до цього, тому я просто оцінюю це за допомогою швидкого моделювання .$\hat\sigma$

Висновки

1. Оцінювач упереджений. має істотний постійний ухил приблизно + 13%. Це можна було виправити. У цьому прикладі з розміром вибірки на гістограмі нанесені як зміщені, так і виправлені зміщення оцінки. Похибка 13% очевидна.$\hat\sigma$$n=20,000$

   

2. Він обчислювально неефективний. Оскільки сума абсолютних значень,, не має алгебраїчного спрощення, його обчислення вимагає зусиль замість зусилля майже для будь-якого іншого оцінювача. Це масштабно погано, що робить його надмірно дорогим, коли перевищує або близько того. Наприклад, для обчислення попередньої цифри потрібно 45 секунд часу процесора та 8 ГБ оперативної пам’яті . (На інших платформах вимоги до оперативної пам’яті будуть значно меншими, можливо, за невеликих витрат у розрахунку.)$\sum_{i,j}|x_i-x_j|$$O(n^2)$$O(n)$$n$$10,000$R

3. Це статистично неефективно. Для найкращого відображення розглянемо об'єктивну версію та порівняємо її з неупередженою версією або найменших квадратів, або максимальної оцінки ймовірності.

   $$\hat\sigma_{OLS} = \sqrt{\left(\frac{1}{n-1} \sum_{i=1}^n \left(x_i - \hat\mu\right)^2\right)} \frac{(n-1)\Gamma((n-1)/2)}{2\Gamma(n/2)}.$$

   RНижче код демонструє , що несмещенная версія оцінки в питанні дивно ефективна: через діапазон розмірів вибірок з до її дисперсії, як правило , приблизно від 1% до 2% більше , ніж дисперсія . Це означає, що ви повинні планувати сплачувати додаткові на 1% до 2% більше за зразки, щоб досягти будь-якого заданого рівня точності в оцінці .п = 300 σ O L S$n=3$$n=300$$\hat\sigma_{OLS}$$\sigma$

Після цього

Форма нагадує надійну і стійку оцінку Тейла-Сена - але замість того, щоб використовувати медіани абсолютних різниць, вона використовує їх засоби. Якщо мета полягає у тому, щоб мати оцінювач, стійкий до зовнішніх значень, або той, який є надійним для відхилень від припущення про нормальність, то використання медіани було б доцільніше. $\hat\sigma$

---

Код

sigma <- function(x) sum(abs(outer(x, x, '-'))) / (2*choose(length(x), 2))
#
# sigma is biased.
#
y <- rnorm(1e3) # Don't exceed 2E4 or so!
mu.hat <- mean(y)
sigma.hat <- sigma(y)

hist(y, freq=FALSE,
     main="Biased (dotted red) and Unbiased (solid blue) Versions of the Estimator",
     xlab=paste("Sample size of", length(y)))
curve(dnorm(x, mu.hat, sigma.hat), col="Red", lwd=2, lty=3, add=TRUE)
curve(dnorm(x, mu.hat, sqrt(pi/4)*sigma.hat), col="Blue", lwd=2, add=TRUE)
#
# The variance of sigma is too large.
#
N <- 1e4
n <- 10
y <- matrix(rnorm(n*N), nrow=n)
sigma.hat <- apply(y, 2, sigma) * sqrt(pi/4)
sigma.ols <- apply(y, 2, sd) / (sqrt(2/(n-1)) * exp(lgamma(n/2)-lgamma((n-1)/2)))

message("Mean of unbiased estimator is ", format(mean(sigma.hat), digits=4))
message("Mean of unbiased OLS estimator is ", format(mean(sigma.ols), digits=4))
message("Variance of unbiased estimator is ", format(var(sigma.hat), digits=4))
message("Variance of unbiased OLS estimator is ", format(var(sigma.ols), digits=4))
message("Efficiency is ", format(var(sigma.ols) / var(sigma.hat), digits=4))