"Оцінка щільності ядра" - це згортання того, що?

Я намагаюся краще зрозуміти оцінку щільності ядра.

Використання визначення з Вікіпедії: https://en.wikipedia.org/wiki/Kernel_density_estimation#Definition

$\hat{f_h}(x) = \frac{1}{n}\sum_{i=1}^n K_h (x - x_i) \quad = \frac{1}{nh} \sum_{i=1}^n K\Big(\frac{x-x_i}{h}\Big)$

Візьмемо як прямокутну функцію, яка дає якщо знаходиться в межах від до і іншому випадку, а (розмір вікна) дорівнює 1. $K()$ $1$ $x$ $-0.5$ $0.5$ $0$ $h$

Я розумію, що щільність - це згортання двох функцій, але я не впевнений, що знаю, як визначити ці дві функції. Один з них повинен (мабуть) бути функцією даних, яка для кожної точки R повідомляє нам, скільки точок даних у нас є в цьому місці (в основному ). А інша функція, ймовірно, повинна бути деякою модифікацією функції ядра в поєднанні з розміром вікна. Але я не впевнений, як це визначити. $0$

Будь-які пропозиції?

Беллоу - приклад коду R, який (я підозрюю) повторює налаштування, які я визначив вище (із сумішшю двох гауссів і ), на якому я сподіваюся побачити "доказ" того, що функції, які потрібно згортати, такі, як ми підозрюємо . $n=100$

# example code:
set.seed(2346639)
x <- c(rnorm(50), rnorm(50,2))
plot(density(x, kernel='rectangular', width=1, n = 10**4))
rug(x)

введіть тут опис зображення

r kernel-smoothing convolution

— Тал Галілі
джерело

Ваш килим внизу дає деяку грубу інтуїцію. Уявіть, що кожне значення від до - це шип з пов'язаною вагою . Тепер намазайте кожен шип, використовуючи форму та ширину вашого ядра, щоб шип перетворився на той самий форму та ширину, з такою висотою, що площа нижче . Додайте результати, і у вас є оцінка щільності ядра.

x_{i}

$x_i$

i = 1

$i = 1$

n

$n$

1 / n

$1/n$

1 / n

$1/n$

— Нік Кокс

Привіт Нік, дякую за коментар. Це далеко не в інтуїції, яку я вже отримав, це перетворення її формально у форму згортки, яку мені було цікаво бачити :) (Я зараз хочу пройти відповідь Вюбера!)

— Тал Галілі

Відповідна будь-якій партії даних - це її "емпірична функція щільності" $X = (x_1, x_2, \ldots, x_n)$

f_{X} (x) = \frac{1}{n} \sum_{i = 1}^{n} δ (x - x_{i}) .

$f_X(x) = \frac{1}{n}\sum_{i=1}^{n} \delta(x-x_i).$

Тут - це "узагальнена функція". Незважаючи на це ім'я, це зовсім не функція: це новий математичний об'єкт, який можна використовувати лише в межах інтегралів. Її визначальною властивістю є те, що для будь-якої функції компактної підтримки, яка є безперервною в околиці , $\delta$ $g$ $0$

\int_{R} δ (x) g (x) d x = g (0) .

$\int_{\mathbb{R}}\delta(x) g(x) dx = g(0).$

(Назви для включають "атомну" або "точну" міру та " функцію дельти Дірака ". У наступному розрахунку ця концепція розширюється і включає функції які є безперервними лише з одного боку.) $\delta$ $g$

Виправданням цієї характеристики є спостереження, яке $f_X$

\begin{aligned} \int_{- \infty}^{x} f_{X} (y) d y & = \int_{- \infty}^{x} \frac{1}{n} \sum_{i = 1}^{n} δ (y - x_{i}) d y \\ = \frac{1}{n} \sum_{i = 1}^{n} \int_{- \infty}^{x} δ (y - x_{i}) d y \\ = \frac{1}{n} \sum_{i = 1}^{n} \int_{R} I (y \leq x) δ (y - x_{i}) d y \\ = \frac{1}{n} \sum_{i = 1}^{n} I (x_{i} \leq x) \\ = F_{X} (x) \end{aligned}

$\eqalign{ \int_{-\infty}^{x} f_X(y) dy &= \int_{-\infty}^{x} \frac{1}{n}\sum_{i=1}^{n} \delta(y-x_i)dy \\ &= \frac{1}{n}\sum_{i=1}^{n} \int_{-\infty}^{x} \delta(y-x_i)dy \\ &= \frac{1}{n}\sum_{i=1}^{n} \int_{\mathbb{R}} I(y\le x) \delta(y-x_i)dy \\ &= \frac{1}{n}\sum_{i=1}^{n} I(x_i \le x) \\ &= F_X(x) }$

де - це звичайний емпіричний CDF, а - звичайна характеристична функція (дорівнює коли її аргумент є істинним, а іншому випадку). (Я пропускаю елементарний обмежуючий аргумент, необхідний для переходу від функцій компактної підтримки до функцій, визначених через ; тому що потрібно визначити лише значення в межах діапазону , який є компактним, це не проблема.) $F_X$ $I$ $1$ $0$ $\mathbb{R}$ $I$ $X$

Згортка з будь-якої іншої функції дається, за визначенням, оскільки $f_X(x)$ $k$

\begin{aligned} (f_{Х} * к) (х) & = \int_{R} f_{Х} (х - у) к (у) г у \\ = \int_{R} \frac{1}{н} \sum_{i = 1}^{н} δ (х - у - х_{i}) к (у) г у \\ = \frac{1}{н} \sum_{i = 1}^{н} \int_{R} δ (х - у - х_{i}) к (у) г у \\ = \frac{1}{н} \sum_{i = 1}^{н} к (х_{i} - х) . \end{aligned}

$\eqalign{ (f_X * k)(x) &= \int_{\mathbb{R}} f_X(x - y) k(y) dy \\ &=\int_{\mathbb{R}} \frac{1}{n}\sum_{i=1}^{n} \delta(x-y-x_i) k(y) dy \\ &= \frac{1}{n}\sum_{i=1}^{n}\int_{\mathbb{R}} \delta(x-y-x_i) k(y) dy \\ &=\frac{1}{n}\sum_{i=1}^{n} k(x_i-x). }$

$k(x) = K_h(-x)$ $K_h(x)$

— дзижчати
джерело

Ситуація у двох вимірах пояснюється (більш розмовно) і проілюстрована на сайті ГІС за адресою gis.stackexchange.com/questions/14374/… .

— whuber

Шановний Вюбер, я щойно пройшов і з захопленням прочитав твою відповідь! Дуже дякую вам за пояснення та деталі, ваші відповіді (ця та взагалі ваші інші) справді надихають. Твій, Таль

— Тал Галілі

δ

$\delta$

g,

$g,$

x_{i}

$x_i$

g (x_{i}) .

$g(x_i).$

@whuber Дякую Речення Узагальнена функція δ зовсім не є функцією: це новий математичний об'єкт, який можна використовувати лише в межах інтегралів. зробило це зрозумілішим. як завжди. ;)

— Ян Вайнер

@Jan Дякую за допомогу: я включив цю ідею в цю відповідь.

— whuber