Доведіть зв’язок між дистанцією махаланобіса та важелем?

Я бачив формули у Вікіпедії. які стосуються відстані махаланобісу та важеля:

Відстань махаланобіса тісно пов'язана зі статистикою важеля, , але має різну шкалу: $h$
$D^{2} = (N - 1) (h - \frac{1}{N}) .$ $D^2 = (N - 1)(h - \tfrac{1}{N}).$

У пов'язаній статті Вікіпедія описує $h$ у цих термінах:

У моделі лінійної регресії, оцінка важелів для блоку даних визначаються як: діагонального елемента шолома матриця , де позначає матрицю транспозиції. $i^{th}$
$h_{i i} = (H)_{i i},$ $h_{ii}=(H)_{ii},$ $i^{th}$ $H=X(X^{\top}X)^{-1}X^{\top}$ $^{\top}$

Я ніде не можу знайти доказ. Я намагався почати з визначень, але не можу досягти жодного прогресу. Хтось може дати якусь підказку?

— dave2d
джерело

Мій опис відстані махаланобіса внизу до верхнього пояснення відстані махаланобіса? включає два ключові результати:

За визначенням, воно не змінюється, коли регресори зміщуються рівномірно.
Відстань махаланобіса в квадраті між векторами $x$ і $y$ задається через
$D^{2} (x, y) = (x - y)^{'} Σ^{- 1} (x - y)$ $D^2(x,y) = (x-y)^\prime \Sigma^{-1}(x-y)$ де $\Sigma$ - коваріантність даних.

(1) дозволяє припустити, що засоби регресорів усі дорівнюють нулю. Залишається обчислити . Однак, щоб твердження було правдивим, нам потрібно додати ще одне припущення: $h_i$

Модель повинна містити перехоплення.

Дозволяючи це, нехай буде регресорів і даних, записуючи значення регресора для спостереження як . Нехай вектор стовпців цих значень для регресора записується і вектор рядків цих значень для спостереження записується . Тоді матриця моделі є $k \ge 0$ $n$ $j$ $i$ $x_{ij}$ $n$ $j$ $\mathbf{x}_{,j}$ $k$ $i$ $\mathbf{x}_i$

Х = (\begin{matrix} 1 & х_{11} & \dots & х_{1 к} \\ 1 & х_{21} & \dots & х_{2 к} \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 1 & х_{н 1} & \dots & х_{н к} \end{matrix})

$X = \pmatrix{ 1 &x_{11} &\cdots &x_{1k} \\ 1 &x_{21} &\cdots &x_{2k} \\ \vdots &\vdots &\vdots &\vdots \\ 1 &x_{n1} &\cdots &x_{nk}}$

і, за визначенням, матриця капелюхів є

Н = Х (Х^{'} Х)^{- 1} Х^{'},

$H = X(X^\prime X)^{-1} X^\prime,$

звідки вхід по діагоналі $i$

\begin{matrix} (1) & {год}_{i} = {год}_{i i} = (1; х_{i}) (Х^{'} Х)^{- 1} (1; х_{i})^{'} . \end{matrix}

$h_i = h_{ii} = (1; \mathbf{x}_i) (X^\prime X)^{-1} (1; \mathbf{x}_i)^\prime.\tag{1}$

Немає нічого, крім опрацювати цю центральну матрицю, обернену - але в силу першого ключового результату це легко, особливо коли ми пишемо його у вигляді блок-матриці:

Х^{'} Х = н (\begin{matrix} 1 & 0^{'} \\ 0 & С \end{matrix})

$X^\prime X = n\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C}$

де і $\mathbf{0} = (0,0,\ldots,0)^\prime$

С_{j к} = \frac{1}{н} \sum_{i = 1}^{н} х_{i j} х_{i к} = \frac{н - 1}{н} Ков (х_{j}, х_{к}) = \frac{н - 1}{н} Σ_{j к} .

$C_{jk} = \frac{1}{n} \sum_{i=1}^n x_{ij} x_{ik} = \frac{n-1}{n}\operatorname{Cov}(\mathbf{x}_j, \mathbf{x}_k) = \frac{n-1}{n}\Sigma_{jk}.$

(Я написав для матриці зразкової коваріації регресорів.) Оскільки це діагональ блоку, його обернення можна знайти просто шляхом перевертання блоків: $\Sigma$

(Х^{'} Х)^{- 1} = \frac{1}{н} (\begin{matrix} 1 & 0^{'} \\ 0 & С^{- 1} \end{matrix}) = (\begin{matrix} \frac{1}{н} & 0^{'} \\ 0 & \frac{1}{н - 1} Σ^{- 1} \end{matrix}) .

$(X^\prime X)^{-1} = \frac{1}{n}\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C^{-1}} = \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}.$

З визначення отримаємо $(1)$

\begin{aligned} {год}_{i} & = (1; х_{i}) (\begin{matrix} \frac{1}{н} & 0^{'} \\ 0 & \frac{1}{н - 1} Σ^{- 1} \end{matrix}) (1; х_{i})^{'} \\ = \frac{1}{н} + \frac{1}{н - 1} х_{i} Σ^{- 1} х_{i}^{'} \\ = \frac{1}{н} + \frac{1}{н - 1} D^{2} (х_{i}, 0) . \end{aligned}

$\eqalign{ h_i &= (1; \mathbf{x}_i) \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}(1; \mathbf{x}_i)^\prime \\ &=\frac{1}{n} + \frac{1}{n-1}\mathbf{x}_i \Sigma^{-1}\mathbf{x}_i^\prime \\ &=\frac{1}{n} + \frac{1}{n-1} D^2(\mathbf{x}_i, \mathbf{0}). }$

Розв’язання для квадратичної довжини дає $D_i^2 = D^2(\mathbf{x}_i, \mathbf{0})$

D_{i}^{2} = (н - 1) ({год}_{i} - \frac{1}{н}),

$D_i^2 = (n-1)\left(h_i - \frac{1}{n}\right),$

QED .

Озираючись назад, можна простежити адитивний член в присутності перехоплення, який ввів стовпець одиниць в модель матриці . Мультипликативний термін з'явився після того, як припускати, що відстань махаланобіса буде обчислена за допомогою вибіркової оцінки коваріації (яка ділить суми квадратів і продуктів на ), а не матриці коваріації даних (яка ділить суму квадратів і продукції по ). $1/n$ $X$ $n-1$ $n-1$ $n$

Основна цінність цього аналізу полягає в наданні геометричної інтерпретації важелю, який вимірює, наскільки зміна одиниці у відповіді під час спостереження змінить пристосоване значення при цьому спостереженні: спостереження з високим важелем знаходяться на великих відстанях махаланобіса від центрального центру регресорів, саме як механічно ефективний важіль працює на великій відстані від його опорної точки. $i$

R код, щоб показати, що відношення справді має місце:

x <- mtcars

# Compute Mahalanobis distances
h <- hat(x, intercept = TRUE); names(h) <- rownames(mtcars)
M <- mahalanobis(x, colMeans(x), cov(x))

# Compute D^2 of the question
n <- nrow(x); D2 <- (n-1)*(h - 1/n)

# Compare.
all.equal(M, D2)               # TRUE
print(signif(cbind(M, D2), 3))

— дзижчати
джерело

Відмінна відповідь, дуже добре округлена суворістю та інтуїцією. Ура!

— cgrudz

Дякую за пост @whuber! Для перевірки здоровості тут є R-код, який показує, що відношення справді виконується: x <- назви рядків mtcars (x) <- NULL-назви (x) <- NULL n <- nrow (x) h <- hat (x, T) mahalanobis (x, colMeans (x), cov (x)) (n-1) * (h - 1 / n) all.equal (mahalanobis (x, colMeans (x), cov (x)), (n-1 ) * (год - 1 / н))

— Тал Галілі

@Tal Я не думав, що мені потрібна перевірка обґрунтованості - але дякую за код. :-) Я вніс зміни, щоб трохи уточнити його та його вихід.

— whuber

@whuber, я хотів приклад, який показує, як зробити так, щоб рівноправність працювала (даючи зрозуміти мені, що я зрозумів, що припущення є правильними). Я також продовжив відповідний запис у Вікі: en.wikipedia.org/wiki/… (

— Тал Галілі