Функції впливу та OLS

Я намагаюся зрозуміти, як працюють функції впливу. Чи може хтось пояснити в контексті простої регресії OLS

y_{i} = α + β \cdot x_{i} + ε_{i}

$\begin{equation} y_i = \alpha + \beta \cdot x_i + \varepsilon_i \end{equation}$

де я хочу функцію впливу для . $\beta$

regression least-squares

— stevejb
джерело

Тут ще немає конкретного питання: чи хочете ви дізнатися, як обчислюється функція впливу? Ви хочете конкретного емпіричного прикладу? Евристичне пояснення, що це означає?

— whuber

Якщо ви подивитесь на папір Франка Кричлі 1986 року, "він впливає на функції основних компонентів" (не можу згадати точну назву статті). Він визначає функцію впливу для звичайної регресії тут (що може чи не може довести мою відповідь неправильною).

— ймовірністьлогічний

Відповіді:

Функції впливу - це в основному аналітичний інструмент, який можна використовувати для оцінки ефекту (або "впливу") вилучення спостереження на значення статистики без необхідності повторного обчислення цієї статистики . Вони також можуть бути використані для створення асимптотичних оцінок дисперсії. Якщо вплив дорівнює то асимптотична дисперсія дорівнює . $I$ $\frac{I^2}{n}$

Те, як я розумію функції впливу, полягає в наступному. У вас є якийсь теоретичний CDF, позначений . Для простого OLS у вас є $F_{i}(y)=Pr(Y_{i}<y_{i})$

P r (Y_{i} < y_{i}) = P r (α + β x_{i} + ϵ_{i} < y_{i}) = Φ (\frac{y_{i} - (α + β x_{i})}{σ})

$Pr(Y_{i}<y_{i})=Pr(\alpha+\beta x_{i} + \epsilon_{i} < y_{i})=\Phi\left(\frac{y_{i}-(\alpha+\beta x_{i})}{\sigma}\right)$ Де стандартний нормальний CDF, а - дисперсія помилок. Тепер ви можете показати, що будь-яка статистика буде функцією цього CDF, звідси і позначення (тобто деяка функція ). Тепер припустимо, що ми змінимо функцію на "трохи", на Де , і . Таким чином, являє собою CDF даних із видаленою "i" точкою даних. Ми можемо зробити тейлорові серії

Φ (z)

$\Phi(z)$

σ^{2}

$\sigma^2$

S (F)

$S(F)$

F

$F$

F

$F$

F_{(i)} (z) = (1 + ζ) F (z) - ζ δ_{(i)} (z)

$F_{(i)}(z)=(1+\zeta)F(z)-\zeta \delta_{(i)}(z)$

δ_{i} (z) = I (y_{i} < z)

$\delta_{i}(z)=I(y_{i}<z)$

ζ = \frac{1}{n - 1}

$\zeta=\frac{1}{n-1}$

F_{(i)}

$F_{(i)}$

F_{(i)} (z)

$F_{(i)}(z)$ про . Це дає:

ζ = 0

$\zeta=0$

S [F_{(i)} (z, ζ)] \approx S [F_{(i)} (z, 0)] + ζ [\frac{\partial S [F_{(i)} (z, ζ)]}{\partial ζ} |_{ζ = 0}]

$S[F_{(i)}(z,\zeta)] \approx S[F_{(i)}(z,0)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$

Зауважимо, що тому отримаємо: $F_{(i)}(z,0)=F(z)$

S [F_{(i)} (z, ζ)] \approx S [F (z)] + ζ [\frac{\partial S [F_{(i)} (z, ζ)]}{\partial ζ} |_{ζ = 0}]

$S[F_{(i)}(z,\zeta)] \approx S[F(z)]+\zeta\left[\frac{\partial S[F_{(i)}(z,\zeta)]}{\partial \zeta}|_{\zeta=0}\right]$

Часткова похідна тут називається функцією впливу. Таким чином, це являє собою приблизну корекцію "першого порядку", яка повинна бути внесена до статистики завдяки видаленню спостереження "i". Зауважте, що в регресії залишок не переходить до нуля асимптотично, так що це наближення до тих змін, які ви можете насправді отримати. Тепер запишіть як: $\beta$

β = \frac{\frac{1}{n} \sum_{j = 1}^{n} (y_{j} - \bar{y}) (x_{j} - \bar{x})}{\frac{1}{n} \sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}}

$\beta=\frac{\frac{1}{n}\sum_{j=1}^{n}(y_{j}-\overline{y})(x_{j}-\overline{x})}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}$

Таким чином, бета - це функція двох статистичних даних: дисперсії X та коваріації між X та Y. Ці дві статистичні дані мають уявлення щодо CDF як:

c o v (X, Y) = \int (X - μ_{x} (F)) (Y - μ_{y} (F)) d F

$cov(X,Y)=\int(X-\mu_x(F))(Y-\mu_y(F))dF$ і де

v a r (X) = \int (X - μ_{x} (F))^{2} d F

$var(X)=\int(X-\mu_x(F))^{2}dF$

{мк}_{х} = \int х г Ж

$\mu_x=\int xdF$

Для видалення i-го спостереження замінимо в обох інтегралах, щоб дати: $F\rightarrow F_{(i)}=(1+\zeta)F-\zeta \delta_{(i)}$

{мк}_{х (i)} = \int х г [(1 + ζ) Ж - ζ δ_{(i)}] = {мк}_{х} - ζ (х_{i} - {мк}_{х})

$\mu_{x(i)}=\int xd[(1+\zeta)F-\zeta \delta_{(i)}]=\mu_x-\zeta(x_{i}-\mu_x)$

V а r (Х)_{(i)} = \int (Х - {мк}_{х (i)})^{2} г Ж_{(i)} = \int (Х - {мк}_{х} + ζ (х_{i} - {мк}_{х}))^{2} г [(1 + ζ) Ж - ζ δ_{(i)}]

$Var(X)_{(i)}=\int(X-\mu_{x(i)})^{2}dF_{(i)}=\int(X-\mu_x+\zeta(x_{i}-\mu_x))^{2}d[(1+\zeta)F-\zeta \delta_{(i)}]$

ігноруючи умови і спрощуючи, отримуємо: Аналогічно для коваріації $\zeta^{2}$

V а r (Х)_{(i)} \approx V а r (Х) - ζ [(х_{i} - {мк}_{х})^{2} - V а r (Х)]

$Var(X)_{(i)}\approx Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]$

С о v (Х, Y)_{(i)} \approx С о v (Х, Y) - ζ [(х_{i} - {мк}_{х}) (у_{i} - {мк}_{у}) - С о v (Х, Y)]

$Cov(X,Y)_{(i)}\approx Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]$

Отже, тепер ми можемо виразити як функцію . Це є: $\beta_{(i)}$ $\zeta$

β_{(i)} (ζ) \approx \frac{С о v (Х, Y) - ζ [(х_{i} - {мк}_{х}) (у_{i} - {мк}_{у}) - С о v (Х, Y)]}{V а r (Х) - ζ [(х_{i} - {мк}_{х})^{2} - V а r (Х)]}

$\beta_{(i)}(\zeta)\approx \frac{Cov(X,Y)-\zeta\left[(x_{i}-\mu_x)(y_{i}-\mu_y)-Cov(X,Y)\right]}{Var(X)-\zeta\left[(x_{i}-\mu_x)^2-Var(X)\right]}$

Тепер ми можемо використовувати серію Тейлора:

β_{(i)} (ζ) \approx β_{(i)} (0) + ζ {[\frac{\partial β_{(i)} (ζ)}{\partial ζ}]}_{ζ = 0}

$\beta_{(i)}(\zeta)\approx \beta_{(i)}(0)+\zeta\left[\frac{\partial \beta_{(i)}(\zeta)}{\partial \zeta}\right]_{\zeta=0}$

Спрощення цього дає:

β_{(i)} (ζ) \approx β - ζ [\frac{(х_{i} - {мк}_{х}) (у_{i} - {мк}_{у})}{V а r (Х)} - β \frac{(х_{i} - {мк}_{х})^{2}}{V а r (Х)}]

$\beta_{(i)}(\zeta)\approx \beta-\zeta\left[\frac{(x_{i}-\mu_x)(y_{i}-\mu_y)}{Var(X)}-\beta\frac{(x_{i}-\mu_x)^2}{Var(X)}\right]$

І підключаючи значення статистики , , та ми отримуємо: $\mu_y$ $\mu_x$ $var(X)$ $\zeta=\frac{1}{n-1}$

β_{(i)} \approx β - \frac{х_{i} - \bar{х}}{н - 1} [\frac{у_{i} - \bar{у}}{\frac{1}{н} \sum_{j = 1}^{н} (х_{j} - \bar{х})^{2}} - β \frac{х_{i} - \bar{х}}{\frac{1}{н} \sum_{j = 1}^{н} (х_{j} - \bar{х})^{2}}]

$\beta_{(i)}\approx \beta-\frac{x_{i}-\overline{x}}{n-1}\left[\frac{y_{i}-\overline{y}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}-\beta\frac{x_{i}-\overline{x}}{\frac{1}{n}\sum_{j=1}^{n}(x_{j}-\overline{x})^2}\right]$

І ви можете бачити, як ефект від вилучення одного спостереження можна наблизити без необхідності перевстановлення моделі. Ви також можете бачити, як х, рівний середньому, не впливає на нахил лінії . Подумайте над цим і побачите, як це має сенс. Ви також можете записати це більш лаконічно з точки зору стандартизованих значень (аналогічно y): $\tilde{x}=\frac{x-\overline{x}}{s_{x}}$

β_{(i)} \approx β - \frac{\tilde{х_{i}}}{н - 1} [\tilde{у_{i}} \frac{с_{у}}{с_{х}} - \tilde{х_{i}} β]

$\beta_{(i)}\approx \beta-\frac{\tilde{x_{i}}}{n-1}\left[\tilde{y_{i}}\frac{s_y}{s_x}-\tilde{x_{i}}\beta\right]$

— ймовірністьіслогічна
джерело

Отже, історія про вплив додаткової точки даних? Я більше звик до імпульсної реакції для даних часових рядів, в статистичному контексті весь вплив описувався б граничним ефектом або (кращим вибором) бета-коефіцієнтом від стандартизованої регресії. Ну, мені дійсно потрібно більше контексту, щоб оцінити питання і відповісти, але цей приємний, я думаю (+1 ще не, але чекаю).

— Дмитро Челов

@dmitrij - Це те, що малося на увазі (або що я зробив із посилання) - це про властивості статистики. Функції впливу є дещо більш загальними, ніж 1 точка даних - ви можете перезначити дельта-функцію як суму їх (так багато спостережень). Я б вважав це певною мірою "дешевим джекніфом" - тому що вам не потрібно переобладнання моделі.

— ймовірністьлогічний

Ось надзвичайно загальний спосіб розповісти про функції впливу регресії. Спочатку я торкнуся одного із способів представлення функцій впливу:

Припустимо, - розподіл на . Забруднена функція розподілу , може бути визначена як: де є ймовірнісної мірою на , яка присвоює ймовірність 1 і 0 для всіх інших елементів . $F$ $\Sigma$ $F_\epsilon(x)$

Ж_{ϵ} (х) = (1 - ϵ) Ж + ϵ δ_{х}

$F_\epsilon(x)=(1-\epsilon)F+\epsilon\delta_x$

δ_{x}

$\delta_x$

Σ

$\Sigma$

{x}

$\{x\}$

Σ

$\Sigma$

З цього можна досить легко визначити функцію впливу:

Вплив функції з на , визначається наступним чином: $\hat{\theta}$ $F$ $\psi_i:\mathcal{X}\to\Gamma$

ψ_{\hat{θ}, Ж} (х) = lim_{ϵ \to 0} \frac{\hat{θ} (Ж_{ϵ} (х)) - \hat{θ} (Ж)}{ϵ}

$\begin{equation} \psi_{\hat{\theta},F}(x)=\lim\limits_{\epsilon\to 0}\dfrac{\hat{\theta}(F_\epsilon(x))-\hat{\theta}(F)}{\epsilon} \end{equation}$

Звідси можна побачити, що функцією впливу є похідна Gateaux від у у напрямку . Це робить інтерпретацію функцій впливу (для мене) дещо зрозумілішою: функція впливу повідомляє вам про вплив, який певне спостереження має на оцінювач. $\hat\theta$ $F$ $\delta_x$

Оцінка OLS - це рішення проблеми:

\hat{θ} = арг \underset{θ}{хв} Е [(Y - Х θ)^{Т} (Y - Х θ)]

$\hat\theta=\arg\min_\theta E[(Y-X\theta)^T(Y-X\theta)]$

Уявіть, забруднений розподіл, який надає трохи більше ваги спостереженню : $(x,y)$

{\hat{θ}}_{ϵ} = арг \underset{θ}{хв} (1 - ϵ) Е [(Y - Х θ)^{Т} (Y - Х θ)] + ϵ (у - х θ)^{Т} (у - х θ)

$\hat\theta_\epsilon = \arg\min_\theta (1-\epsilon)E[(Y-X\theta)^T(Y-X\theta)]+\epsilon (y-x\theta)^T(y-x\theta)$

Прийняття умов першого замовлення:

{(1 - ϵ) Е [Х^{Т} Х] + ϵ х^{Т} х} {\hat{θ}}_{ϵ} = (1 - ϵ) Е [Х^{Т} Y] + ϵ х^{Т} у

$\left\{(1-\epsilon)E[X^TX]+\epsilon x^Tx\right\}\hat\theta_\epsilon = (1-\epsilon)E[X^TY]+\epsilon x^Ty$

Оскільки функція впливу - це лише похідна Гато, то зараз ми можемо сказати:

- (Е [Х^{Т} Х] + х^{Т} х) {\hat{θ}}_{ϵ} + Е [Х^{Т} Х] ψ_{θ} (х, у) = - Е [Х^{Т} Y] + х^{Т} у

$-(E[X^TX]+x^Tx)\hat\theta_\epsilon + E[X^TX]\psi_{\theta}(x,y) = -E[X^TY] + x^Ty$

В , , так: $\epsilon=0$ $\hat\theta_\epsilon=\hat\theta=E[X^TX]^{-1}E[X^TY]$

ψ_{θ} (х, у) = Е [Х^{Т} Х]^{- 1} х^{Т} (у - х θ)

$\psi_{\theta}(x,y)=E[X^TX]^{-1}x^T(y-x\theta)$

Кінцевим аналогом вибірки цієї функції впливу є:

ψ_{θ} (х, у) = {(\frac{1}{N} \sum_{i} Х_{i}^{Т} Х_{i})}^{- 1} х^{Т} (у - х θ)

$\psi_{\theta}(x,y)=\left(\dfrac{1}{N}\sum_i X_i^TX_i\right)^{-1}x^T(y-x\theta)$

Взагалі, мені здається, що ця рамка (робота з функціями впливу як похідні Гато) легше мати справу.

— джейк
джерело