Як довести, що

Я намагався встановити нерівність

$| T_{i} | = \frac{| X_{i} - \bar{X} |}{S} \leq \frac{n - 1}{\sqrt{n}}$ $\left| T_i \right|=\frac{\left|X_i -\bar{X} \right|}{S} \leq\frac{n-1}{\sqrt{n}}$

де середнє значення вибірки і стандартне відхилення вибірки, тобто . $\bar{X}$ $S$ $S=\sqrt{\frac{\sum_{i=1}^n \left( X_i -\bar{X} \right)^2}{n-1}}$

Неважко помітити, що і так але це не дуже близько до того, що я шукав, і не є корисним пов'язаним. Я експериментував з нерівностями Коші-Шварца і трикутниками, але нікуди не дійшов. Повинно бути тонкий крок, який я десь пропускаю. Буду вдячний за допомогу, дякую. $\sum_{i=1}^n T_i^2 = n-1$ $\left| T_i \right| < \sqrt{n-1}$

self-study descriptive-statistics bounds

— ДжонК
джерело

Відповіді:

Це нерівність Самуельсона, і йому потрібен знак . Якщо взяти версію Вікіпедії та переробити її для визначення ви виявите, що вона стає $\leq$ $n-1$ $S,$

\frac{| X_{i} - \bar{X} |}{S} \leq \frac{n - 1}{\sqrt{n}}

${{ \left| X_i-\bar X \right| } \over S} \leq {{n-1} \over \sqrt{n}}$

— соклей
джерело

Це подано як сувора нерівність у книзі, але я це виправив, дякую.

— ДжонК

Після спрощення проблеми за допомогою рутинних процедур її можна вирішити, перетворивши її в програму подвійного мінімізації, яка має добре відому відповідь з елементарним доказом. Можливо, ця дуалізація - це "тонкий крок", про який йдеться у питанні. Нерівність також може бути встановлена суто механічним шляхом, максимізуючичерез множники Лагранжа. $|T_i|$

По-перше, я пропоную більш елегантне рішення, засноване на геометрії найменших квадратів. Це не вимагає попереднього спрощення і є майже негайним, забезпечуючи пряму інтуїцію результату. Як запропоновано в питанні, проблема зводиться до нерівності Коші-Шварца.

Геометричне рішення

Розглянемо як -вимірний вектор в евклідовому просторі зі звичайним точковим добутком. Нехай стати базисний вектор і . Запишіть та для ортогональних проекцій та в ортогональний додаток . (У статистичній термінології вони є залишками щодо засобів.) Тоді, оскільки і $\mathbf{x} = (X_1, X_2, \ldots, X_n)$ $n$ $\mathbf{y} = (0,0,\ldots,0,1,0,\ldots,0)$ $i^\text{th}$ $\mathbf{1} = (1,1,\ldots, 1)$ $\mathbf{\hat x}$ $\mathbf{\hat y}$ $\mathbf{x}$ $\mathbf{y}$ $\mathbf{1}$ $X_i-\bar X = \mathbf{\hat x}\cdot \mathbf{y}$ $S = ||\mathbf{\hat x}||/\sqrt{n-1}$ ,

| T_{i} | = \sqrt{n - 1} \frac{| \hat{x} \cdot y |}{| | \hat{x} | |} = \sqrt{n - 1} \frac{| \hat{x} \cdot \hat{y} |}{| | \hat{x} | |}

$|T_i| = \sqrt{n-1}\frac{|\mathbf{\hat x} \cdot \mathbf{y}|}{||\mathbf{\hat x}||} = \sqrt{n-1}\frac{|\mathbf{\hat x} \cdot \mathbf{\hat y}|}{||\mathbf{\hat x}||}$

- компонент у напрямку . За Коші-Шварцем максимально точно, коли паралельний , для яких QED. $\mathbf{\hat y}$ $\mathbf{\hat x}$ $\mathbf{\hat x}$ $\mathbf{\hat y} = (-1,-1,\ldots,-1,n-1,-1,-1,\ldots,-1)/n$

T_{i} = \pm \sqrt{n - 1} \frac{\hat{y} \cdot \hat{y}}{| | \hat{y} | |} = \pm \sqrt{n - 1} | | \hat{y} | | = \pm \frac{n - 1}{\sqrt{n}},

$T_i = \pm \sqrt{n-1} \frac{\mathbf{\hat y}\cdot \mathbf{\hat y} }{ ||\mathbf{\hat y}||} = \pm\sqrt{n-1}||\mathbf{\hat y}|| = \pm\frac{n-1}{\sqrt{n}},$

Між іншим, це рішення забезпечує вичерпну характеристику всіх випадків, колиє максимальним: вони всі форми $|T_i|$

x = σ \hat{y} + μ 1 = σ (- 1, - 1, \dots, - 1, n - 1, - 1, - 1, \dots, - 1) + μ (1, 1, \dots, 1)

$\mathbf{x} = \sigma\mathbf{\hat y} + \mu\mathbf{1} = \sigma(-1,-1,\ldots,-1,n-1,-1,-1,\ldots,-1) + \mu(1,1,\ldots, 1)$

для всіх справжніх . $\mu, \sigma$

Цей аналіз легко узагальнюється у випадку, коли замінюється будь-яким набором регресорів. Очевидно, що максимум пропорційний довжині залишків ,. $\{\mathbf{1}\}$ $T_i$ $\mathbf{y}$ $||\mathbf{\hat y}||$

Спрощення

Оскільки є інваріантним при зміні місця розташування та масштабу, ми можемо без втрати загальності вважати, що дорівнює нулю, а їхні квадрати - . Це ідентифікуєз, оскільки (середній квадрат) дорівнює . Максимізація його рівнозначна максимальному . Жодна загальність не втрачається, приймаючи , оскільки є обмінними. $T_i$ $X_i$ $n-1$ $|T_i|$ $|X_i|$ $S$ $1$ $|T_i|^2 = T_i^2 = X_i^2$ $i=1$ $X_i$

Розчин за допомогою подвійної рецептури

Подвійна проблема полягає у фіксації значення і запитання, які значення решти потрібні для мінімізації суми квадратів враховуючи, що . Оскільки задано , це проблема мінімізації враховуючи, що . $X_1^2$ $X_j, j\ne 1$ $\sum_{j=1}^n X_j^2$ $\sum_{j=1}^n X_j = 0$ $X_1$ $\sum_{j=2}^n X_j^2$ $\sum_{j=2}^n X_j = -X_1$

Рішення легко знайти багатьма способами. Одне з найелементарніших - писати

X_{j} = - \frac{X_{1}}{n - 1} + ε_{j}, j = 2, 3, \dots, n

$X_j = -\frac{X_1}{n-1} + \varepsilon_j,\ j=2, 3, \ldots, n$

для якого . Розширення цільової функції та використання цієї ідентичності сума-нуль для її спрощення виробляє $\sum_{j=2}^n \varepsilon_j = 0$

\sum_{j = 2}^{n} X_{j}^{2} = \sum_{j = 2}^{n} {(- \frac{X_{1}}{n - 1} + ε_{j})}^{2} = \sum {(- \frac{X_{1}}{n - 1})}^{2} - 2 \frac{X_{1}}{n - 1} \sum ε_{j} + \sum ε_{j}^{2} = Constant + \sum ε_{j}^{2},

$\sum_{j=2}^n X_j^2 = \sum_{j=2}^n \left(-\frac{X_1}{n-1} + \varepsilon_j\right)^2 = \\\sum \left(-\frac{X_1}{n-1}\right)^2 - 2\frac{X_1}{n-1}\sum \varepsilon_j + \sum \varepsilon_j^2 \\= \text{Constant} + \sum \varepsilon_j^2,$

негайно показавши унікальне рішення - для всіх . Для цього рішення $\varepsilon_j=0$ $j$

(n - 1) S^{2} = X_{1}^{2} + (n - 1) {(- \frac{X_{1}}{n - 1})}^{2} = (1 + \frac{1}{n - 1}) X_{1}^{2} = \frac{n}{n - 1} X_{1}^{2}

$(n-1)S^2 = X_1^2 + (n-1)\left(-\frac{X_1}{n-1}\right)^2 = \left(1 + \frac{1}{n-1}\right)X_1^2 = \frac{n}{n-1}X_1^2$

| T_{i} | = \frac{| X_{1} |}{S} = \frac{| X_{1} |}{\sqrt{\frac{n}{(n - 1)^{2}} X_{1}^{2}}} = \frac{n - 1}{\sqrt{n}},

$|T_i| = \frac{|X_1|}{S} = \frac{|X_1|}{\sqrt{\frac{n}{(n-1)^2}X_1^2}} = \frac{n-1}{\sqrt{n}},$

QED .

Рішення за допомогою машини

Повернення до спрощеної програми ми почали з:

Maximize X_{1}^{2}

$\text{Maximize } X_1^2$

на тему

\sum_{i = 1}^{n} X_{i} = 0 and \sum_{i = 1}^{n} X_{i}^{2} - (n - 1) = 0.

$\sum_{i=1}^n X_i = 0\text{ and }\sum_{i=1}^n X_i^2 -(n-1)=0.$

Метод множників Лагранжа (який майже чисто механічний і прямолінійний) прирівнює нетривіальну лінійну комбінацію градієнтів цих трьох функцій до нуля:

(0, 0, \dots, 0) = λ_{1} D (X_{1}^{2}) + λ_{2} D (\sum_{i = 1}^{n} X_{i}) + λ_{3} D (\sum_{i = 1}^{n} X_{i}^{2} - (n - 1)) .

$(0,0,\ldots, 0) = \lambda_1 D(X_1^2) + \lambda_2 D\left(\sum_{i=1}^n X_i\right ) + \lambda_3 D\left(\sum_{i=1}^n X_i^2 -(n-1)\right).$

Компонент за складовою, ці рівняння є $n$

\begin{aligned} 0 & = 2 λ_{1} X_{1} + & λ_{2} & + 2 λ_{3} X_{1} \\ 0 & = & λ_{2} & + 2 λ_{3} X_{2} \\ 0 & = \dots \\ 0 & = & λ_{2} & + 2 λ_{3} X_{n} . \end{aligned}

$\eqalign{ 0 &= 2\lambda_1 X_1 +& \lambda_2 &+ 2\lambda_3 X_1 \\ 0 &= & \lambda_2 &+ 2\lambda_3 X_2 \\ 0 &= \cdots \\ 0 &= & \lambda _2 &+ 2\lambda_3 X_n. }$

Останній з них означає або або . (Ми можемо виключити останній випадок, тому що тоді перше рівняння передбачає , тривіалізуючи лінійну комбінацію.) Обмеження суми до нуля виробляє . Обмеження суми квадратів забезпечує два рішення $n-1$ $X_2 = X_3 = \cdots = X_n = -\lambda_2/(2\lambda_3)$ $\lambda_2=\lambda_3=0$ $\lambda_1=0$ $X_1 = -(n-1)X_2$

X_{1} = \pm \frac{n - 1}{\sqrt{n}}; X_{2} = X_{3} = \dots = X_{n} = \mp \frac{1}{\sqrt{n}} .

$X_1 = \pm\frac{n-1}{\sqrt{n}};\ X_2 = X_3 = \cdots = X_n = \mp\frac{1}{\sqrt{n}}.$

Вони обоє поступаються

| T_{i} | = | X_{1} | \leq | \pm \frac{n - 1}{\sqrt{n}} | = \frac{n - 1}{\sqrt{n}} .

$|T_i| = |X_1| \le |\pm\frac{n-1}{\sqrt{n}}| = \frac{n-1}{\sqrt{n}}.$

— дзижчати
джерело

Дякую за ваш додаток, геометрія дуже потужна, і з усіх трьох рішень вона для мене найбільш інтуїтивна.

— ДжонК

Зазначена нерівність є правдою. Цілком зрозуміло інтуїтивно, що ми отримуємо найскладніший випадок нерівності (тобто максимізацію лівої сторони гана для даного ), вибравши одне значення, скажімо, якомога більше, при цьому всі інші рівні. Розглянемо приклад з такою конфігурацією: $S^2$ $x_1$

n = 4, x_{1} = x_{2} = x_{3} = 0, x_{4} = 4, \bar{x} = 1, S^{2} = 4,

$n=4, \quad x_1=x_2=x_3=0, x_4=4, \bar{x}=1, S^2=4,$ тепер залежно від , тоді як дана верхня межа дорівнює що справедливо достатньо. Цю ідею можна доповнити доказом.

\frac{| x_{i} - \bar{x} |}{S} = {\begin{cases} \frac{1}{2} or \\ \frac{3}{2} \end{cases}

$\frac{|x_i-\bar{x}|}{S}=\begin{cases} \frac12 ~\text{or}~ \\ \frac32 \end{cases}$

i

$i$

\frac{4 - 1}{2} = 1.5

$\frac{4-1}{2}=1.5$

EDIT

Зараз ми доведемо твердження, як натякано вище. По-перше, для будь-якого заданого вектора у цій задачі ми можемо замінити його на не змінюючи жодної сторони нерівності вище. Отже, у наступному припустимо, що . Ми також можемо, повторно позначаючи, припустити, що є найбільшим. Тоді, вибравши спочатку а потім ми можемо за допомогою простої алгебри перевірити, що ми маємо рівність у заявленій нерівності. Отже, це різко. $x=(x_1, x_2, \dots, x_n)$ $x-\bar{x}$ $\bar{x}=0$ $x_1$ $x_1>0$ $x_2=x_3=\dots=x_n=-\frac{x_1}{n-1}$

Потім визначте (опуклу) область по для заданої позитивної константи . Зауважимо, що є перетином гіперплану із сферою, центрованою біля початку, так само сферою у -просторі. Тепер наша проблема може бути сформульована як починаючи з $R$

R = {x \in R : \bar{x} = 0, \sum (x_{i} - \bar{x})^{2} / (n - 1) \leq S^{2}}

$R = \{ x\in\mathbb{R} \colon \bar{x}=0, \sum(x_i-\bar{x})^2/(n-1) \le S^2\}$

S^{2}

$S^2$

R

$R$

(n - 1)

$(n-1)$

max_{x \in R} max_{i} | x_{i} |

$\max_{x\in R} \max_i |x_i|$

x

$x$ максимізація, що буде найскладнішим для нерівності. Це проблема пошуку максимуму опуклої функції над опуклим набором, що в цілому є складними проблемами (мінімуми - це просто!). Але в цьому випадку опукла область - це сфера, орієнтована на початок, і функція, яку ми хочемо максимізувати, - це абсолютне значення координат. Очевидно, що цей максимум знайдений у прикордонній сфері та, приймаючимаксимум, наш перший тестовий випадок вимушений.

R

$R$

| x_{1} |

$|x_1|$

— kjetil b halvorsen
джерело

@JohnK Ви можете видалити свої коментарі зараз, публікація виправлена

— kjetil b halvorsen

Хоча ця відповідь показує, що нерівність (якщо припустити, що це правда, якою вона є) є тісною , не очевидно, яким чином цей єдиний розрахунок може бути "завершений до доказу". Не могли б ви вказати, як це зробити?

— whuber

Буде, але завтра, тепер я повинен підготувати завтрашній клас.

— kjetil b halvorsen

Дякую - я вдячний за вашу ретельну постановку проблеми. Але ваш «доказ», схоже, приходить до твердження, що «це очевидно». Ви завжди можете застосувати множники Lagrange, щоб закінчити роботу, але було б непогано бачити підхід, який (а) насправді є доказом і (b) забезпечує розуміння.

— whuber

@whuber Якщо у вас є час, я буду вдячний, якщо ви зможете опублікувати своє рішення для множників Lagrange. Я думаю, що загальна нерівність не така відома, як повинна бути.

— ДжонК