Максимальне значення коефіцієнта варіації для обмеженого набору даних

17

У ході дискусії після нещодавнього запитання про те, чи може стандартне відхилення перевищувати середнє, одне питання було порушено коротко, але ніколи не було повністю відповіді. Тому я прошу це тут.

Розглянемо набір негативних чисел де для . Не потрібно, щоб були чіткими, тобто набір міг бути мультисетом. Середнє значення та дисперсія набору визначаються як а стандартне відхилення - . Зауважте, що набір чисел не є вибіркою з популяції, і ми не оцінюємо середню чи меншу кількість чисельність населення. Тоді питання: $n$ $x_i$ $0 \leq x_i \leq c$ $1 \leq i \leq n$ $x_i$

\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}, σ_{x}^{2} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2} = (\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - {\bar{x}}^{2}

$\bar{x} = \frac{1}{n}\sum_{i=1}^n x_i, ~~ \sigma_x^2 = \frac{1}{n}\sum_{i=1}^n (x_i - \bar{x})^2 = \left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) - \bar{x}^2$

σ_{x}

$\sigma_x$

Яке максимальне значення , коефіцієнт варіації, для всіх варіантів вибору в інтервалі ? $\dfrac{\sigma_x}{\bar{x}}$ $x_i$ $[0,c]$

Максимальне значення , яке можна знайти для є , яка досягається при з мають значення , а інші (викид) має значення , даючи Але це взагалі не залежить від , і мені цікаво, чи можна досягти більших значень, можливо залежних як від і від . $\frac{\sigma_x}{\bar{x}}$ $\sqrt{n-1}$ $n-1$ $x_i$ $0$ $x_i$ $c$

\bar{x} = \frac{c}{n}, \frac{1}{n} \sum x_{i}^{2} = \frac{c^{2}}{n} \Rightarrow σ_{x} = \sqrt{\frac{c^{2}}{n} - \frac{c^{2}}{n^{2}}} = \frac{c}{n} \sqrt{n - 1} .

$\bar{x} = \frac{c}{n},~~ \frac{1}{n}\sum x_i^2 = \frac{c^2}{n} \Rightarrow \sigma_x = \sqrt{\frac{c^2}{n} - \frac{c^2}{n^2}} = \frac{c}{n}\sqrt{n-1}.$

c

$c$

n

$n$

c

$c$

Будь-які ідеї? Я впевнений, що це питання було вивчене в статистичній літературі раніше, і тому посилання, як не реальні результати, були б дуже вдячні.

— Діліп Сарват
джерело

Я думаю, ти маєш рацію в тому, що це найбільше можливе значення, і я також здивований, що не має значення. Класно.

c

$c$

— Пітер Флом - Відновити Моніку

7

c

$c$ не повинно впливати на результат, оскільки не змінюється, якщо всі значення множать на будь-яку позитивну константу .

\frac{σ_{x}}{\bar{x}}

$\frac{\sigma_x}{\bar{x}}$

k

$k$

— Генріх

15

Геометрія забезпечує розуміння, а класичні нерівності дозволяють легко отримати доступ до суворості.

Геометричне рішення

З геометрії найменших квадратів ми знаємо, що є ортогональною проекцією вектора даних на лінійну підпростору, породжену постійним вектором і що прямо пропорційна відстані (евклідова) між і Обмеження, що не мають негативу, є лінійними, а відстань - це опукла функція, звідки крайності відстані повинні досягатися на краях конуса, визначених обмеженнями. Цей конус є позитивним ортантом у $\mathbf{\bar{x}} = (\bar{x}, \bar{x}, \ldots, \bar{x})$ $\mathbf{x}=(x_1, x_2, \ldots, x_n)$ $(1,1,\ldots,1)$ $\sigma_x$ $\mathbf{x}$ $\mathbf{\bar{x}}.$ $\mathbb{R}^n$ і його краї є осями координат, звідки відразу випливає, що всі, крім однієї з повинні бути нульовими на максимальних відстанях. Для такого набору даних прямий (простий) розрахунок показує $x_i$ $\sigma_x/\bar{x}=\sqrt{n}.$

Рішення, що використовує класичні нерівності

$\sigma_x/\bar{x}$ оптимізується одночасно з будь-яким монотонним перетворенням. З огляду на це, давайте максимізувати

\frac{x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2}}{(x_{1} + x_{2} + \dots + x_{n})^{2}} = \frac{1}{n} (\frac{n - 1}{n} {(\frac{σ_{x}}{\bar{x}})}^{2} + 1) = f (\frac{σ_{x}}{\bar{x}}) .

$\frac{x_1^2+x_2^2+\ldots+x_n^2}{(x_1+x_2+\ldots+x_n)^2} = \frac{1}{n}\left(\frac{n-1}{n}\left(\frac{\sigma_x}{\bar{x}}\right)^2+1\right) = f\left(\frac{\sigma_x}{\bar{x}}\right).$

(Формула для може виглядати загадковою, поки ви не зрозумієте, що вона лише записує кроки, які б здійснив алгебраїчно маніпулюючи щоб перетворити його в просту форму, яка є лівою стороною.) $f$ $\sigma_x/\bar{x}$

Простий шлях починається з нерівності власника ,

x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2} \leq (x_{1} + x_{2} + \dots + x_{n}) max ({x_{i}}) .

$x_1^2+x_2^2+\ldots+x_n^2 \le \left(x_1+x_2+\ldots+x_n\right)\max(\{x_i\}).$

(Для цього не потрібно спеціального доказування в цьому простому контексті: просто замініть один коефіцієнт кожного доданка на максимальний компонент : очевидно, сума квадратів не зменшиться. З загального терміна виходить права частина нерівності.) $x_i^2 = x_i \times x_i$ $\max(\{x_i\})$ $\max(\{x_i\})$

Оскільки не всі (це залишить невизначеним), ділення на квадрат їх суми є дійсним і дає еквівалентну нерівність $x_i$ $0$ $\sigma_x/\bar{x}$

\frac{x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2}}{(x_{1} + x_{2} + \dots + x_{n})^{2}} \leq \frac{max ({x_{i}})}{x_{1} + x_{2} + \dots + x_{n}} .

$\frac{x_1^2+x_2^2+\ldots+x_n^2}{(x_1+x_2+\ldots+x_n)^2} \le \frac{\max(\{x_i\})}{x_1+x_2+\ldots+x_n}.$

Оскільки знаменник не може бути меншим за чисельник (що саме є лише одним із доданків у знаменнику), у правій частині домінує значення , яке досягається лише тоді, коли всі, крім одного з дорівнюють . Звідси $1$ $x_i$ $0$

\frac{σ_{x}}{\bar{x}} \leq f^{- 1} (1) = \sqrt{(1 \times (n - 1)) \frac{n}{n - 1}} = \sqrt{n} .

$\frac{\sigma_x}{\bar{x}} \le f^{-1}\left(1\right) = \sqrt{\left(1 \times (n - 1)\right)\frac{n}{n-1}}=\sqrt{n}.$

Альтернативний підхід

Оскільки неотрицательний і не може дорівнювати , значення визначають розподіл ймовірності на . Записуючи для суми , визнаємо $x_i$ $0$ $p(i) = x_i/(x_1+x_2+\ldots+x_n)$ $F$ $\{1,2,\ldots,n\}$ $s$ $x_i$

\begin{aligned} \frac{x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2}}{(x_{1} + x_{2} + \dots + x_{n})^{2}} & = \frac{x_{1}^{2} + x_{2}^{2} + \dots + x_{n}^{2}}{s^{2}} \\ = (\frac{x_{1}}{s}) (\frac{x_{1}}{s}) + (\frac{x_{2}}{s}) (\frac{x_{2}}{s}) + \dots + (\frac{x_{n}}{s}) (\frac{x_{n}}{s}) \\ = p_{1} p_{1} + p_{2} p_{2} + \dots + p_{n} p_{n} \\ = E_{F} [p] . \end{aligned}

$\eqalign{ \frac{x_1^2+x_2^2+\ldots+x_n^2}{(x_1+x_2+\ldots+x_n)^2} &= \frac{x_1^2+x_2^2+\ldots+x_n^2}{s^2} \\ &= \left(\frac{x_1}{s}\right)\left(\frac{x_1}{s}\right)+\left(\frac{x_2}{s}\right)\left(\frac{x_2}{s}\right) + \ldots + \left(\frac{x_n}{s}\right)\left(\frac{x_n}{s}\right)\\ &= p_1 p_1 + p_2 p_2 + \ldots + p_n p_n\\ &= \mathbb{E}_F[p]. }$

Аксіоматичний факт, що жодна ймовірність не може перевищувати означає, що це очікування також не може перевищувати , але легко зробити його рівним , встановивши все, окрім одного з рівного а тому точно один з є ненульовим. Обчисліть коефіцієнт варіації, як в останньому рядку геометричного рішення вище. $1$ $1$ $1$ $p_i$ $0$ $x_i$

— дзижчати
джерело

Дякую за детальну відповідь, з якої я багато чого навчився! Я припускаю, що різниця між у вашій відповіді та яку я отримав (і підтвердив Генрі), пов'язана з тим, що ви використовуєте

\sqrt{n}

$\sqrt{n}$

\sqrt{n - 1}

$\sqrt{n-1}$

σ_{x} = \sqrt{\frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}}

$\sigma_x = \sqrt{\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2}$ як визначення тоді як я використовував

σ_{x}

$\sigma_x$

σ_{x} = \sqrt{\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x})^{2}} ?

$\sigma_x = \sqrt{\frac{1}{n}\sum_{i=1}^n(x_i-\bar{x})^2}?$

— Діліп Сарват

1

Так, Діліп, саме так. Вибачте за невідповідність питання; Я повинен був перевірити спочатку, і я повинен був визначити (що я мав намір зробити, але забув).

σ_{x}

$\sigma_x$

— whuber

10

Деякі згадки, як маленькі свічки на тортах інших:

Катнесон і Коц (1957) довели, що поки всі , то коефіцієнт варіації не може перевищувати . Цей результат згадувався раніше Лонглі (1952). Крамер (1946, с. 357) виявив менш гострий результат, а Кірбі (1974) - менш загальний результат. $x_i \ge 0$ $\sqrt{n − 1}$

Крамер, Х. 1946. Математичні методи статистики . Прінстон, Нью-Джерсі: Прінстонський університетський прес.

Катнелсон, Дж. Та Коц. 1957. На верхніх межах деяких мінливості. Archiv für Meteorologie, Geophysik und Bioklimatologie , Series B 8: 103–107.

Кірбі, В. 1974. Алгебраїчна обмеженість вибіркової статистики. Дослідження водних ресурсів 10: 220–222.

Лонглі, RW 1952. Заходи мінливості опадів. Щомісячний огляд погоди 80: 111–117.

Я натрапив на ці документи, працюючи над

Кокс, Нью-Джерсі. 2010. Межі спотвореності та куртозу. Статистичний журнал 10: 482-495.

де обговорюються широко подібні межі щодо моменту, що базується на моменті, та куртозу.

— Нік Кокс
джерело

8

З двома числами , деякими і будь-якими $x_i \ge x_j$ $\delta \gt 0$ $\mu$ :

(x_{i} + δ - μ)^{2} + (x_{j} - δ - μ)^{2} - (x_{i} - μ)^{2} - (x_{j} - μ)^{2} = 2 δ (x_{i} - x_{j} + δ) > 0.

$(x_i+\delta - \mu)^2 + (x_j - \delta - \mu)^2 - (x_i - \mu)^2 - (x_j - \mu)^2 = 2\delta(x_i - x_j +\delta) \gt 0.$

Застосовуючи це до невід’ємних точок даних, це означає, що, якщо всі, крім одного з чисел, дорівнюють нулю, і тому їх не можна зменшити далі, можна збільшити дисперсію та стандартне відхилення шляхом збільшення розриву між будь-якою парою точок даних зберігаючи ту саму середню, тим самим збільшуючи коефіцієнт варіації. Отже, максимальний коефіцієнт варіації для набору даних такий, як ви пропонуєте: $n$ $n$ $\sqrt{n-1}$ .

$c$ не повинно впливати на результат, оскільки не змінюється, якщо всі значення множать на будь-яку позитивну константу (як я вже сказав у своєму коментарі). $\frac{\sigma_x}{\bar{x}}$ $k$

— Генрі
джерело