Інтуїція (геометрична чи інша)

19

Розглянемо елементарну ідентичність дисперсії:

\begin{array}{rcl} V a r (X) & = & E [(X - E [X])^{2}] \\ = & . . . \\ = & E [X^{2}] - (E [X])^{2} \end{array}

$\begin{eqnarray} Var(X) &=& E[(X - E[X])^2]\\ &=& ...\\ &=& E[X^2] - (E[X])^2 \end{eqnarray}$

Це проста алгебраїчна маніпуляція визначення центрального моменту на нецентральні моменти.

Це дозволяє зручно маніпулювати в інших контекстах. Він також дозволяє обчислити дисперсію за допомогою одного проходу над даними, а не через два проходи, спочатку обчислити середнє значення, а потім обчислити дисперсію. $Var(X)$

Але що це означає ? Для мене немає жодної негайної геометричної інтуїції, яка стосується поширення про середнє значення для поширення приблизно 0. Оскільки є набором для одного виміру, як ви розглядаєте розкидання навколо середнього як різницю між поширенням навколо початку і квадратом означає? $X$

Чи є якісні інтерпретації лінійної алгебри чи фізичні інтерпретації чи інші, які давали б уявлення про цю ідентичність?

variance descriptive-statistics intuition

— Мітч
джерело

7

Підказка: це теорема Піфагора.

— whuber

1

@Matthew Цікаво, що означає "

E

$E$ ". Я підозрюю, що це не очікування, а просто скорочення середнього арифметичного. Інакше рівняння були б невірними (і майже безглуздими, оскільки вони б потім порівнювали випадкові величини з числами).

— whuber

2

@whuber Оскільки внутрішні доробки вводять уявлення про відстані та кути, а внутрішній добуток векторного простору реальних значення випадкових величин визначається як

E [X Y]

$\mathbb E[XY]$ (?), мені цікаво, чи можна було б дати деяку геометричну інтуїцію через нерівність трикутника Я поняття не маю, як діяти, але мені було цікаво, чи має це сенс.

— Антоні Пареллада

1

@Antoni Нерівність трикутника занадто загальна. Внутрішній виріб - набагато більш особливий об’єкт. На щастя, відповідна геометрична інтуїція полягає саме в евклідовій геометрії. Більше того, навіть у випадку випадкових змінних

X

$X$ і

Y

$Y$ необхідна геометрія може обмежуватися двовимірним реальним векторним простором, породженим

X

$X$ і

Y

$Y$ : тобто самою евклідовою площиною. У теперішньому екземплярі

X

$X$ не здається RV: це просто

n

$n$ вектор. Тут простір, що охоплюється

X

$X$ і

(1, 1, \dots, 1)

$(1,1,\ldots, 1)$ - це площина Евкліда, в якій відбувається вся геометрія.

— whuber

3

Установка

у відповідь я пов'язані, і розділивши всі члени на

(якщо ви хочете) дасть вам повне алгебраїчне рішення для дисперсії: немає ніяких причин , щоб скопіювати його знову і знову. Це тому , що

являє собою середнє арифметичне

, звідки

- це лише

-кратна дисперсія, як ви її тут визначили,

в

разів більше середнього арифметичного квадрата, і

{\hat{β}}_{1} = 0

$\hat\beta_1=0$

n

$n$

{\hat{β}}_{0}

$\hat\beta_0$

y

$y$

| | y - \hat{y} | |^{2}

$||y-\hat y||^2$

n

$n$

| | \hat{y} | |^{2}

$||\hat y||^2$

n

$n$

| | y | |^{2}

$||y||^2$ в

n

$n$ разів більше середнього арифметичного значень квадрата.

— whuber

21

Розширюючи точку @ whuber у коментарях, якщо $Y$ і $Z$ ортогональні, ви маєте теорему Піфагора :

‖ Y ‖^{2} + ‖ Z ‖^{2} = ‖ Y + Z ‖^{2}

$\|Y\|^2 + \|Z\|^2 = \|Y + Z\|^2$

Зауважимо , що є допустимим скалярний твір і що $\langle Y, Z \rangle \equiv \mathrm{E}[YZ]$ -норма, викликана цим внутрішнім продуктом. $\|Y\| = \sqrt{\mathrm{E}[Y^2]}$

Нехай - якась випадкова величина. Нехай , нехай . Якщо і ортогональні: $X$ $Y = \mathrm{E}[X]$ $Z = X - \mathrm{E}[X]$ $Y$ $Z$

\begin{aligned} ‖ Y ‖^{2} + ‖ Z ‖^{2} = ‖ Y + Z ‖^{2} \\ \Leftrightarrow & E [E [X]^{2}] + E [(X - E [X])^{2}] = E [X^{2}] \\ \Leftrightarrow & {E [X]}^{2} + V a r [X] = E [X^{2}] \end{aligned}

$\begin{align*} & \|Y\|^2 + \|Z\|^2 = \|Y + Z\|^2 \\ \Leftrightarrow \quad&\mathrm{E}[\mathrm{E}[X]^2] + \mathrm{E}[(X - \mathrm{E}[X])^2] = \mathrm{E}[X^2] \\ \Leftrightarrow \quad & \mathrm{E[X]}^2 + \mathrm{Var}[X]= \mathrm{E}[X^2] \end{align*}$

І легко показати, що і є ортогональними під цим внутрішнім твором: $Y = \mathrm{E}[X]$ $Z = X - \mathrm{E}[X]$

⟨ Y, Z ⟩ = E [E [X] (X - E [X])] = E [X]^{2} - E [X]^{2} = 0

$\langle Y, Z \rangle = \mathrm{E}[\mathrm{E}[X]\left(X - \mathrm{E}[X] \right)] = \mathrm{E}[X]^2 - \mathrm{E}[X]^2 = 0$

Одна з ніжок трикутника , інша нога , а гіпотенуза . І теорему Піфагора можна застосувати, оскільки зведена випадкова величина є ортогональною за своїм значенням. $X - \mathrm{E}[X]$ $\mathrm{E}[X]$ $X$

Технічне зауваження:

в цьому прикладі дійсно повинен бути вектор , тобто скалярний кратний постійному вектору (наприклад, в дискретному , випадок з кінцевим результатом). являє собоювектор проекціїз на постійний вектор . $Y$ $Y = \mathrm{E}[X] \mathbf{1}$ $\mathrm{E}[X]$ $\mathbf{1}$ $\mathbf{1} = [1, 1, 1, \ldots, 1]'$ $Y$ $X$ $\mathbf{1}$

Простий приклад

Розглянемо випадок, коли - випадкова величина Бернуллі, де . Ми маємо: $X$ $p = .2$

X = [\begin{matrix} 1 \\ 0 \end{matrix}] P = [\begin{matrix} .2 \\ .8 \end{matrix}] E [X] = \sum_{i} P_{i} X_{i} = .2

$X = \begin{bmatrix} 1 \\ 0 \end{bmatrix} \quad P = \begin{bmatrix} .2 \\ .8 \end{bmatrix} \quad \mathrm{E}[X] = \sum_i P_iX_i = .2$

Y = E [X] 1 = [\begin{matrix} .2 \\ .2 \end{matrix}] Z = X - E [X] = [\begin{matrix} .8 \\ - .2 \end{matrix}]

$Y = \mathrm{E}[X]\mathbf{1} = \begin{bmatrix} .2 \\ .2 \end{bmatrix} \quad Z = X - \mathrm{E}[X] = \begin{bmatrix} .8 \\ -.2 \end{bmatrix}$

А малюнок такий:

Величина червоного вектора у квадраті - це дисперсія , квадратна величина синього вектора - , а квадратна величина жовтого вектора - . $X$ $\mathrm{E}[X]^2$ $\mathrm{E}[X^2]$

ПАМ’ЯТАЙТЕ, хоча ці величини, ортогональність тощо не стосуються звичайного крапкового добутку а внутрішнього продукту . Величина жовтого вектора не дорівнює 1, це 2. $\sum_i Y_iZ_i$ $\sum_i P_iY_iZ_i$

Червоний вектор та синій вектор перпендикулярні під внутрішнім твором але вони не перпендикулярні в інтро, середній школі геометрії. Пам'ятайте, що ми не використовуємо звичайний точковий продукт як внутрішній продукт! $Y = \mathrm{E}[X]$ $Z = X - \mathrm{E}[X]$ $\sum_i P_i Y_i Z_i$ $\sum_i Y_i Z_i$

— Меттью Ганн
джерело

Це справді добре!

— Антоні Пареллада

1

Хороша відповідь (+1), але вона не вистачає цифри, а також може бути трохи заплутаною для ОП, тому що ваш Z - їх X ...

— Амеба каже, що повернеться Моніка

@MatthewGunn, чудова відповідь. ви можете перевірити мою відповідь нижче, щоб представити, де ортогональність є в евклідовому розумінні.

— YBE

Я ненавиджу бути тупим, але у мене виникають проблеми з збереженням

,

та напрямком логіки прямо ("тому що" приходить у місцях, які для мене не мають сенсу). Схоже, багато (добре обґрунтованих) фактів викладені випадковим чином. У якому просторі знаходиться внутрішній продукт? Чому 1 ?

Z

$Z$

V a r (X)

$Var(X)$

— Мітч

@Mitch Логічний порядок такий: (1) Зауважте, що простір ймовірностей визначає векторний простір; ми можемо трактувати випадкові величини як вектори. (2) Визначте внутрішній добуток випадкових величин

і

як

. У внутрішньому просторі продукту вектори

і

визначаються як ортогональні, якщо їх внутрішній добуток дорівнює нулю. (3a) Нехай

- деяка випадкова величина. (3b) Нехай

і

. (4) Зауважте, що

і

Y

$Y$

Z

$Z$

E [Y Z]

$E[YZ]$

Y

$Y$

Z

$Z$

X

$X$

Y = E [X]

$Y = E[X]$

Z = X - E [X]

$Z = X - E[X]$

Y

$Y$

Z

$Z$ Визначені таким чином є ортогональними. (5) Оскільки

і

є ортогональними, застосовується теорема піфагора (6) До простої алгебри теорема Піфагора еквівалентна тотожності.

Y

$Y$

Z

$Z$

— Меттью Ганн

8

Я піду суто геометричний підхід для дуже конкретного сценарію. Розглянемо дискретно оцінену випадкову змінну приймає значення з ймовірностями . Далі будемо вважати, що ця випадкова величина може бути представлена в як вектор, $X$ $\{x_1,x_2\}$ $(p_1,p_2)$ $\mathbb{R}^2$ . $\mathbf{X} = \left(x_1\sqrt{p_1},x_2\sqrt{p_2} \right)$

Notice that the length-square of $\mathbf{X}$ is $x_1^2p_1+x_2^2p_2$ which is equal to $E[X^2]$ . Thus, $\left\| \mathbf{X} \right\| = \sqrt{E[X^2]}$ .

Since $p_1+p_2=1$ , the tip of vector $\mathbf{X}$ actually traces an ellipse. This becomes easier to see if one reparametrizes $p_1$ and $p_2$ as $\cos^2(\theta)$ and $\sin^2(\theta)$ . Hence, we have $\sqrt{p_1} =\cos(\theta)$ and $\sqrt{p_2} = \sin(\theta)$ .

One way of drawing ellipses is via a mechanism called Trammel of Archimedes. As described in wiki: It consists of two shuttles which are confined ("trammelled") to perpendicular channels or rails, and a rod which is attached to the shuttles by pivots at fixed positions along the rod. As the shuttles move back and forth, each along its channel, the end of the rod moves in an elliptical path. This principle is illustrated in the figure below.

Now let us geometrically analyze one instance of this trammel when the vertical shuttle is at $A$ and the horizontal shuttle is at $B$ forming an angle of $\theta$ . Due to construction, $\left|BX\right| = x_2$ and $\left| AB \right| = x_1-x_2$ , $\forall \theta$ (here $x_1\geq x_2$ is assumed wlog).

Let us draw a line from origin, $OC$ , that is perpendicular to the rod. One can show that $\left| OC \right|=(x_1-x_2) \sin(\theta) \cos(\theta)$ . For this specific random variable

\begin{array}{rcl} V a r (X) & = & (x_{1}^{2} p_{1} + x_{2}^{2} p_{2}) - (x_{1} p_{1} + x_{2} p_{2})^{2} \\ = & x_{1}^{2} p_{1} + x_{2}^{2} p_{2} - x_{1}^{2} p_{1}^{2} - x_{2}^{2} p_{2}^{2} - 2 x_{1} x_{2} p_{1} p_{2} \\ = & x_{1}^{2} (p_{1} - p_{1}^{2}) + x_{2}^{2} (p_{2} - p_{2}^{2}) - 2 x_{1} x_{2} p_{1} p_{2} \\ = & p_{1} p_{2} (x_{1}^{2} - 2 x_{1} x_{2} + x_{2}^{2}) \\ = & {[(x_{1} - x_{2}) \sqrt{p_{1}} \sqrt{p_{2}}]}^{2} = {| O C |}^{2} \end{array}

$\begin{eqnarray} Var(X) &=& (x_1^2p_1 +x_2^2p_2) - (x_1p_1+x_2p_2)^2 \\ &=& x_1^2p_1 +x_2^2p_2 - x_1^2p_1^2 - x_2^2p_2^2 - 2x_1x_2p_1p_2 \\ &=& x_1^2(p_1-p_1^2) + x_2^2(p_2-p_2^2) - 2x_1x_2p_1p_2 \\ &=& p_1p_2(x_1^2- 2x_1x_2 + x_2^2) \\ &=& \left[(x_1-x_2)\sqrt{p_1}\sqrt{p_2}\right]^2 = \left|OC \right|^2 \end{eqnarray}$ Therefore, the perpendicular distance

| O C |

$\left|OC \right|$ from the origin to the rod is actually equal to the standard deviation,

σ

$\sigma$ .

If we compute the length of segment from $C$ to $X$ :

\begin{array}{rcl} | C X | & = & x_{2} + (x_{1} - x_{2}) \cos^{2} (θ) \\ = & x_{1} \cos^{2} (θ) + x_{2} \sin^{2} (θ) \\ = & x_{1} p_{1} + x_{2} p_{2} = E [X] \end{array}

$\begin{eqnarray} \left|CX\right| &=& x_2 + (x_1-x_2)\cos^2(\theta) \\ &=& x_1\cos^2(\theta) +x_2\sin^2(\theta) \\ &=& x_1p_1 + x_2p_2 = E[X] \end{eqnarray}$

Applying the Pythagorean Theorem in the triangle OCX, we end up with

E [X^{2}] = V a r (X) + E [X]^{2} .

$\begin{equation} E[X^2] = Var(X) + E[X]^2. \end{equation}$

To summarize, for a trammel that describes all possible discrete valued random variables taking values $\{x_1,x_2\}$ , $\sqrt{E[X^2]}$ is the distance from the origin to the tip of the mechanism and the standard deviation $\sigma$ is the perpendicular distance to the rod.

Note: Notice that when $\theta$ is $0$ or $\pi/2$ , $X$ is completely deterministic. When $\theta$ is $\pi/4$ we end up with maximum variance.

— YBE
джерело

1

+1 Nice answer. And multiplying vectors by the square of the probabilities is a cool/useful trick to make the usual probabilistic notion of orthogonality look orthogonal!

— Matthew Gunn

Great graphics. The symbols all make sense (the trammel describing an ellipse and then the Pythagorean Thm applies) but somehow I'm not getting intuitively how it gives an idea of how 'magically' it relates the moments (the spread and center.

— Mitch

consider the trammel as a process that defines all the possible

(x_{1}, x_{2})

$(x_1,x_2)$ valued random variables. When the rod is horizontal or vertical you have a deterministic RV. In the middle there is randomness and it turns out that in my proposed geometric framework how random a RV (its std) is exactly measured by the distance of the rod to the origin. There might be a deeper relationship here as elliptic curves connects various objects in math but I am not a mathematician so I cannot really see that connection.

— YBE

3

You can rearrange as follows:

\begin{array}{rcl} V a r (X) & = & E [X^{2}] - (E [X])^{2} \\ E [X^{2}] & = & (E [X])^{2} + V a r (X) \end{array}

$\begin{eqnarray} Var(X) &=& E[X^2] - (E[X])^2\\ E[X^2] &=& (E[X])^2 + Var(X) \end{eqnarray}$

Then, interpret as follows: the expected square of a random variable is equal to the square of its mean plus the expected squared deviation from its mean.

— Lam
джерело

Oh. Huh. Simple. But the squares still seem kinda uninterpreted. I mean it makes sense (sort of, extremely loosely) without the squares.

— Mitch

3

I am not sold on this.

— Michael R. Chernick

1

If the Pythagorean theorem applies, what is the triangle with what sides and how are the two legs perpendicular?

— Mitch

1

Sorry for not having the skill to elaborate and provide a proper answer, but I think the answer lies in the physical classical mechanics concept of moments, especially the conversion between 0 centred "raw" moments and mean centred central moments. Bear in mind that variance is the second order central moment of a random variable.

— S. Diaxo
джерело

1

The general intuition is that you can relate these moments using the Pythagorean Theorem (PT) in a suitably defined vector space, by showing that two of the moments are perpendicular and the third is the hypotenuse. The only algebra needed is to show that the two legs are indeed orthogonal.

For the sake of the following I'll assume you meant sample means and variances for computation purposes rather than moments for full distributions. That is:

\begin{array}{rcll} E [X] & = & \frac{1}{n} \sum x_{i}, & m e a n, f i r s t c e n t r a l s a m p l e m o m e n t \\ E [X^{2}] & = & \frac{1}{n} \sum x_{i}^{2}, & s e c o n d s a m p l e m o m e n t (n o n - c e n t r a l) \\ V a r (X) & = & \frac{1}{n} \sum (x_{i} - E [X])^{2}, & v a r i a n c e, s e c o n d c e n t r a l s a m p l e m o m e n t \end{array}

$\begin{array}{rcll} E[X] &=& \frac{1}{n}\sum x_i,& \rm{mean, first\ central\ sample\ moment}\\ E[X^2] &=& \frac{1}{n}\sum x^2_i,& \rm{second\ sample\ moment\ (non-central)}\\ Var(X) &=& \frac{1}{n}\sum (x_i - E[X])^2,& \rm{variance, second\ central\ sample\ moment} \end{array}$

(where all sums are over $n$ items).

For reference, the elementary proof of $Var(X) = E[X^2] - E[X]^2$ is just symbol pushing:

\begin{array}{rcl} V a r (X) & = & \frac{1}{n} \sum (x_{i} - E [X])^{2} \\ = & \frac{1}{n} \sum (x_{i}^{2} - 2 E [X] x_{i} + E [X]^{2}) \\ = & \frac{1}{n} \sum x_{i}^{2} - \frac{2}{n} E [X] \sum x_{i} + \frac{1}{n} \sum E [X]^{2} \\ = & E [X^{2}] - 2 E [X]^{2} + \frac{1}{n} n E [X]^{2} \\ = & E [X^{2}] - E [X]^{2} \end{array}

$\begin{eqnarray} Var(X) &=& \frac{1}{n}\sum (x_i - E[X])^2\\ &=& \frac{1}{n}\sum (x^2_i - 2 E[X]x_i + E[X]^2)\\ &=& \frac{1}{n}\sum x^2_i - \frac{2}{n} E[X] \sum x_i + \frac{1}{n}\sum E[X]^2\\ &=& E[X^2] - 2 E[X]^2 + \frac{1}{n} n E[X]^2\\ &=& E[X^2] - E[X]^2\\ \end{eqnarray}$

There's little meaning here, just elementary manipulation of algebra. One might notice that $E[X]$ is a constant inside the summation, but that is about it.

Now in the vector space/geometrical interpretation/intuition, what we'll show is the slightly rearranged equation that corresponds to PT, that

\begin{array}{rcl} V a r (X) + E [X]^{2} & = & E [X^{2}] \end{array}

$\begin{eqnarray} Var(X) + E[X]^2 &=& E[X^2] \end{eqnarray}$

So consider $X$ , the sample of $n$ items, as a vector in $\mathbb{R}^n$ . And let's create two vectors $E[X]{\bf 1}$ and $X-E[X]{\bf 1}$ .

The vector $E[X]{\bf 1}$ has the mean of the sample as every one of its coordinates.

The vector $X-E[X]{\bf 1}$ is $\langle x_1-E[X], \dots, x_n-E[X]\rangle$ .

These two vectors are perpendicular because the dot product of the two vectors turns out to be 0:

\begin{array}{rcl} E [X] 1 \cdot (X - E [X] 1) & = & \sum E [X] (x_{i} - E [X]) \\ = & \sum (E [X] x_{i} - E [X]^{2}) \\ = & E [X] \sum x_{i} - \sum E [X]^{2} \\ = & n E [X] E [X] - n E [X]^{2} \\ = & 0 \end{array}

$\begin{eqnarray} E[X]{\bf 1}\cdot(X-E[X]{\bf 1}) &=& \sum E[X](x_i-E[X])\\ &=& \sum (E[X]x_i-E[X]^2)\\ &=& E[X]\sum x_i - \sum E[X]^2\\ &=& n E[X]E[X] - n E[X]^2\\ &=& 0\\ \end{eqnarray}$

So the two vectors are perpendicular which means they are the two legs of a right triangle.

Then by PT (which holds in $\mathbb{R}^n$ ), the sum of the squares of the lengths of the two legs equals the square of the hypotenuse.

By the same algebra used in the boring algebraic proof at the top, we showed that we get that $E[X^2]$ is the square of the hypotenuse vector:

$(X-E[X])^2 + E[X]^2 = ... = E[X^2]$ where squaring is the dot product (and it's really $E[x]{\bf 1}$ and $(X-E[X])^2$ is $Var(X)$ .

The interesting part about this interpretation is the conversion from a sample of $n$ items from a univariate distribution to a vector space of $n$ dimensions. This is similar to $n$ bivariate samples being interpreted as really two samples in $n$ variables.

In one sense that is enough, the right triangle from vectors and $E[X^2]$ pops out as the hypotnenuse. We gave an interpretation (vectors) for these values and show they correspond. That's cool enough, but unenlightening either statistically or geometrically. It wouldn't really say why and would be a lot of extra conceptual machinery to, in the end mostly, reproduce the purely algebraic proof we already had at the beginning.

Another interesting part is that the mean and variance, though they intuitively measure center and spread in one dimension, are orthogonal in $n$ dimensions. What does that mean, that they're orthogonal? I don't know! Are there other moments that are orthogonal? Is there a larger system of relations that includes this orthogonality? central moments vs non-central moments? I don't know!

— Mitch
джерело

I am also interested in an interpretation/intuition behind the superficially similar bias variance tradeoff equation. Does anybody have hints there?

— Mitch

Let

p_{i}

$p_i$ be the probability of state

i

$i$ occurring. If

p_{i} = \frac{1}{n}

$p_i = \frac{1}{n}$ then

\sum_{i} p_{i} X_{i} Y_{i} = \frac{1}{n} \sum_{i} X_{i} Y_{i}

$\sum_i p_i X_i Y_i = \frac{1}{n} \sum_i X_i Y_i$ , that is,

E [X Y]

$E[XY]$ is simply the dot product between

X

$X$ and

Y

$Y$ divided by

n

$n$ . If

\forall_{i} p_{i} = \frac{1}{n}

$\forall_i p_i = \frac{1}{n}$ , what I used as an inner product (

E [X Y] = \sum_{i} p_{i} X_{i} Y_{i}

$E[XY] = \sum_i p_i X_i Y_i$ ) is basically the dot product divided by

n

$n$ . This whole Pythagorean interpretation still needs to you use the particular inner product

E [X Y]

$E[XY]$ (though it's algebriacly close to the classic dot product for a probability measure

P

$P$ such that

\forall_{i} p_{i} = \frac{1}{n}

$\forall_i p_i = \frac{1}{n}$ ).

— Matthew Gunn

Btw, the trick @YBE did is to define new vectors

\hat{x}

$\hat{x}$ and

\hat{y}

$\hat{y}$ such that

{\hat{x}}_{i} = x_{i} \sqrt{p_{i}}

$\hat{x}_i = x_i \sqrt{p_i}$ and

{\hat{y}}_{i} = x_{i} \sqrt{p_{i}}

$\hat{y}_i = x_i \sqrt{p_i}$ . Then dot product

\hat{x} \cdot \hat{y} = \sum_{i} x_{i} \sqrt{p_{i}} y_{i} \sqrt{p_{i}} = \sum_{i} p_{i} x_{i} y_{i} = E [x y]

$\hat{x} \cdot \hat{y} = \sum_i x_i \sqrt{p_i} y_i \sqrt{p_i} = \sum_i p_i x_i y_i = E[xy]$ .The dot product of

\hat{x}

$\hat{x}$ and

\hat{y}

$\hat{y}$ corresponds to

E [x y]

$E[xy]$ (which is what I used as an inner product).

— Matthew Gunn