Яка інтуїція стоїть за умовними розподілами Гаусса?

Нехай $\mathbf{X} \sim N_{2}(\mathbf{\mu}, \mathbf{\Sigma})$ . Тоді умовний розподіл $X_1$ огляду на те, що $X_2 = x_2$ є багатоваріантним, нормально розподіленим із середнім:

$$E[P(X_1 | X_2 = x_2)] = \mu_1+\frac{\sigma_{12}}{\sigma_{22}}(x_2-\mu_2)$$

і дисперсія:

$${\rm Var}[P(X_1 | X_2 = x_2)] = \sigma_{11}-\frac{\sigma_{12}^{2}}{\sigma_{22}}$$

Має сенс, що дисперсія зменшиться, оскільки ми маємо більше інформації. Але яка інтуїція за середньою формулою? Як коваріація між коефіцієнтом $X_1$ і $X_2$ перетворюється на умовне значення?

Конспект

Кожне твердження у питанні можна зрозуміти як властивість еліпсів. Тільки властивість зокрема до двовимірного нормального розподілу , який необхідний той факт , що в стандартному двовимірне нормальний розподіл --Для якого Х і Y є некоррелірованнимі - умовна дисперсія Y не залежить від X . (Це в свою чергу є безпосереднім наслідком того, що відсутність кореляції передбачає незалежність для спільно нормальних змінних.)$X,Y$$X$$Y$$Y$$X$

Наступний аналіз точно показує, яка властивість еліпсів задіяний, і отримує всі рівняння питання, використовуючи елементарні ідеї та найпростішу можливу арифметику, таким чином, щоб їх легко запам'ятати.

---

Кругові симетричні розподіли

Поширення питання є членом сімейства двовимірних нормальних розподілів. Всі вони походять від основного члена, стандартного двовимірного нормального, який описує два некорельованих стандартних нормальних розподіли (утворюючи дві його координати).

Ліва сторона - рельєфна ділянка стандартної двовимірної нормальної щільності. Права сторона показує те саме в псевдо-3D, передня частина відрізана.

Це приклад кругового симетричного розподілу: щільність змінюється в залежності від відстані від центральної точки, але не в напрямку від цієї точки. Таким чином, контури її графіка (праворуч) є кола.

Більшість інших двовимірних нормальних розподілів не є круговими симетричними, однак: їх перерізи є еліпсами. Ці еліпси моделюють характерну форму багатьох біваріантних точкових хмар.

Це портрети двовимірного нормального розподілу з коваріаційною матрицею Це модель для даних з коефіцієнтом кореляції-2/3.$\Sigma = \left(\begin{array}{cc} 1 & -\frac{2}{3} \\ -\frac{2}{3} & 1 \\\end{array}\right).$$-2/3$

---

Як створити еліпси

Еліпс - за його найдавнішим визначенням - це конічний переріз, який є колом, спотвореним проекцією на іншу площину. Розглядаючи характер проекції, як це роблять візуальні художники, ми можемо розкласти його на послідовність спотворень, які легко зрозуміти та обчислити.

Спочатку розтягніть (або, якщо потрібно, стисніть) коло вздовж того, що стане довгою віссю еліпса, поки він не стане правильної довжини:

Далі стисніть (або розтягніть) цей еліпс уздовж його другорядної осі:

По-третє, оберніть його навколо центру в остаточну орієнтацію:

Нарешті, перемістіть його в потрібне місце:

Це все афінні перетворення. (Насправді перші три - це лінійні перетворення ; остаточний зсув робить його афінним.) Оскільки композиція афінних перетворень (за визначенням) ще афінна, чисте спотворення від кола до кінцевого еліпса є афінним перетворенням. Але це може бути дещо складним:

Зверніть увагу на те, що сталося з (природними) осями еліпса: після того, як вони були створені зсувом і стисканням, вони (звичайно) обертаються і зміщуються разом із самою віссю. Ми легко бачимо ці осі навіть тоді, коли вони не намальовані, оскільки вони є осями симетрії самого еліпса.

Ми хотіли б застосувати наше розуміння еліпсів для розуміння спотворених кругових симетричних розподілів, як биваріантна нормальна сім'я. На жаль, існує проблема із цими спотвореннями : вони не поважають різницю між осями та y . Обертання на кроці 3 руйнує це. Подивіться на слабкі координатні сітки у фонах: вони показують, що відбувається з сіткою (з сітки 1 $x$$y$$1/2$в обох напрямках) при спотворенні. На першому зображенні проміжок між початковими вертикальними лініями (показаний суцільним) подвоюється. У другому зображенні відстань між початковими горизонтальними лініями (показано пунктирними) скорочується на третину. На третьому зображенні проміжки сітки не змінені, але всі лінії обертаються. Вони зміщуються вгору і вправо на четвертому зображенні. Підсумкове зображення, показуючи чистий результат, відображає цю натягнуту, стиснуту, обертову, зміщену сітку. Початкові суцільні прямі координати більше не є вертикальними.$x$

Ідея ключа --one може ризикне сказати , що це суть регресії - це те , що є спосіб , в якому коло може бути спотворений в еліпс без повороту вертикальних ліній . Оскільки винуватцем був обертання, давайте вирішимо переслідувати та покажемо, як створити обертається еліпс, насправді не з’являючись, щоб щось обертати !

Це перетворення косого. Це насправді робить дві речі одночасно:

• Він стискається у напрямку (на суму λ , скажімо). Це залишає х-ось у спокої.$y$$\lambda$$x$

• Він піднімає будь-яку отриману точку на величину, прямо пропорційну x . Записавши цю константу пропорційності як ρ , це посилає ( x , y ) до ( x , y + ρ x ) .$(x,y)$$x$$\rho$$(x,y)$$(x, y+\rho x)$

Другий крок піднімає вісь у пряму y = ρ x , показану на попередньому малюнку. Як показано на цій фігурі, я хочу працювати з особливим перекосом перекосу, яке ефективно обертає еліпс на 45 градусів і вписує його в одиничний квадрат. Головною віссю цього еліпса є пряма y = x . Візуально видно, що | ρ | ≤ 1 . (Негативні значення ρ нахиляють еліпс вправо, а не вправо.) $x$$y=\rho x$$y=x$$|\rho| \le 1$$\rho$ Це геометричне пояснення "регресу до середнього".

Вибір кута 45 градусів робить еліпс симетричним навколо діагоналі квадрата (частина прямої ). Щоб визначити параметри цієї перекосової трансформації, дотримуйтесь:$y=x$

• Підняття на переміщує точку ( 1 , 0 ) до ( 1 , ρ ) .$\rho x$$(1,0)$$(1,\rho)$

• Симетрія навколо основної діагоналі тоді передбачає, що точка також лежить на еліпсі.$(\rho, 1)$

З чого почався цей момент?

• Початкова (верхня) точка одиничного кола (маючи неявне рівняння ) з x координатою ρ була ( ρ , $x^2+y^2=1$$x$$\rho$.$(\rho, \sqrt{1-\rho^2})$

• Будь-яку точку форми спочатку стискають до ( ρ , λ y ), а потім піднімають до ( ρ , λ y + ρ × ρ ) .$(\rho, y)$$(\rho, \lambda y)$$(\rho, \lambda y + \rho\times\rho)$

Унікальне рішення рівняння єλ=$(\rho, \lambda \sqrt{1-\rho^2} + \rho^2) = (\rho, 1)$ . Це сума, на яку повинні бути стиснуті всі відстані у вертикальному напрямку, щоб створити еліпс під кутом 45 градусів, коли він перекошений вертикально наρ.$\lambda = \sqrt{1-\rho^2}$$\rho$

$\rho$$0,$ $3/10,$ $6/10,$$9/10,$

$\rho$

---

Застосування

Ми готові до регресії. Стандартний, елегантний (але простий) метод регресії спочатку виражає оригінальні змінні в нових одиницях вимірювання: ми центруємо їх за допомогою їх засобів і використовуємо їх стандартні відхилення як одиниці. Це переміщує центр розподілу до початку і робить усі його еліптичні контури нахиленими на 45 градусів (вгору або вниз).

$x$$0$$x$$0$$y$$\sqrt{1-\rho^2}$$\rho$$x$$\rho x$$x$

• $y$$0$

• $\rho x$$x$$\rho x$$y=\rho x$

$x$$y=\rho x$ : лінія найменших квадратів збігається з лінією регресії.

$x$ координат.

Ми можемо легко сказати більше:

• $(X,Y)$$Y|X$$\left(\sqrt{1-\rho^2}\right)^2 = 1 - \rho^2$

• $\sqrt{1-\rho^2}$$\rho x$

$1$$x$$1-\rho^2$

$\rho$$\Sigma$$X$$Y$$XY$$X$$Y$$(X,Y)$

$$\varepsilon = Y - \rho X$$

$\varepsilon$$0$$Y$$0$$\rho X$$\rho X$

$x$$\rho = -1/2$

Отже

$$\mathbb{E}(XY) = \mathbb{E}\left(X(\rho X + \varepsilon)\right) = \rho\mathbb{E}(X^2) + \mathbb{E}(X\varepsilon) = \rho(1) + 0=\rho.$$

$X$$1$$X\varepsilon$$X(-\varepsilon)$$\varepsilon$$0$

$\rho$$X$$Y$

---

Висновки

$x$$(X,Y)$$x$$y$$\mu_x$$\mu_y$$\sigma_x$$\sigma_y$

• $(\mu_x,\mu_y)$

• $\{(x, \rho x)\},$

• $\rho$$\sigma_y \rho / \sigma_x$

Отже, рівняння лінії регресії є

$$y = \frac{\sigma_y\rho}{\sigma_x}\left(x - \mu_x\right) + \mu_y.$$

• $Y|X$$\sigma_y^2(1-\rho^2)$$Y'|X'$$(X',Y')$$X'=(X-\mu_X)/\sigma_x$$Y'=(Y-\mu_Y)/\sigma_Y$

$Y'|X'$$1$

• $\Sigma$$\sigma_{11}=\sigma_x^2,$ $\sigma_{12}=\sigma_{21}=\rho\sigma_x\sigma_y,$$\sigma_{22}=\sigma_y^2,$$Y|X$

$$\sigma_y^2(1-\rho^2)=\sigma_{22}\left(1-\left(\frac{\sigma_{12}}{\sqrt{\sigma_{11}\sigma_{22}}}\right)^2\right)=\sigma_{22} - \frac{\sigma_{12}^2}{\sigma_{11}}.$$

---

Технічні примітки

$y$

$$\left(\begin{array}{cc} 1 & \rho \\ \rho & 1 \\\end{array}\right) = \mathbb{A}\mathbb{A}'$$

де

$$\mathbb{A} = \left(\begin{array}{cc} 1 & 0 \\ \rho & \sqrt{1-\rho^2} \\\end{array}\right).$$

Набагато більш відомий квадратний корінь - той, який був описаний спочатку (передбачає обертання замість перекосу перекосу); це той, що утворюється в результаті розкладання сингулярного значення, і він відіграє помітну роль в аналізі основних компонентів (PCA):

$$\left(\begin{array}{cc} 1 & \rho \\ \rho & 1 \\\end{array}\right) = \mathbb{B}\mathbb{B}';$$

$$\mathbb{B} = \mathbb{Q} \left( \begin{array}{cc} \sqrt{\rho +1} & 0 \\ 0 & \sqrt{1-\rho } \\ \end{array} \right)\mathbb{Q}'$$

$\mathbb{Q} = \left( \begin{array}{cc} \frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} \\ \frac{1}{\sqrt{2}} & \frac{1}{\sqrt{2}} \\ \end{array} \right)$$45$

Таким чином, відмінність між PCA і регресією зводиться до різниці двох спеціальних квадратних коренів кореляційної матриці.

$Y$$X=x_i$$X$$X_1$$X_2$$0$$X_2$$x_1$де ви «прорізаєте» багатоваріантний розподіл. Розглянемо малюнок нижче:

$X_1$$X_2$$X_2$$X_1$$\mu_{X_2|X_1=25}\ne\mu_{X_2|X_1=45}$.

$\sigma_{22}$$\Sigma$$X_2$$\sigma^2$$\sigma$

$\hat y_i$

$$\hat\beta_1=\frac{\text{Cov}(x,y)}{\text{Var}(x)}$$ $^{\sigma_{12}}/_{\sigma_{22}}$$\mu_{X_2|X_1=x_i}$$\mu_{X_2}$$\mu_{X_2}$ $x_{2i}$$X_1$$X_2$

$X_1$$X_2$$\sigma_{1,2}>0$$X_2$$X_2$$X_1$$X_1$ .

$X_2=\mathit{x}_2>\mu_2$$X_2$$X_1$$\sigma_{1,2}>0$$X_1$$X_2$$X_2$$X_1$

$$\begin{equation} E\{X_1 | X_2=\mathit{x}_2\} = \mu_1 + \frac{\sigma_{1,2}}{\sigma_{2,2}}\left( \mathit{x}_2-\mu_2\right) \end{equation}$$ $X_2$$E\{X_1 | X_2=\mathit{x}_2\} > \mu_1$ .

$X_1$$X_2$

$$\begin{equation} BLP\{X_1 | X_2=\mathit{x}_2\} = \mu_1 + \frac{\sigma_{1,2}}{\sigma_{2,2}}\left( \mathit{x}_2-\mu_2\right) \end{equation}$$ $BLP$