Графічна інтуїція статистики на колекторі

У цій публікації ви можете прочитати заяву:

Моделі зазвичай представлені точками на кінцевому розмірному колекторі.$\theta$

Щодо диференціальної геометрії та статистики Майкла К. Мюррея та Джона У Райса, ці поняття пояснюються в прозовій формі, читаючи навіть ігноруючи математичні вирази. На жаль, ілюстрацій дуже мало. Те саме стосується цієї публікації в MathOverflow.

Я хочу попросити допомогти з візуальним поданням, яке послужить картою або мотивацією до більш формального розуміння теми.

Які точки на колекторі? Ця цитата з цієї інтернет-знахідки , здавалося б, вказує на те, що це можуть бути або точки даних, або параметри розподілу:

Статистика на багатовидах та геометрії інформації - це два різні способи, коли диференціальна геометрія відповідає статистиці. У той час як у статистиці про багатоманіття це дані, які лежать на багатоманітнику, в геометрії інформації дані знаходяться в , але параметризоване сімейство функцій щільності ймовірності, що представляє інтерес, трактується як різноманіття. Такі багатоманітники відомі як статистичні множини.$R^n$

---

Я намалював цю діаграму, натхненну цим поясненням дотичного простору тут :

[ Редагувати, щоб відобразити коментар нижче про :$C^\infty$ ] У колекторі дотичний простір - це набір усіх можливих похідних ("швидкостей") у точці пов'язаній з кожна можлива крива на колекторі, що проходить черезЦе можна розглядати як набір карт з кожної кривої, що проходить через тобто визначений як композиція , з що позначає криву (функція від реальної лінії до поверхні колектораp∈ M (ψ: R → M )p. p, C ∞ (t)→ R , ( f ∘ ψ ) ′ (t)ψ M p$(\mathcal M)$$p\in \mathcal M$$(\psi: \mathbb R \to \mathcal M)$$p.$$p,$$C^\infty (t)\to \mathbb R,$$\left(f \circ \psi \right )'(t)$$\psi$$\mathcal M$), що проходить через точку і зображений червоним кольором на схемі вище; і представляє тестову функцію. Білі контурні лінії "iso- " відображають в ту саму точку на реальній лінії та оточують точку .$p,$f $f,$$f$$p$

Еквівалентність (або одна з еквівалентів, застосованих до статистики) обговорюється тут і стосується наступної цитати :

Якщо простір параметрів для експоненціального сімейства містить одномірне відкрите безліч, то воно називається повним рангом.$s$

Експоненціальна сім'я, що не має повного рангу, зазвичай називається вигнутою експоненціальною сім'єю, оскільки зазвичай простір параметрів є кривою в розміром менше s$\mathcal R^s$$s.$

Це, мабуть, робить інтерпретацію сюжету таким чином: параметри розподілу (в даному випадку сімейства експоненціальних розподілів) лежать на колекторі. Точки даних у будуть відображати лінію на колекторі через функцію у випадку задачі про нелінійну оптимізацію з дефіцитним рангом. Це було б паралельним обчисленням швидкості у фізиці: пошук похідної функції по градієнту ліній "iso-f" (похідна спрямованого помаранчевим кольором):Функція відіграватиме роль оптимізації вибору параметра розподілу як кривої ψ : R → M f ( f ∘ ψ ) ′ ( t ) . f : M → R ψ $\mathbb R$$\psi: \mathbb R \to \mathcal M$$f$$\left(f \circ \psi \right)'(t).$$f: \mathbb M \to \mathbb R$$\psi$рухається по контурних лініях на колекторі.$f$

---

Передумови додані:

Слід зазначити, що я вважаю, що ці поняття не одразу пов'язані з нелінійним зменшенням розмірності ML. Вони схожі на геометрію інформації . Ось цитата:

Важливо, що статистика щодо колекторів сильно відрізняється від багатозначного навчання. Останнє є галуззю машинного навчання, де метою є вивчення прихованого багатообраза з даних, оцінених . Як правило, розмірність шуканого латентного багатообразника менше . Латентний колектор може бути лінійним або нелінійним, залежно від конкретного використовуваного методу.$R^n$$n$

---

Наступна інформація з статистики на многовидах з додатками до моделювання Shape Деформації по Орен Freifeld :

У той час як , як правило , нелінійний, можна зіставити дотичний простір, що позначається , в кожну точку . векторний простір, розмірність якого та ж, що і . Походження знаходиться на . Якщо вбудований у якийсь евклідовий простір, ми можемо вважати як афінним підпростором таким чином: 1) він торкається у ; 2) принаймні локально, лежить повністю на одній із його сторін. Елементи TpM називаються дотичними векторами.T p M p ∈ M T p M M T p M p M T p M M p $M$$TpM$$p \in M$$TpM$$M$$TpM$$p$$M$$TpM$$M$$p$$M$

[...] На колекторах статистичні моделі часто виражаються в дотичних просторах.

[...]

[Ми вважаємо два] набори даних складаються з точок у :$M$

$D_L = \{p_1, \cdots , p_{NL}\} \subset M$ ;

$D_S = \{q_1, \cdots , q_{NS}\} \subset M$

Нехай і є два, можливо , невідомо, точки в . Передбачається, що два набори даних відповідають наступним статистичним правилам:$µ_L$$µ_S$$M$

{ log μ S ( q 1 ) , ⋯ , log μ S ( q N S ) } ⊂ T μ S M $\{\log_{\mu L} (p_1), \cdots , \log_{\mu L}(p_{NL})\} \subset T_{\mu L}M, \quad \log_{\mu L}(p_i) \overset{\text{i.i.d}}{\sim} \mathscr N(0, \Sigma_L)$ $\{\log_{\mu S} (q_1), \cdots , \log_{\mu S}(q_{NS})\} \subset T_{\mu S}M, \quad \log_{\mu S}(q_i) \overset{\text{i.i.d}}{\sim} \mathscr N(0, \Sigma_S)$

[...]

Іншими словами, коли виражається (як дотичні вектори) в дотичному просторі (до ) в , це може розглядатися як набір зразків з нульового середнього Гаусса з коваріацією . Так само, коли виражається в дотичному просторі в це може розглядатися як набір iid-зразків від нульового середнього Гаусса з коваріацією . Це узагальнює випадок Евкліда. M µ L Σ L D S μ S Σ $D_L$$M$$\mu_L$$\Sigma_L$$D_S$$\mu_S$$\Sigma_S$

У цій же довідці я знаходжу найближчий (і практично єдиний) приклад цієї графічної концепції в Інтернеті, про яку я прошу:

Чи вказувало б це, що дані лежать на поверхні колектора, виражених дотичними векторами, а параметри будуть відображені на декартовій площині?

Сімейство розподілів ймовірностей можна проаналізувати як точки на колекторі з внутрішніми координатами, що відповідають параметрам розподілу. Ідея полягає у тому, щоб уникнути подання з неправильною метрикою: Уніваріантний гаусс може бути зображений у вигляді крапок у евклідовому колекторі як у правій частині ділянки внизу із середнім значенням в осі та SD в осі (додатна половина у разі побудови дисперсії):N ( μ , σ 2 ) , R 2 x $(\Theta)$$\mathcal N(\mu,\sigma^2),$$\mathbb R^2$$x$$y$

Однак матриця тотожності (евклідова відстань) не зможе виміряти ступінь (не-) подібності між окремими 's: на нормальних кривих ліворуч від ділянки вгорі, з урахуванням інтервалу в області, площа без перекриття (темно-синього кольору) більша для гауссових кривих із меншою дисперсією, навіть якщо середнє значення залишається фіксованим. Насправді, єдиною римановою метрикою, яка "має сенс" для статистичних колекторів, є інформаційна метрика Фішера .$\mathrm{pdf}$

У інформаційній відстані Фішера: геометричне зчитування , Коста СІ, Сантос С.А. та Страпассон JE скористаються подібністю між інформаційною матрицею Фішера Гауссових розподілів та метрикою в дисковій моделі Белтрамі-Понкаре, щоб отримати закриту формулу.

"Північний" конус гіперболоїда стає неевклідовим багатообразом, в якому кожна точка відповідає середньому та стандартному відхиленню (простір параметрів) та найкоротшій відстані між напр. і на наведеній нижче схемі - це геодезична крива, що проектується (карта діаграми) на екваторіальну площину як гіперпараболічні прямі і дозволяє вимірювати відстані між через метричний тензор. - метрика інформації Фішера :p d f ′ s , P Q $x^2 + y^2 - x^2 = -1$$\mathrm {pdf's,}$$P$$Q,$g μ $\mathrm{pdf's}$$g_{\mu\nu}\;(\Theta)\;\mathbf e^\mu\otimes \mathbf e^\nu$

$$D\,\left ( P(x;\theta_1)\,,\,Q(x;\theta_2) \right)=\min_{\theta(t)\,|\,\theta(0)=\theta_1\;,\;\theta(1)=\theta_2}\;\int_0^1 \; \sqrt{\left(\frac{\mathrm d\theta}{\mathrm dt} \right)^\top\;I(\theta)\frac{\mathrm d \theta}{\mathrm dt}dt}$$

з

$$I(\theta) = \frac{1}{\sigma^2}\begin{bmatrix}1&0\\0&2 \end{bmatrix}$$

Кульбак-Ліблер розбіжність тісно пов'язане, хоча і не вистачає геометрії і пов'язані з ними метрики.

І цікаво зазначити, що інформаційну матрицю Фішера можна інтерпретувати як гессіанську ентропію Шеннона :

$$g_{ij}(\theta)=-E\left[ \frac{\partial^2\log p(x;\theta)}{\partial \theta_i \partial\theta_j} \right]=\frac{\partial^2 H(p)}{\partial \theta_i \partial \theta_j}$$

з

$$H(p) = -\int p(x;\theta)\,\log p(x;\theta) \mathrm dx.$$

Цей приклад за концепцією схожий на більш поширену стереографічну карту Землі .

Тут не розглядається багатовимірне вбудування чи багатозначне навчання.

Існує більше ніж один спосіб пов'язати ймовірності з геометрією. Я впевнений, що ви чули про еліптичні розподіли (наприклад, Гаусса). Сам термін означає геометрію зв'язку, і це очевидно, коли ви малюєте його матрицю коваріації. За допомогою колекторів це просто розміщення всіх можливих значень параметрів у системі координат. Наприклад, Гауссовий колектор був би у двох вимірах: . Ви можете мати будь-яке значення але тільки позитивні відхилення . Отже, гауссовий колектор був би половиною всього простору . Не так цікаво μ ∈ R σ 2 > 0 R $\mu,\sigma^2$$\mu\in R$$\sigma^2>0$$R^2$