Виведення негентропії. Застрягаючи

Отже, це питання дещо пов'язане, але я наполегливо намагався зробити це максимально відвертим.

Мета: Коротше кажучи, існує виведення негентропії, яка не передбачає кумулянтів вищого порядку, і я намагаюся зрозуміти, як це було отримано.

Довідка: (я все це розумію)

Я самостійно вивчаю книгу «Незалежний аналіз компонентів» , яку знайшов тут. (Це питання знаходиться у розділі 5.6, якщо у вас є книга - «Наближення ентропії за допомогою неполіноміальних функцій»).

Ми маємо , яка є випадковою величиною, і чия негентропії ми хочемо оцінити, з деяких спостережень ми маємо. PDF з задається . Негентропія - це просто різниця між диференційною ентропією стандартизованої гауссової випадкової величини та диференціальною ентропією . Диференціальна ентропія тут задана таким, що: $x$ $x$ $p_x(\zeta)$ $x$ $H$

H (x) = - \int_{- \infty}^{\infty} p_{x} (ζ) l o g (p_{x} (ζ)) d ζ

$H(x) = -\int_{-\infty}^{\infty} p_x(\zeta) \: log(p_x(\zeta)) \: d\zeta$

і так, негентропія задана

J (x) = H (v) - H (x)

$J(x) = H(v) - H(x)$

де - стандартизований гауссовий rv, з PDF, заданим . $v$ $\phi(\zeta)$

Тепер, як частина цього нового методу, моя книга отримала оцінку PDF-файлу , задану: $x$

p_{x} (ζ) = ϕ (ζ) [1 + \sum_{i} c_{i} F^{i} (ζ)]

$p_x(\zeta) = \phi(\zeta) [1 + \sum_{i} c_i \; F^{i}(\zeta)]$

(Де . До речі, - це не потужність, а натомість індекс). $c_i = \mathbb{E}\{F^i(x)\}$ $i$

Наразі я “приймаю” цю нову формулу PDF і попрошу про неї ще день. Це не моє головне питання. Що він зараз робить, - це вставити цю версію PDF-файлу назад в рівняння negentropy і закінчується наступним: $x$

J (x) \approx \frac{1}{2} \sum_{i} E {F^{i} (x)}^{2}

$J(x) \approx \frac{1}{2}\sum_i\mathbb{E} \{F^i(x)\}^2$

Майте на увазі, сигма (тут і для решти посади) просто петлі навколо індексу . Наприклад, якби ми мали лише дві функції, сигнал би циклічно для і . Звичайно, я повинен розповісти вам про ті функції, якими він користується. Отже, мабуть, ці функції визначаються таким чином: $i$ $i=2$ $i=2$ $F^i$

Функції не є поліноміальними функціями в цьому випадку. (Будемо вважати, що rv - нульове середнє значення та дисперсія одиниці). Тепер зробимо деякі обмеження та надамо властивості цих функцій: $F^i$ $x$

$F^{n + 1} (ζ) = ζ, c_{n + 1} = 0$ $F^{n+1}(\zeta) = \zeta, \: \: c_{n+1} = 0$
$F^{n + 2} (ζ) = ζ^{2}, c_{n + 1} = 1$ $F^{n+2}(\zeta) = \zeta^2, \: \: c_{n+1} = 1$
Для спрощення розрахунків, давайте зробимо ще один, чисто технічне припущення: Функції , сформуйте ортонормальну систему як таку: $F^i, i = 1, ... n$

$\int ϕ (ζ) F^{i} (ζ) F^{j} (ζ) d ζ = {\begin{cases} 1, if i = j \\ 0, if i \neq j \end{cases}$ $\int \phi(\zeta) F^i(\zeta)F^j(\zeta)d\zeta= \begin{cases} 1, \quad \text{if } i = j \\ 0, \quad \text{if } i \neq j \end{cases}$
і

$\int ϕ (ζ) F^{i} (ζ) ζ^{k} d (ζ) = 0, for k = 0, 1, 2$ $\int \phi(\zeta)F^i(\zeta)\zeta^k d(\zeta) = 0, \quad \text{for } k = 0,1,2$

Майже там! Гаразд, так що все було на заднім плані, а тепер до питання. Завдання полягає в тому, щоб просто розмістити цей новий PDF у формулу диференціальної ентропії, . Якщо я це зрозумію, я зрозумію решту. Тепер книга дає виведення (і я з цим погоджуюся), але я застряг до кінця, бо не знаю / не бачу, як це скасовується. Крім того, я не знаю, як інтерпретувати малі позначення від розширення Тейлора. $H(x)$

Це результат:

Використовуючи розширення Тейлора , для отримуємо: $(1+\epsilon)log(1+\epsilon) = \epsilon + \frac{\epsilon^2}{2} + o(\epsilon^2)$ $H(x)$

H (x) = - \int ϕ (ζ) (1 + \sum c_{i} F^{i} (ζ)) (l o g (1 + \sum c_{i} F^{i} (ζ) + l o g (ζ)) d (ζ) = - \int ϕ (ζ) l o g (ζ) - \int ϕ (ζ) \sum c_{i} F^{i} (ζ) l o g (ϕ (ζ)) - \int ϕ (ζ) [\sum c_{i} F^{i} (ζ) + \frac{1}{2} (\sum c_{i} F^{i} (ζ))^{2} + o ((\sum c_{i} F^{i} (ζ))^{2})]

$H(x) = -\int \phi(\zeta) \; (1 + \sum c_i F^i(\zeta)) \; (log(1 + \sum c_i F^i(\zeta) + log(\zeta)) \; d(\zeta) \\ = -\int \phi(\zeta) log(\zeta) -\int \phi(\zeta) \sum c_i F^i(\zeta) log(\phi(\zeta)) -\int \phi(\zeta) \; [\sum c_i F^i(\zeta) + \frac{1}{2}(\sum c_i F^i(\zeta))^2 + o((\sum c_i F^i(\zeta))^2)]$

і так

Питання: (я цього не розумію)

H (x) = H (v) - 0 - 0 - \frac{1}{2} \sum c_{i}^{2} + o ((\sum c_{i})^{2}

$H(x) = H(v) - 0 - 0 -\frac{1}{2}\sum c_i^2 + o((\sum c_i)^2$

Отже, моя проблема: За винятком , я не розумію, як він отримав останні 4 умови в останньому рівнянні. (тобто 0, 0 і останні два доданки). Я все розумію до цього. Він каже, що він використав відносини ортогональності, наведені у властивостях вище, але я не розумію, як. (Я також не розумію тут малого позначення, в сенсі того, як воно використовується?) $H(v)$

СПАСИБІ!!!!

Редагувати:

Я пішов вперед і додав образи з книги, яку я читаю, вона в значній мірі говорить те, що я говорив вище, але на всякий випадок, коли комусь потрібен додатковий контекст.

введіть тут опис зображення

І тут, позначений червоним кольором, є саме та частина, яка мене бентежить. Як він використовує властивості ортогональності, щоб отримати останню частину, де речі скасовуються, і остаточні підсумки, що включають $c_i^2$

— Космічний
джерело

Підказка : Випишіть явно

і використовуйте висловлені припущення автора, щоб отримати нулі для двох середніх доданків. У блок-цитаті повинно бути кілька помилок; наприклад,

з'являється в неправильному місці у визначенні ортонормальної основи, яке ви даєте.

\log ϕ (x)

$\log \phi(x)$

\neq

$\neq$

— кардинал

@cardinal Ок, виправив друкарську помилку, дякую. Попри це, мені незрозуміло, як він виконує скасування. Я додав фактичні зображення btw із самої книги.

— Спейсі

Чесно кажучи, я навіть не маю уявлення, як і чому це мігрувало з математичного сайту. У будь-якому разі, я щасливий, що він є тут, де однаково вдома. Ви доклали багато зусиль до питання. :-)

— кардинал

@cardinal Мені дуже приємно почути, як ти це кажеш. :-) Так, сподіваємось, ця інвестиція в самостійне навчання окупиться колись. ;-)

— Spacey

Буде, @Mohammad, так і буде! ICA також дуже цікава тема :-).

— Нестор

$c_i$

c_{i} = \int p_{0} (ξ) G^{i} (ξ) d ξ .

$c_i=\int p_0(\xi)G^i(\xi)d\xi.$

ξ

$\xi$

ξ^{'}

$\xi'$

c_{i}

$c_i$

>> Для отримання нульових доданків:

$\varphi(\xi)=\exp(-\xi^2/2)/\sqrt{2\pi}$ $\log\varphi(\xi)$

\log φ (ξ) = - ξ^{2} / 2 - \log \sqrt{2 π} .

$\log\varphi(\xi)=-\xi^2/2-\log\sqrt{2\pi}.$

c_{i} \int φ (ξ) G^{i} (ξ) \log φ (ξ) = - \frac{1}{2} c_{i} \int φ (ξ) G^{i} (ξ) ξ^{2} - \log \sqrt{2 π} c_{i} \int φ (ξ) G^{i} (ξ), (1)

$c_i\int\varphi(\xi)G^i(\xi)\log \varphi(\xi)=-\frac{1}{2}c_i\int\varphi(\xi)G^i(\xi)\xi^2-\log\sqrt{2\pi}c_i\int\varphi(\xi)G^i(\xi),\ \ \ (1)$

Звідси зауважимо, що в (5.39) зазначено, що $\int \varphi(\xi)F^i(\xi)\xi^k$ $0$ $k=0,1,2$ $(1)$ $k=2$ $k=0$

$\sum c_i^2$

Зауважимо, що інтеграл, який слід отримати для отримання цих доданків, є:

\int φ (ξ) {(\sum_{i = 1}^{n} c_{i} G^{i} (ξ))}^{2} d ξ .

$\int \varphi(\xi)\left(\sum_{i=1}^{n} c_iG^i(\xi)\right)^2d\xi.$

\int φ (ξ) \sum_{k_{1} + k_{2} + . . . k_{n} = 2} \frac{2!}{k_{1}! k_{2}! . . . k_{n}!} \prod_{1 \leq t \leq n} (c_{t} G^{t} (ξ))^{k_{t}} d ξ .

$\int \varphi(\xi)\sum_{k_1+k_2+...k_n=2} \frac{2!}{k_1! k_2!...k_n!}\prod_{1\leq t \leq n}(c_tG^t(\xi))^{k_t}d\xi.$

\int φ (ξ) G^{i} (ξ) G^{j} (ξ) d ξ

$\int \varphi(\xi)G^{i}(\xi)G^{j}(\xi)d\xi$

i \neq j

$i\neq j$

i = j

$i=j$

\int φ (ξ) {(\sum c_{i} G^{i} (ξ))}^{2} d ξ = \sum c_{i}^{2} .

$\int \varphi(\xi)\left(\sum c_iG^i(\xi)\right)^2d\xi=\sum c_i^2.$

$o(\text{whatever})$

Я думаю, що це досить заплутано від авторів, але я пам'ятаю, що вони використовують це лише для того, щоб означати, що існують умови порядку $\text{whatever}$ $o(\text{whatever})$ цій статті Вікіпедії .

PS: До речі, це чудова книга. Роботи авторів на цю тему також дуже хороші і обов'язково читаються, якщо ви намагаєтесь зрозуміти та реалізувати ICA.

— Нестор
джерело

(+1) Гарна відповідь. Якщо суми нескінченні, ми повинні бути більш уважними щодо їх обміну інтегралом. Якщо вони кінцеві (як підказує ОП, але я не переглядав зображення уважно), то все прямо, як ви показали. :-)

— кардинал

c_{i}^{2}

$c_i^2$

@cardinal: О так! Вони кінцеві (я не знаю, чому я написав їх там, де нескінченно ...). Я змінив це на свою відповідь.

— Нестор

@Mohammad, я пишу на свої відповіді ваші інші два питання ;-).

— Нестор

@ Нестор, +1 на цю відповідь, але повторно: ваш останній коментар, я думаю, що існує різниця між big-O та нотацією little-o .

— Макрос