Гіперплани оптимально класифікують дані, коли входи умовно незалежні

10

У статті під назвою " Глибоке навчання та принцип інформації " автори вказують у розділі II А) наступне:

Одиничні нейрони класифікують лише лінійно відокремлювані входи, оскільки вони можуть реалізовувати лише гіперплани у своєму вхідному просторі . Гіперплани можуть оптимально класифікувати дані, коли входи є умовнонезалежними. $u = wh+b$

Щоб показати це, вони отримують наступне. Використовуючи теорему Байєса, вони отримують:

$p(y|x) = \frac{1}{1 + exp(-log\frac{p(x|y)}{p(x|y')} -log\frac{p(y)}{p(y')})}$ (1)

Де - вхід, - клас, а - передбачуваний клас (я припускаю, не визначено). Продовжуючи, вони заявляють, що: $x$ $y$ $y'$ $y'$

$\frac{p(x|y)}{p(x|y')} = \prod^N_{j=1}[\frac{p(x_j|y)}{p(x_j|y')}]^{np(x_j)}$ (2)

Де розмірність вхідного і я не впевнений , що (знову ж , як не визначені). Розглядаючи сигмоїдальний нейрон, за допомогою функції сигмоїдної активації і попередньої активації , після вставки (2) в (1) отримуємо оптимальні значення ваги і , коли вхідні значення . $N$ $n$ $\sigma(u) = \frac{1}{1+exp(-u)}$ $u$ $w_j = log\frac{p(x_j|y)}{p(x_j|y')}$ $b=log\frac{p(y)}{p(y')}$ $h_j=np(x_j)$

Тепер до моїх запитань. Я розумію, як вставлення (2) у (1) призводить до оптимальної ваги та вхідних значень . Я не розумію, однак, це: $w,b,h$

Як (1) виведений за допомогою теореми Байєса?
Як походить (2)? Що таке ? У чому сенс цього? Я припускаю, що це має щось спільне з умовною незалежністю $n$
Навіть якщо розміри х є умовно незалежними, як можна констатувати, що він дорівнює його масштабній ймовірності? (тобто як ви можете вказати ?) $h_j=np(x_j)$

EDIT: Змінна є змінною двійкового класу. З цього я припускаю, що - клас "інший". Це вирішило б питання 1. Чи згодні ви? $y$ $y'$

bayesian neural-networks information-theory

— шпора
джерело

Я намагаюся зрозуміти, звідки походить eq 2, незважаючи на покажчики у відповіді автора статті (Проф. Тішбі). Я розумію ту частину, яка випливає з припущення про умовну незалежність. Однак я не впевнений у показниках

n p (x_{j})

$n p(x_j)$ - чому це там?

— IcannotFixThis

5

Вибачте про відсутні дані в нашій короткій статті, але ці відносини та зв’язки між тестом коефіцієнта ймовірності та сигмоїдальними нейронами, безумовно, не нові, і їх можна знайти в підручниках (наприклад, Bishop 2006). У нашій роботі "N" - це вхідний вимір, а "n" - розмір тестової вибірки (який фактично переводиться на вхідний SNR з припущенням, що SNR росте як sqrt (n)). Підключення до сигмоїдальної функції здійснюється за правилом Байєса, як заднього класу. Нічого в решті статті та нашої новішої та важливішої роботи з 2017 року насправді не залежить від цього.

Нафталі Тішбі

— Нафталі Тішбі
джерело

2

Дякуємо, що тут пояснили це. У цій громаді є звичайною практикою писати повні цитати, щоб зацікавлені читачі могли шукати джерела. Не могли б ви зробити це для Bishop (2006)?

— mkt - Відновіть Моніку

5

Це встановлення моделі, де автори використовують спеціальну форму теореми Байєса, яка застосовується, коли у вас є двійкова змінна інтерес. Спочатку вони виводять цю особливу форму теореми Байєса як рівняння (1), а потім вони показують, що умова в рівнянні (2) приводить їх до лінійної форми, визначеної для їх мережі. Важливо зазначити, що останнє рівняння не є похідним від попередніх умов --- швидше, це умова для лінійної форми, яку вони використовують для своєї мережі.

Отримання першого рівняння: Рівняння (1) у статті є лише формою теореми Байєса, яка обрамляє умовну ймовірність інтересу з точки зору стандартної логістичної (сигмоїдної) функції, що діє на функції ймовірності та попередньої. Приймаючи $y$ і $y'$ бути двома двійковими результатами випадкової величини $Y$ , застосовуючи теорему Байєса, дає:

\begin{aligned} p (y | x) = \frac{p (y, x)}{p (x)} & = \frac{p (x | y) p (y)}{p (x | y) p (y) + p (x | y^{'}) p (y^{'})} \\ = \frac{1}{1 + p (x | y^{'}) p (y^{'}) / p (x | y) p (y)} \\ = \frac{1}{1 + \exp (\log (\frac{p (x | y^{'}) p (y^{'})}{p (x | y) p (y)}))} \\ = \frac{1}{1 + \exp (- \log \frac{p (x | y)}{p (x | y^{'})} - \log \frac{p (y)}{p (y^{'})})} \\ = logistic (\log \frac{p (x | y)}{p (x | y^{'})} + \log \frac{p (y)}{p (y^{'})}) . \end{aligned}

$\begin{equation} \begin{aligned} p(y|\mathbf{x}) = \frac{p(y,\mathbf{x})}{p(\mathbf{x})} &= \frac{p(\mathbf{x}|y) p(y)}{p(\mathbf{x}|y) p(y)+p(\mathbf{x}|y') p(y')} \\[6pt] &= \frac{1}{1+ p(\mathbf{x}|y') p(y')/p(\mathbf{x}|y) p(y)} \\[6pt] &= \frac{1}{1+ \exp \Big( \log \Big( \tfrac{p(\mathbf{x}|y') p(y')}{p(\mathbf{x}|y) p(y)} \Big) \Big)} \\[6pt] &= \frac{1}{1+ \exp \Big( - \log \tfrac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} - \log \tfrac{p(y)}{p(y')} \Big)} \\[6pt] &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg). \\[6pt] \end{aligned} \end{equation}$

Використання рівняння (2) як умови для ленарної форми мережі: Як зазначено вище, це рівняння не є чимось, що є результатом попередніх результатів. Скоріше, це достатня умова, що призводить до лінійної форми, яку використовують автори у своїй моделі --- тобто автори кажуть, що якщо це рівняння має місце, то наступні певні результати слід. Введення вхідного вектора $\mathbf{x} = (x_1,...,x_N)$ мають довжину $N$ , якщо рівняння (2) має місце, то прийняття логарифмів обох сторін дає:

\begin{aligned} журнал \frac{p (х | у)}{p (х | у^{'})} & = журнал \prod_{i = 1}^{N} [\frac{p (х_{i} | у)}{p (х_{i} | у^{'})}]^{н p (х_{i})} \\ = \sum_{i = 1}^{N} н p (х_{i}) журнал [\frac{p (х_{i} | у)}{p (х_{i} | у^{'})}] \\ = \sum_{i = 1}^{N} {год}_{i} ш_{i} . \end{aligned}

$\begin{equation} \begin{aligned} \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} &= \log \prod_{i=1}^N \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big]^{n p (x_i)} \\[6pt] &= \sum_{i=1}^N n p (x_i) \log \Big[ \frac{p(x_i|y)}{p(x_i|y')} \Big] \\[6pt] &= \sum_{i=1}^N h_i w_i. \\[6pt] \end{aligned} \end{equation}$

Отже, за цієї умови ми отримуємо задню форму:

\begin{aligned} p (у | х) & = логістичний (журнал \frac{p (х | у)}{p (х | у^{'})} + журнал \frac{p (у)}{p (у^{'})}) \\ = логістичний (\sum_{i = 1}^{N} {год}_{i} ш_{i} + б), \end{aligned}

$\begin{equation} \begin{aligned} p(y|\mathbf{x}) &= \text{logistic} \Bigg( \log \frac{p(\mathbf{x}|y)}{p(\mathbf{x}|y')} + \log \frac{p(y)}{p(y')} \Bigg) \\[6pt] &= \text{logistic} \Bigg( \sum_{i=1}^N h_i w_i + b \Bigg), \\[6pt] \end{aligned} \end{equation}$

яка форма, яку використовують автори у своїй мережі. Це типова форма, постульована авторами у фоновому розділі, перед тим, як вказати рівняння (1) - (2). Папір не визначає $n$ є в цій моделі налаштування, але, як ви зазначаєте, відповідь професора Тішбі говорить, що це розмір тестового зразка. Що стосується вашого третього запитання, то видається, що вимога рівняння (2) означає, що значення в $\mathbf{x}$ не є умовно незалежними $y$ .

— Бен - Відновлення Моніки
джерело

Професор Тішбі (автор) каже у власній відповіді, що

n

$n$ - розмір тестового зразка. Ось чому я вважав, що eq (2) має набагато багатшу інтерпретацію, ніж просто довільну умову до лінійної форми мережі.

— IcannotFixThis

Дякую - я відредагував свою відповідь, щоб відобразити цю додаткову інформацію.

— Бен - Відновлення Моніки

4

Для 1

$P(y \mid x) = \frac{P(y, x)}{P(x)}$

$= \frac{P(y,x)}{\sum_{i}P(y_{i},x)}$

Тепер як $y_{i}$ є двійковим, це стає:

$= \frac{P(y,x)}{P(y,x)+P(y',x)}$

$= \frac{1}{1+\frac{P(y',x)}{P(y,x)}}$

$= \frac{1}{1+exp[-log \ \frac{P(y,x)}{P(y',x)}]}$

і звідти його справедливість властивості логарифму дійти до остаточної форми (має бути достатньо зрозумілим до цього моменту, повідомте мені, якщо ні).

— Кріс Орманді
джерело

Гіперплани оптимально класифікують дані, коли входи умовно незалежні - чому?