Очікуване значення Гауссової випадкової величини, перетвореної з логістичною функцією

10

І логістична функція, і стандартне відхилення зазвичай позначаються . Я буду використовувати і для стандартного відхилення. $\sigma$ $\sigma(x) = 1/(1+\exp(-x))$ $s$

У мене є логістичний нейрон зі випадковим входом, середнє значення і стандартне відхилення я знаю. Я сподіваюся, що різницю від середньої можна добре оцінити деяким гауссовим шумом. Отже, з невеликим зловживанням нотацією, припустимо, що він створює . Яке очікуване значення ? Стандартне відхилення може бути великим або малим по порівнянні з або . Гарне наближення закритої форми до очікуваного значення було б майже таким же добрим, як рішення закритої форми. $\mu$ $s$ $\sigma(\mu + N(0,s^2))=\sigma(N(\mu,s^2))$ $\sigma(N(\mu,s^2))$ $s$ $\mu$ $1$

Я не думаю, що рішення закритої форми існує. Це можна розглядати як згортку, і характерна функція для логістичної щільності відома ( ), але я не впевнений, наскільки це допомагає. Зворотний символічний калькулятор не змогло розпізнати щільність при згортку щільності логістичного дистрибутива і стандартного нормального розподілу, який наводить на думку , але не доводить , що не існує простого елементарний інтеграл. Більш обґрунтовані докази: У деяких роботах щодо додавання вхідного шуму Гаусса до нейронних мереж з логістичними нейронами документи також не давали виразів закритої форми. $\pi t ~\text{csch} ~\pi t$ $0$

Це питання виникло при спробі зрозуміти помилку в наближенні середнього поля в машинах Больцмана.

— Дуглас Заре
джерело

5

Далі - це те, що я закінчив:

Напишіть де . Ми можемо використовувати розширення серії Taylor. $\sigma(N(\mu,s^2)) = \sigma(\mu + X)$ $X \sim N(0,s^2)$

$\sigma(\mu + X) = \sigma(\mu) + X \sigma'(\mu) + \frac{X^2}{2} \sigma''(\mu)+ ... + \frac{X^n}{n!}\sigma^{(n)}(\mu) + ...$

$\begin{eqnarray} E[\sigma(\mu + X)] & =& E[\sigma(\mu)] + E[X \sigma'(\mu)] + E[\frac{X^2}{2} \sigma''(\mu)] + ... \newline & = & \sigma(\mu) + 0 + \frac{s^2}{2}\sigma''(\mu) + 0 + \frac{3s^4}{24}\sigma^{(4)}(\mu)+ ... + \frac{s^{2k}}{2^k k!}\sigma^{(2k)}(\mu) ... \end{eqnarray}$

Є проблеми конвергенції. Логістична функція має полюс, де , тому при , непарне. Розбіжність - це не те саме, що префікс є марним, але це наближення рядів може бути недостовірним, коли є значущим. $\exp(-x) = -1$ $x = k \pi i$ $k$ $P(|X| \gt \sqrt{\mu^2 + \pi^2})$

Оскільки , ми можемо записати похідні як многочлени в . Наприклад, і . Коефіцієнти пов'язані з OEIS A028246 . $\sigma'(x) = \sigma(x) (1-\sigma(x))$ $\sigma(x)$ $\sigma(x)$ $\sigma'' = \sigma-3\sigma^2+2\sigma^3$ $\sigma''' = \sigma - 7\sigma^2 + 12 \sigma^3 - 6\sigma^4$

— Дуглас Заре
джерело

4

У вас тут є випадкова змінна, яка слід за розподілом logit-normal (або logistic-normal) (див. Wikipedia ), тобто . Моменти розподілу logit-normal не мають аналітичних рішень. $\mbox{logit}[x] \sim N(\mu, s^2)$

Але, звичайно, їх можна отримати за допомогою чисельної інтеграції. Якщо ви використовуєте R, є пакет logitnorm, у якому є все необхідне. Приклад:

install.packages("logitnorm")
library(logitnorm)
momentsLogitnorm(mu=1, sigma=2)

Це дає:

> momentsLogitnorm(mu=1, sigma=2)
      mean        var 
0.64772644 0.08767866

Отже, є навіть функція зручності, яка безпосередньо дасть вам середнє значення та дисперсію.

— Вольфганг
джерело