вартість вибірки

Я зіткнувся з такою проблемою моделювання: заданий набір $\{\omega_1,\ldots,\omega_d\}$ відомих реальних чисел, розподіл на $\{-1,1\}^d$ визначається через

П (Х = (х_{1}, \dots, х_{г})) \propto (х_{1} ω_{1} + \dots + х_{г} ω_{г})_{+}

$\mathbb{P}(X=(x_1,\ldots,x_d))\propto (x_1\omega_1+\ldots+x_d\omega_d)_+$ де

(z)_{+}

$(z)_+$ позначає позитивну частину

z

$z$ . Хоча я можу подумати про пробірник Metropolis-Hastings, націлений на цей розподіл, мені цікаво, чи існує ефективний прямий пробовідбірник, скориставшись великою кількістю нульових ймовірностей для зменшення порядку алгоритму з

O (2^{d})

$O(2^d)$ до

O (d)

$O(d)$ .

— Сіань
джерело

Ось досить очевидний рекурсивний пробовідбірник $O(d)$ в кращому випадку (з точки зору ваг $\omega_i$ ), але експоненціальна в гіршому випадку.

Припустимо, ми вже вибрали $x_1, \dots, x_{i-1}$ та бажати вибрати $x_{i}$ . Нам потрібно обчислити

ш (х_{1}, \dots, х_{i - 1}, х_{i}) = \sum_{х_{i + 1} \in {- 1, 1}} \dots \sum_{х_{г} \in {- 1, 1}} {(\sum_{j = 1}^{г} ω_{j} х_{j})}_{+}

$w(x_1, \dots, x_{i-1}, x_i) = \sum_{x_{i+1} \in \{-1, 1\}} \cdots \sum_{x_{d} \in \{-1, 1\}} \left( \sum_{j=1}^d \omega_j x_j \right)_+$ і вибирайте

x_{i} = 1

$x_i = 1$ з вірогідністю

\frac{ш (х_{1}, \dots, х_{i - 1}, 1)}{ш (х_{1}, \dots, х_{i - 1}, 1) + ш (х_{1}, \dots, х_{i - 1}, - 1)} .

$\frac{w(x_1, \dots, x_{i-1}, 1)}{w(x_1, \dots, x_{i-1}, 1) + w(x_1, \dots, x_{i-1}, -1)}.$ Знаменник не буде нульовим для будь-якого дійсного вибору зразків

x_{1}, \dots, x_{i - 1}

$x_1, \dots, x_{i-1}$ .

Тепер, звичайно, питання в тому, як зробити обчислення $w(x_1, \dots, x_i)$ .

Якщо у нас це є $C := \sum_{j=1}^{i} \omega_j x_j \ge \sum_{j=i+1}^{d} \lvert \omega_j \rvert$ , тоді $\omega \cdot x \ge 0$ для будь-якого $x$ з провідними записами $x_{1:i}$ , і так $w$ стає:

\begin{aligned} \sum_{x_{i + 1}} \dots \sum_{х_{г}} ω \cdot х & = ω \cdot (\sum_{х_{i + 1}} \dots \sum_{х_{г}} х) \\ = \sum_{j = 1}^{i} ω_{j} \underset{2^{г - i} х_{j}}{\underset{⏟}{(\sum_{х_{i + 1}} \dots \sum_{х_{г}} х_{j})}} + \sum_{j = i + 1}^{г} ω_{j} \underset{0}{\underset{⏟}{(\sum_{х_{i + 1}} \dots \sum_{х_{г}} х_{j})}} \\ = 2^{г - i} С . \end{aligned}

$\begin{align} \sum_{x_{i+1}} \cdots \sum_{x_d} \omega \cdot x &= \omega \cdot \left( \sum_{x_{i+1}} \cdots \sum_{x_d} x \right) \\&= \sum_{j=1}^i \omega_j \underbrace{\left( \sum_{x_{i+1}} \cdots \sum_{x_d} x_j \right)}_{2^{d-i} x_j} + \sum_{j=i+1}^d \omega_j \underbrace{\left( \sum_{x_{i+1}} \cdots \sum_{x_d} x_j \right)}_{0} \\&= 2^{d-i} C .\end{align}$

У протилежному випадку $C \le - \sum_{j=i+1}^{d} \lvert \omega_j \rvert$ , у нас це є $\omega \cdot x \le 0$ і так $w(x_1, \dots, x_i) = 0$ .

В іншому випадку ми повинні повторити, використовуючи $w(x_1, \dots, x_i) = w(x_1, \dots, x_i, 1) + w(x_1, \dots, x_i, -1)$ .

Припустимо, що пам'ять не є проблемою, і ми можемо кешувати всі підрахунки в $w(1)$ , $w(-1)$ на дереві - аж до того, що ми потрапили в один із «приємних» випадків, після якого будь-які дзвінки займають постійний час. (Нам все одно потрібно буде обчислити це все дерево, щоб вибрати $x_1$ .) Потім, колись це дерево о $w$ обчислень побудовано, пробовідбірник візьме лише $O(d)$ час. Питання в тому, скільки часу потрібно для побудови дерева, або рівнозначно, яке воно велике.

Ми, звичайно, швидше потрапимо в "приємні" випадки, якщо $\omega_i$ сортуються, $\omega_1 \ge \omega_2 \ge \dots \ge \omega_d$ .

У кращому випадку, $\lvert \omega_1 \rvert > \sum_{j=2}^d \lvert \omega_j \rvert$ . Тоді ми негайно потрапляємо на "приємний" випадок для будь-якого $w(1)$ або $w(-1)$ , тому $w$ побудова дерева займає постійний час, і займає весь пробовідбірник $O(d)$ час.

У гіршому (відсортованому) випадку, $\omega_1 = \omega_2 = \dots = \omega_d$ . Тоді питання: наскільки велике загальне дерево?

Ну, і перші шляхи до припинення - це звичайно $(1, 1, \dots, 1)$ і $(-1, -1, \dots, -1)$ довжини $\lceil d/2 \rceil$ . Отже, дерево є повною до цієї глибини, і так містить щонайменше $O(2^{d/2})$ вузли. (У ньому є більше; ви, ймовірно, можете знайти це з таким аргументом, як ті, що використовуються в проблемах зі зруйнуванням азартних гравців, але я не міг знайти його за дві хвилини Гуглінга і мене це особливо не хвилює - $2^{d/2}$ досить погано ....)

Якщо у ваших налаштуваннях є лише кілька дуже великих $\omega_i$ це, мабуть, досить практичний підхід. Якщо $\omega_i$ всі подібної величини, ймовірно, це все ще експоненціально і занадто дорого для великих $d$ .

— Дугал
джерело

Дякуємо за цей тип усунення Вітербі. Коли ви пишете "У зворотному випадку",

С_{i} \leq - \sum_{j = i + 1}^{г} | ω_{j} |

$C_i\le -\sum_{j=i+1}^{d} \lvert \omega_j \rvert$ Я вважаю, ви не маєте на увазі доповнення першої справи

С_{i} \geq \sum_{j = i + 1}^{г} | ω_{j} |

$C_i\ge \sum_{j=i+1}^{d} \lvert \omega_j \rvert$

— Сіань

Ні, не доповнення: коли воно дуже велике, ви знаєте, що укорочення не застосовується, коли воно дуже мало, воно завжди застосовується, і між ними ви повинні повторитись, щоб зрозуміти, коли воно застосовується чи ні.

— Дугал