Чому додавання ймовірностей журналу швидше, ніж множення ймовірностей?

Щоб вирішити питання, в галузі інформатики часто ми хочемо обчислити добуток кількох ймовірностей:

P(A,B,C) = P(A) * P(B) * P(C)

Найпростіший підхід - просто помножити ці числа, і саме це я збирався зробити. Однак мій начальник сказав, що краще додати журнал ймовірностей:

log(P(A,B,C)) = log(P(A)) + log(P(B)) + log(P(C))

Це дає ймовірність журналу, але ми можемо отримати ймовірність згодом:

P(A,B,C) = e^log(P(A,B,C))

Додавання журналу вважається кращим з двох причин:

1. Це перешкоджає "переливу", завдяки чому добуток ймовірностей настільки малий, що він округляється до нуля. Це часто може бути ризиком, оскільки ймовірності часто дуже малі.
2. Це швидше, тому що багато архітектури комп'ютера можуть виконувати додавання швидше, ніж множення.

Моє запитання щодо другого пункту. Ось як я це бачив, як це описано, але він не враховує додаткових витрат на отримання журналу! Ми повинні порівнювати "вартість журналу + вартість додавання" до "вартість множення". Чи все-таки вона менша після врахування цього?

Також у цьому відношенні сторінка Вікіпедії ( ймовірність журналу ) є заплутаною, заявляючи, що "Перехід у форму журналу є дорогим, але відбувається лише один раз". Я цього не розумію, тому що я думаю, що вам потрібно буде взяти журнал кожного терміна самостійно перед додаванням. Що я пропускаю?

Нарешті, обґрунтування того, що "комп’ютери виконують додавання швидше, ніж множення", є дещо невиразним. Це специфічно для набору інструкцій x86 чи це якась більш фундаментальна риса архітектури процесорів?

Також сторінка Вікіпедії ( https://en.wikipedia.org/wiki/Log_probability ) є заплутаною в цьому відношенні, заявляючи, що "Перехід у форму журналу є дорогим, але відбувається лише один раз". Я цього не розумію, тому що я думаю, що вам потрібно буде взяти журнал кожного терміна самостійно перед додаванням. Що я пропускаю?

Якщо ви просто хочете один раз обчислити , то ви праві. Вам доведеться обчислити n логарифмів і n - 1 доповнень, тоді як наївний метод вимагає n - 1 множення.$P(A_1)\ldots P(A_n)$$n$$n-1$$n-1$

Однак дуже часто ви хочете відповідати на запити форми:

Обчислити для деякого підмножини я з { 1 , ... п } .$\prod_{i \in I} P(A_i)$$I$$\{1, \ldots n\}$

У цьому випадку ви можете попередньо обробити ваші дані, щоб обчислити весь лише один раз, і відповісти на кожен запит, виконавши | Я | доповнення.$\log P(A_i)$$|I|$

Нарешті, обґрунтування того, що "комп’ютери виконують додавання швидше, ніж множення", є дещо невиразним. Це специфічно для набору інструкцій x86 чи це якась більш фундаментальна риса архітектури процесорів?

$a+b$$a$$b$$a\times b$

$2$

Тим не менш, це розумне твердження у всіх поширених архітектурах комп'ютерів: множення на числа з плаваючою комою буде повільніше, ніж додавання.

$N$$p_1,...p_N$$p_i$

$N$

$O(n)$$n$$O(n^2)$

До речі, ця ідея схожа на модульне множення Монтгомері, де множення виконується у формі Монтгомері, що є досить швидшим, ніж звичайне множення, а потім зменшення.