Катастрофічне скасування в логсумі

Я намагаюся реалізувати наступну функцію у плаваючої точки з подвійною точністю з низькою відносною помилкою:

l o g s u m (x, y) = \log (\exp (x) + \exp (y))

$\mathrm{logsum}(x,y) = \log(\exp(x) + \exp(y))$

Це широко використовується в статистичних додатках для додавання ймовірностей або щільності ймовірностей, які представлені в журнальному просторі. Звичайно, або або можуть легко переповнюватись або перетікати, що було б погано, оскільки використовується журнальний простір, щоб уникнути переливу в першу чергу. Це типове рішення: $\exp(x)$ $\exp(y)$

l o g s u m (x, y) = x + l o g 1 p (\exp (y - x))

$\mathrm{logsum}(x,y) = x + \mathrm{log1p}(\exp(y - x))$

Скасування з $y-x$ трапляється, але пом'якшується $\exp$ . Набагато гірше - це коли $x$ і $\mathrm{log1p}(\exp(y - x))$ близькі. Ось відносний графік помилок:

введіть тут опис зображення

Ділянка відрізається на щоб підкреслити форму кривої , щодо якої відбувається скасування. Я бачив помилку до і підозрюю, що вона стає набагато гіршою. (FWIW, функція "основна правда" реалізована за допомогою плавців довільної точності MPFR з 128-бітовою точністю.) $10^{-14}$ $\mathrm{logsum}(x,y) = 0$ $10^{-11}$

Я спробував інші переформулювання, все з тим самим результатом. Якщо як зовнішній вираз, однакова помилка виникає, приймаючи журнал чогось поблизу 1. З як зовнішнім виразом, у внутрішньому виразі відбувається скасування. $\log$ $\mathrm{log1p}$

Тепер абсолютна помилка дуже мала, тому має дуже малу відносну похибку (в межах епсилона). Можна стверджувати, що оскільки користувач дійсно зацікавлений у ймовірностях (а не ймовірностях журналу), ця жахлива відносна помилка не є проблемою. Можливо, зазвичай це не так, але я пишу функцію бібліотеки, і я хотів би, щоб її клієнти могли розраховувати на відносну помилку не набагато гіршу, ніж помилка округлення. $\exp(\mathrm{logsum}(x,y))$ $\mathrm{logsum}$

Здається, мені потрібен новий підхід. Що це може бути?

floating-point stability numerics

— Ніл Торонто
джерело

Я не розумію вашого останнього абзацу. "всередині епізону" для мене нічого не означає. Ви маєте на увазі підрозділ на останньому місці ? Що стосується користувачів, які цікавляться ймовірностями, невелика помилка ймовірності журналу призведе до великої помилки ймовірності, тому це не так.

— Арон Ахмадія

З цікавості ви намагалися взяти "найкраще" з ваших двох методів та намітити помилку? Тоді все, що вам потрібно, - це правильна логіка, щоб визначити, у якому випадку ви знаходитесь (сподіваємось, що це менш затратно або частина необхідної вартості алгоритму), а потім перейти на відповідний метод.

— Арон Ахмадія

@AronAhmadia: "Всередині епсилона" означає відносну похибку, меншу, ніж епсилон з плаваючою комою з подвійною точністю, що становить приблизно 2,22е-16. Для нормальних (тобто не субнормальних) плавань це відповідає приблизно ульпу. Крім того, якщо - абсолютна помилка , то відносна похибка дорівнює

a

$a$

x

$x$

\exp (x)

$\exp(x)$

\exp (a) - 1

$\exp(a)-1$ , що майже є функцією тотожності біля нуля. IOW, мала абсолютна похибка для

означає малу відносну похибку для

x

$x$

\exp (x)

$\exp(x)$

— Ніл Торонто

Додавання: Коли абсолютна похибка

майже до нуля. Наприклад, коли

, ти маєш рацію: відносний вибухає.

a

$a$

a > 1

$a > 1$

— Ніл Торонто

Формула повинна бути чисельно стабільною, вона узагальнюється до чисельно стійкого обчислення

л о г с у м (х, у) = макс (х, у) + л о г 1 p (досвід (- абс (х - у))

$\mathrm{logsum}(x,y)=\max(x,y)+\mathrm{log1p}(\exp(-\operatorname{abs}(x-y))$

журнал \sum_{i} е^{х_{i}} = ξ + журнал \sum_{i} е^{х_{i} - ξ}, ξ = \underset{i}{макс} х_{i}

$\log \sum_i e^{x_i} = \xi+ \log\sum_i e^{x_i-\xi},~~~\xi=\max_i x_i$

л о г с у м (х, у) = макс (х, у) + л е х p (х - у)

$\mathrm{logsum}(x,y)=\max(x,y)+\mathrm{lexp}(x-y)$

л е х p (z) : = журнал (1 + е^{- | z |})

$\mathrm{lexp}(z):=\log(1+e^{-|z|})$

z

$z$

— Арнольд Ноймаєр
джерело

З точки зору абсолютної помилки, це так. З точки зору відносної помилки, жахливо, коли вихід майже до нуля.

— Ніл Торонто

x

$x$

y

$y$

Для х = -0,775 і у = -0,6175 я отримую 62271 помилку ульп і відносну помилку 1.007е-11.

— Ніл Торонто

Обчисліть високоточні точки даних у діапазоні, що цікавить - хоча б два різних діапазони потрібні через асимптотичну поведінку. Можна використовувати визначальний вираз для z, не близького до нуля. Для виняткового діапазону підходять раціональна функція досить високого ступеня, щоб отримати бажану точність. Для чисельної стійкості використовуйте поліноми Бернштейна або поліноми Чебичева в чисельнику та знаменнику, адаптовані до цікавого інтервалу. Наприкінці розкладіть на тривалий дріб і з’ясуйте, наскільки можна врізати коефіцієнти, не уявляючи точності.

— Арнольд Ноймаєр

l = l (z)

$l=l(z)$

m

$m$