Порядок операцій, числові алгоритми

Я це прочитав

(1) Погані кондиціоновані операції слід виконувати перед добре кондиціонованими.

Як приклад, слід обчислити як оскільки віднімання погано обумовлене, а множення не відбувається. $xz-yz$ $(x-y)z$

Однак аналіз помилок першого порядку обох алгоритмів виявляє, що вони відрізняються лише коефіцієнтом три (*), і я не бачу, чому можна узагальнити це до твердження (1), і не інтуїтивно зрозуміти значення порядок операцій. Як ви вважаєте, висловлювання (1) є прийнятим правилом, і чи є у вас інші пояснення до нього?

*: точніше, перша версія має відносну помилку, обмежену

eps + 3 \frac{| x | + | y |}{| x | - | y |} eps

$\text{eps}+3\frac{|x|+|y|}{|x|-|y|}\text{eps}$ а відносна помилка другої версії обмежена

3 eps + \frac{| x | + | y |}{| x | - | y |} eps

$3\text{eps}+\frac{|x|+|y|}{|x|-|y|}\text{eps}$

де - машинна точність. $\text{eps}$

Цей аналіз ґрунтується на припущенні, що -й проміжний результат помножується на (через помилки округлення), де є випадковими змінними, обмеженими . "Перший порядок" означає, що термінами вищого порядку, наприклад , нехтують. $i$ $(1+\varepsilon_i)$ $\varepsilon_i$ $\text{eps}$ $\epsilon_i\epsilon_jx$

stability floating-point

— Бананах
джерело

Де ти це читав?

— Девід Кетчесон

у моїх лекційних записках

— Бананах

Позначимо через (я ліниво намагався отримати кругову версію оператора ділення) аналоги з плаваючою комою точного множення ( ), додавання ( ) та віднімання ( ) відповідно. Будемо вважати (IEEE-754), що для всіх них де - це епсилон машини, що надає верхню межу відносної похибки через округлення. Ми також використаємо таку лему (якщо припустити, що всі , а не надто велика), яку можна легко довести: $\otimes,\oplus,\ominus$ $\times$ $+$ $-$

[x \oplus y] = (x + y) (1 + δ_{\oplus}), | δ_{\oplus} | \leq ϵ_{m a c h},

$[x\oplus y]=(x+ y)(1+\delta_\oplus),\quad |\delta_\oplus|\le\epsilon_\mathrm{mach},$

ϵ_{m a c h}

$\epsilon_\mathrm{mach}$

| δ_{i} | \leq ϵ_{m a c h}

$|\delta_i|\le\epsilon_\mathrm{mach}$

m

$m$

\prod_{i = 1}^{m} (1 + δ_{i}) = 1 + θ (m), | θ (m) | \leq \frac{m ϵ_{m a c h}}{1 - m ϵ_{m a c h}}

$\prod\limits_{i=1}^{m}(1+\delta_i)=1+\theta(m),\quad |\theta(m)|\le\frac{m\epsilon_\mathrm{mach}}{1-m\epsilon_\mathrm{mach}}$

Давайте визначимо справжню функцію яка діє на дійсні числа як $f$ $x,y,z$

f (x, y, z) = (x \times z) - (y \times z)

$f(x,y,z)=(x\times z)-(y\times z)$

і дві версії реалізації функції в арифметиці з плаваючою комою, сумісною з IEEE, як і які працюють на представленнях з плаваючою комою таким чином: $\tilde{f_1}$ $\tilde{f_2}$ $\tilde{x}=x(1+\delta_x),\tilde{y},\tilde{z}$

\tilde{f_{1}} (\tilde{x}, \tilde{y}, \tilde{z}) = (\tilde{x} \otimes \tilde{z}) ⊖ (\tilde{y} \otimes \tilde{z}),

$\tilde{f_1}(\tilde{x},\tilde{y},\tilde{z})=(\tilde{x}\otimes\tilde{z})\ominus(\tilde{y}\otimes\tilde{z}),$

\tilde{f_{2}} (\tilde{x}, \tilde{y}, \tilde{z}) = (\tilde{x} ⊖ \tilde{y}) \otimes \tilde{z} .

$\tilde{f_2}(\tilde{x},\tilde{y},\tilde{z})=(\tilde{x}\ominus\tilde{y})\otimes\tilde{z}.$

Аналіз помилок для : $\tilde{f_1}$

\begin{aligned} \tilde{f_{1}} & = (\underset{(\tilde{x} \otimes \tilde{z})}{\underset{⏟}{(x (1 + δ_{x}) \times z (1 + δ_{z})) (1 + δ_{\otimes_{x z}})}} - \underset{(\tilde{y} \otimes \tilde{z})}{\underset{⏟}{(y (1 + δ_{y}) \times z (1 + δ_{z})) (1 + δ_{\otimes_{y z}})}}) (1 + δ_{⊖}) \\ = x z (1 + δ_{x}) (1 + δ_{z}) (1 + δ_{\otimes_{x z}}) (1 + δ_{⊖}) - y z (1 + δ_{y}) (1 + δ_{z}) (1 + δ_{\otimes_{y z}}) (1 + δ_{⊖}) \\ = x z (1 + θ_{x z, 1}) - y z (1 + θ_{y z, 1}) . \end{aligned}

$\begin{aligned} \tilde{f_1}&=\Big(\underbrace{\big(x(1+\delta_x)\times z(1+\delta_z)\big)\big(1+\delta_{\otimes_{xz}}\big)}_{(\tilde{x}\otimes\tilde{z})}-\underbrace{\big(y(1+\delta_y)\times z(1+\delta_z)\big)\big(1+\delta_{\otimes_{yz}}\big)}_{(\tilde{y}\otimes\tilde{z})}\Big)\Big(1+\delta_{\ominus}\Big)\\ &=xz(1+\delta_x)(1+\delta_z)(1+\delta_{\otimes_{xz}})(1+\delta_\ominus)-yz(1+\delta_y)(1+\delta_z)(1+\delta_{\otimes_{yz}})(1+\delta_\ominus)\\ &=xz(1+\theta_{xz,1})-yz(1+\theta_{yz,1}). \end{aligned}$ Тут, .

| θ_{x z, 1} |, | θ_{y z, 1} | \leq \frac{4 ϵ_{m a c h}}{1 - 4 ϵ_{m a c h}}

$|\theta_{xz,1}|,|\theta_{yz,1}|\le\frac{4\epsilon_\mathrm{mach}}{1-4\epsilon_\mathrm{mach}}$

Аналогічно для Тут, . $\tilde{f_2}$

\begin{aligned} \tilde{f_{2}} & = (((x (1 + δ_{x}) - y (1 + δ_{y}) (1 + δ_{⊖_{x y}})) \times (z (1 + δ_{z}))) (1 + δ_{\otimes}) \\ = x z (1 + δ_{x}) (1 + δ_{z}) (1 + δ_{⊖_{x y}}) (1 + δ_{\otimes}) - y z (1 + δ_{y}) (1 + δ_{z}) (1 + δ_{⊖_{x y}}) (1 + δ_{\otimes}) \\ = x z (1 + θ_{x, 2}) - y z (1 + θ_{y, 2}) . \end{aligned}

$\begin{aligned} \tilde{f_2}&=\Bigg(\Big(\big( x(1+\delta_x)-y(1+\delta_y \big)\big(1+\delta_{\ominus_{xy}}\big)\Big)\times \Big(z(1+\delta_z)\Big)\Bigg)\Bigg(1+\delta_{\otimes}\Bigg)\\ &=xz(1+\delta_x)(1+\delta_z)(1+\delta_{\ominus_{xy}})(1+\delta_\otimes)-yz(1+\delta_y)(1+\delta_z)(1+\delta_{\ominus_{xy}})(1+\delta_\otimes)\\ &=xz(1+\theta_{x,2})-yz(1+\theta_{y,2}). \end{aligned}$

| θ_{x, 2} |, | θ_{y, 2} | \leq \frac{4 ϵ_{m a c h}}{1 - 4 ϵ_{m a c h}}

$|\theta_{x,2}|,|\theta_{y,2}|\le\frac{4\epsilon_\mathrm{mach}}{1-4\epsilon_\mathrm{mach}}$

Отже, і для і для ми отримали вирази одного типу, тому я не бачу, чому одна реалізація була б кращою для іншої з числової точки зору (крім того, що виконує лише 2 операції з плаваючою комою порівняно з ). $\tilde{f_1}$ $\tilde{f_2}$ $\tilde{f_2}$ $\tilde{f_1}$

Обчислення відносної помилки покаже, що проблема виникає з того, що і можуть бути дуже близькими ( скасування ). $x$ $y$

\begin{aligned} \frac{| \tilde{f_{1}} - f |}{| f |} & = \frac{| x z + x z θ_{x z, 1} - y z - y z θ_{y z, 1} - (x z - y z) |}{| x z - y z |} = \frac{| x θ_{x z, 1} - y θ_{y z, 1} |}{| x - y |} \\ \leq \frac{| x | + | y |}{| x - y |} \frac{4 ϵ_{m a c h}}{1 - 4 ϵ_{m a c h}}, \end{aligned}

$\begin{aligned} \frac{|\tilde{f_1}-f|}{|f|}&=\frac{|xz+xz\theta_{xz,1}-yz-yz\theta_{yz,1}-(xz-yz)|}{|xz-yz|}=\frac{|x\theta_{xz,1}-y\theta_{yz,1}|}{|x-y|}\\ &\le\frac{|x|+|y|}{|x-y|}\frac{4\epsilon_\mathrm{mach}}{1-4\epsilon_\mathrm{mach}}, \end{aligned}$

\begin{aligned} \frac{| \tilde{f_{2}} - f |}{| f |} & = \frac{| x z + x z θ_{x, 2} - y z - y z θ_{y, 2} - (x z - y z) |}{| x z - y z |} = \frac{| x θ_{x, 2} - y θ_{y, 2} |}{| x - y |} \\ \leq \frac{| x | + | y |}{| x - y |} \frac{4 ϵ_{m a c h}}{1 - 4 ϵ_{m a c h}} . \end{aligned}

$\begin{aligned} \frac{|\tilde{f_2}-f|}{|f|}&=\frac{|xz+xz\theta_{x,2}-yz-yz\theta_{y,2}-(xz-yz)|}{|xz-yz|}=\frac{|x\theta_{x,2}-y\theta_{y,2}|}{|x-y|}\\ &\le\frac{|x|+|y|}{|x-y|}\frac{4\epsilon_\mathrm{mach}}{1-4\epsilon_\mathrm{mach}}. \end{aligned}$

Невеликі відмінності між 's можуть зробити одну з двох числових реалізацій незначно кращою або гіршою залежно від . Однак я сумніваюся, що це може мати будь-яке значення. Результат абсолютно має сенс, тому що незалежно від того, якщо вам доведеться обчислити , коли і досить близькі за значеннями (для точності, з якою ви працюєте) за допомогою арифметики з плаваючою комою, ніяке масштабування не допоможе вам: ви вже в біді. $\theta$ $x,y,z$ $(x-y)$ $x$ $y$

Примітка: Усі обговорення вище не передбачають переповнення або переливу, тобто , є множиною всіх нормальних чисел з плаваючою комою. $x,y,z,f(x,y,z)\in\mathbb F_0$ $\mathbb F_0$

— Антон Меншов
джерело