Недоліки наближення Ньютона-Рафсона з приблизною числовою похідною

Припустимо, у мене є деяка функція і я хочу знайти таку, що . Я можу використовувати метод Ньютона-Рафсона. Але для цього потрібно, щоб я знав похідну функцію . Аналітичний вираз для $f$ $x$ $f(x)\approx 0$ $f'(x)$ може бути недоступним. Наприклад, може бути визначений складним фрагментом комп'ютерного коду, який звертається до бази даних експериментальних значень. $f$ $f$

Але навіть якщо є складним, я можу наблизити для будь-якого конкретного , вибравши невелике число і обчисливши $f'$ $f'(a)$ $a$ $\epsilon$ . $f'(a) \approx {f(a+\epsilon) - f(a)\over\epsilon}$

Я чув, що у цього підходу є чіткі недоліки, але я не знаю, що це таке. Вікіпедія натякає, що "Використання цього наближення призвело б до чогось схожого на сектантний метод, зближення якого повільніше, ніж метод Ньютона".

Чи може хтось, будь ласка, детальніше розглянути це та надати посилання, в якому особливо обговорюються проблеми з цією технікою?

reference-request approximation

— Марк Домінус
джерело

Секантний метод є відмінною альтернативою, коли похідне дорого обчислювати. Три кроки сеансу, як правило, приблизно еквівалентні двом крокам Ньютона, а щаблі дешевші.

Кожен раз, коли ви обчислюєте похідну чисельно за допомогою кінцевої різниці (як ви пропонуєте), будь-який шум у функції посилюється, тому ви повинні вибирати свій епсилон ретельно. Однією з можливостей є те, що коли ви наблизитесь до рішення, перейдіть до методу бінарного підрозділу, який гарантовано конвергується до тих пір, поки f локально одноманітний.

— Майк Данлаве

Як згадував Андре, двоточкові числові похідні, як ви пропонуєте, еквівалентні перезапущеному методу Secant . Хоча для більш швидкої конвергенції я б запропонував так званий алгоритм Іллінойса , який є близьким родичем методу Secant і використовуватиме лише один бал за крок, на відміну від двох у вашому випадку, і не зациклюється, як Метод помилкової позиції.

— Педро

Який розмір

? Чим вище розмірність, тим ціннішою стає похідна. Ньютон-Крилов, що не містить якобін, - це варіант, який не потребує явних похідних (хоча попередня умова важлива для погано кондиціонованих систем).

x

$x$

— Джед Браун

Для позначення припустимо, що (тобто функція, що оцінюється векторною, приймає вектор як вхідний і виводить вектор такого ж розміру). Є дві проблеми: обчислювальна вартість та числова точність. $f: \mathbb{R}^{n} \rightarrow \mathbb{R}^{n}$

Для обчислення похідної (матриця Якобія, або , або все, що вам більше зручніше) за допомогою кінцевих різниць знадобиться функцій оцінки. Якби ви могли обчислити похідну, використовуючи арифметику з плаваючою комою безпосередньо з визначення, вам доведеться обчислити коефіцієнт різниці $\mathrm{D}f(x)$ $J(x)$ $(\nabla f(x))^{T}$ $n$

\begin{aligned} D f (x) e_{i} = lim_{ε \to 0} \frac{f (x + ε e_{i}) - f (x)}{ε} \end{aligned}

$\begin{align} \mathrm{D}f(x)e_{i} = \lim_{\varepsilon \rightarrow 0} \frac{f(x + \varepsilon e_{i}) - f(x)}{\varepsilon} \end{align}$

для кожного , якщо припустити, що ви не робите жодного "розумного кінцевого розмежування" (наприклад, Кертіс-Пауелл-Рейд), оскільки ви знаєте (або можете виявити) закономірність зменшення . Якщо великий, це може бути багато оцінок функції. Якщо у вас є аналітичний вираз для , то його обчислення може бути дешевшим. Автоматичні (також відомі як алгоритмічні) методи диференціації також можуть використовуватися в деяких випадках для обчислення приблизно в 3 - 5 разів більше вартості оцінки функції. $i = 1, \ldots, n$ $\mathrm{D}f$ $n$ $\mathrm{D}f$ $\mathrm{D}f$

Є також чисельні проблеми. Очевидно, що на комп’ютері ми не можемо взяти ліміт скаляра, оскільки він іде до нуля, тому, коли ми наближаємо , ми дійсно вибираємо щоб бути "малим" і обчислюємо $\mathrm{D}f$ $\varepsilon$

\begin{aligned} D f (x) e_{i} \approx \frac{f (x + ε e_{i}) - f (x)}{ε}, \end{aligned}

$\begin{align} \mathrm{D}f(x)e_{i} \approx \frac{f(x + \varepsilon e_{i}) - f(x)}{\varepsilon}, \end{align}$

де означає, що це наближення, і ми сподіваємось, що це дійсно гарне наближення. Обчислити це наближення в арифметиці з плаваючою точкою важко, тому що якщо ви вибрали занадто велике, ваше наближення може бути поганим, але якщо ви виберете занадто малий, може виникнути значна помилка округлення. Ці ефекти висвітлюються у $\approx$ $\varepsilon$ $\varepsilon$ статті Вікіпедії про числову диференціацію в поверхневих деталях; Більш докладні посилання можна знайти в статті.

Якщо похибка в матриці Якобіана не надто велика, ітерації Ньютона-Рафсона будуть збігатися. Детальний теоретичний аналіз див. У главі 25 Точності та стійкості числових алгоритмів Ніка Хігхема , або $\mathrm{D}f$ у статті Франсуази Тиссер, на якій він ґрунтується.

Бібліотеки, як правило, піклуються про ці алгоритмічні деталі для вас, і зазвичай, бібліотечні реалізації алгоритму Ньютона-Рафсона (або його варіантів) зблизяться досить непогано, але так часто виникає проблема, яка викликає певні проблеми через недоліки вище. У скалярному випадку я використовував би метод Брента , завдяки своїй стійкості та хорошій конвергенції на практиці. $(n = 1)$

— Джефф Оксберрі
джерело