Коли Ньютон-Крилов не є відповідним вирішувачем?

Нещодавно я порівнював різні нелінійні розв'язувачі з scipy і був особливо вражений прикладом Ньютона-Крилова в кулінарній книзі Scipy, в якому вони вирішують диференціальне рівняння рівняння другого порядку з нелінійним терміном реакції приблизно в 20 рядках коду.

Я змінив приклад коду для вирішення нелінійного рівняння Пуассона (його також називають рівнянням Пуассона-Больцмана , див. Стор. 17 в цих примітках) для напівпровідникових гетероструктур, які мають вигляд,

\frac{г^{2} ϕ}{г х^{2}} - к (х) (p (х, ϕ) - н (х, ϕ) + N^{+} (х)) = 0

$\frac{d^2\phi}{dx^2} - k(x) \left(p(x,\phi) - n(x,\phi) + N^{+}(x)\right) = 0$

(Це залишкова функція, яка передається вирішувачу.)

Це проблема електростатики, де і - нелінійні функції для виду . Деталі тут не важливі, але справа в тому , що нелінійна функцій експоненціально змінюватиметься в залежності так , залишкова функція може змінюватися в величезному діапазоні ( $n(x,\phi)$ $p(x,\phi)$ $n_i(x) e^{-(E_i(x,\phi) - E_f)}$ $\phi$ $10^{-6} - 10^{16})$ з незначною зміною . $\phi$

Я чисельно розв'язую це рівняння з ньютоном-Криловим scipy, але воно ніколи не збігатиметься (адже воно завжди повідомляло б про помилку при обчисленні якобійців). Я перейшов з розв'язувача Ньютона-Крилова на fsolve (який базується на гібриді MINPACK), і це спрацювало вперше!

Чи є загальні причини, чому Ньютон-Крилов не добре підходить до певних проблем? Чи потрібно вхідні рівняння якось обумовлювати?

Можливо, для коментування потрібно більше інформації, але чому ви вважаєте, що fsolve працював у цьому випадку?

— boyfarrell
джерело

У мене був такий самий випадок з помилкою Ньютона-Крилова з якобіаном, і я виявив, що зміна методу з "lgmres" на просто "gmres" ( sol = newton_krylov(func, guess, method='gmres')) вирішила проблему. Не зовсім точно, чому, але будь-хто інший із цим питанням може подумати, що робити те саме.

— Артур Дент

Ви можете зіткнутися з двома проблемами.

Погане кондиціонування

По-перше, проблема полягає в необдумані, але якщо ви надаєте лише залишок, Ньютон-Крилов викидає половину ваших значущих цифр шляхом остаточного розмежування залишків, щоб отримати дію якобіанців:

J [х] у \approx \frac{Ж (х + ϵ у) - Ж (х)}{ϵ}

$J[x] y \approx \frac{F(x+\epsilon y) - F(x)}{\epsilon}$

$10^{16}$

Зауважте, що ті ж самі питання стосуються і квазі-ньютонських методів, хоча і без кінцевих відмінностей. Усі масштабовані методи для неполадок з компактними операторами (наприклад, диференціальні рівняння) повинні використовувати якобіанську інформацію для попередньої кондиціонування.

Цілком імовірно, що fsolveабо не використовували якобіанську інформацію, або використовували метод dogleg, або зрушення, щоб досягти успіху в методі "градієнтного спуску", незважаючи на по суті єдиний якобійський (тобто, кінцева диференціація матиме багато "шуму" від арифметична гранична точність). Це не масштабується і, fsolveшвидше за все, стає повільніше, коли ви збільшуєте розмір проблеми.

Глобалізація

Якщо лінійні задачі вирішені точно, ми можемо виключити проблеми, що стосуються лінійної задачі (Крилов), і зосередити увагу на тих, що виникають через нелінійність. Місцеві мінімуми та негладкі особливості повільної конвергенції або викликають застій. Пуассон-Больцман - це гладка модель, тому якщо ви почнете з досить хорошого початкового здогаду, Ньютон сходиться квадратично. Більшість стратегій глобалізації передбачають якесь продовження, щоб створити якісну початкову здогадку для остаточних ітерацій. Приклади включають продовження сітки (наприклад, Full Multigrid), продовження параметрів та псевдоперекладне продовження. Остання, як правило, застосовна для стаціонарних проблем і пропонує деяку глобальну теорію конвергенції, див. Coffey, Kelley and Keyes (2003) . Цей документ знайде пошук, який може бути корисним вам:Шестаков, Мілович та Ной (2002) Рішення нелінійного рівняння Пуассона-Больцмана за допомогою псевдоперехідного продовження та методу кінцевих елементів . Продовження псевдотранзиту тісно пов'язане з алгоритмом Левенберга-Маркарда.

Подальше читання

— Джед Браун
джерело