Допоможіть вирішити між кубічною та квадратичною інтерполяцією в пошуку рядків

Я виконую пошук рядків як частина алгоритму квазі-Ньютона BFGS. На одному кроці пошуку рядків я використовую кубічну інтерполяцію, щоб перейти ближче до локального мінімізатора.

Нехай є цікавою функцією. Я хочу знайти такий , що .$f : R \rightarrow R, f \in C^1$$x^*$$f'(x^*) \approx 0$

Нехай , , і . Припустимо також . Я поміщаю кубічний многочлен так що , , і .$f(x_k)$$f'(x_k)$$f(x_{k+1})$$f'(x_{k+1})$$0\le x_k<x^*<x_{k+1}$$Q(x)=ax^3+bx^2+cx+d$$Q(0)=f(x_k)$$Q'(0)=f'(x_k)$$Q(x_{k+1}-x_{k})=f(x_{k+1})$$Q'(x_{k+1}-x_{k})=f'(x_{k+1})$

Я вирішую квадратичне рівняння: для мого шуканого використовуючи рішення закритої форми.$(1): Q'(x^*-x_k) = 0$$x^*$

Вищезазначене працює в більшості випадків, за винятком випадків, коли оскільки рішення закритої форми для (1) ділиться на a, яке стає дуже близьким до 0 .$f(x)=\mathcal{O}(x^2)$$(1)$$a$$0$

Моє рішення полягає в тому, щоб подивитися на $a$ і якщо він "занадто малий", просто прийняти рішення закритої форми для мінімізатора квадратичного многочлена $Q_2(x)=bx^2+cx+d$ для якого у мене вже є коефіцієнти $b,c,d$ від попереднього пристосування до $Q(x)$ .

Моє запитання: як я розробити хороший тест на те, коли взяти квадратичну інтерполяцію над кубічною? Наївний підхід до тестування на $a \equiv 0$ поганий через чисельні причини, тому я дивлюсь на $|a| < \epsilon\tau$ де $\epsilon$ - це машинна точність, але я не в змозі визначитися з хорошим $\tau$ , масштабним інваріантним $f$ .

Питання про бонус: Чи є якісь числові питання з використанням коефіцієнтів $b,c,d$ від невдалого кубічного прилягання чи я повинен виконати нову квадратичну підгонку відповідним способом обчислення коефіцієнтів?

Редагувати для уточнення: У моєму питанні - це те, що в літературі зазвичай називають . Я просто спростив постановку питання. Проблема оптимізації, яку я вирішую, є нелінійною у 6 вимірах. І я добре усвідомлюю, що умов Вулфа достатньо для пошуку рядків BFGS, отже, заявляючи, що мене цікавить ; Я шукаю те, що задовольнить сильні умови Вулфа, і прийняття мінімізатора кубічного наближення є гарним кроком на цьому шляху.$f$$\phi(\alpha)=f(\bar{x}_k+\alpha \bar{p_k})$$f'(x^*) \approx 0$

Питання полягало не в BFGS, а в тому, як визначити, коли кубічний коефіцієнт є досить малим, що квадратичне наближення є більш доцільним.

Редагувати 2: Оновити позначення, рівняння не змінюються.

Хм ... кубічна інтерполяція не є нечуваною для пошуку рядків, але, як правило, перевищення рівня.

Якщо я правильно читаю вашу проблему, - просто скаляр? У цьому випадку BFGS, мабуть, не є найбільш ефективним способом вирішення вашої проблеми. Скаральні алгоритми оптимізації, такі як метод Брента, швидше за все, вирішать вашу проблему.$x$

Існує ряд алгоритмів пошуку рядків для BFGS. Для моїх власних застосувань, використовуючи BFGS (L-BFGS) з обмеженою пам'яттю, цей пошук рядків працює дуже добре. Пам'ятайте, що вам потрібно лише задовольняти умови Вулфа, і ви, швидше за все, не наберете багато, знайшовши точний мінімізатор.

У будь-якому випадку, щоб реально відповісти на ваше запитання: я б розглядав можливість просто перейти на квадратичний многочлен, якщо розв'язання кубічного дасть «погані» значення, такі як NaN або Inf (як це робиться тут ).

Я не зовсім впевнений, що ви маєте на увазі, використовуючи ? Ці коефіцієнти для кубічного пристосування не будуть такими ж, як для квадратичного пристосування, тому ви не зможете використовувати їх повторно.$b,c,d$

Нарешті, ви можете використовувати , а не , оскільки ваша функція (ймовірно) буде приблизно приблизно кубічною або квадратичною локально, а і повинні бути ближче один до одного (і рішення), ніж .$f(x_{k-1})$$f(x_0)$$x_k$$x_{k-1}$$x_0$

Сподіваюсь, це допомагає.

Про це пише стаття Море, реалізована Nocedal:

Хорхе Дж. Море та Девід Дж. Тюнте. 1994. Лінійні алгоритми пошуку з гарантованим достатнім зменшенням. ACM Trans. Математика. Softw. 20, 3 (вересень 1994 р.), 286-307. DOI http://dx.doi.org/10.1145/192115.192132 ( передрук ).