Ознайомлення з умовами Вулфа для пошуку невід'ємного рядка

Згідно з числовою оптимізацією книги Nocedal & Wright's Book (2006), умови Вулфа для неточного пошуку лінії є для напрямку спуску , $p$

Достатнє зменшення: Умова кривизни: при $f(x+\alpha p)\le f(x)+c_1\alpha_k\nabla f(x)^T p$
$\nabla f(x+\alpha p)^Tp\ge c_2 \nabla f(x)^T p$
$0<c_1<c_2<1$

Я бачу, як умова достатнього зменшення стверджує, що значення функції в новій точці повинно знаходитися під дотичною в . Але я не впевнений, що умова кривизни говорить мені геометрично. Крім того, чому слід нав'язувати відношення ? Що це досягає, геометрично? $x+\alpha p$ $x$ $c_1<c_2$

optimization

— Пол
джерело

Умова кривизни по суті говорить про це: Ми знаємо, що (оскільки - напрямок спуску). Тож у напрямку вона йде в гору. Тепер ми шукаємо мінімум, тобто точку, де . Це означає, що ми не хочемо приймати довжину кроків де градієнт у напрямку , тобто як і раніше такий же негативний, як і у x. Швидше ми хочемо зупинитися на місці, де градієнт менш негативний або навіть позитивний. $\nabla f(x)\cdot p < 0$ $p$ $p$ $\nabla f=0$ $x+\alpha p$ $p$ $\nabla f(x+\alpha p) \cdot p$

Оскільки правий бік умови кривизни є негативним, загальним варіантом умови є вимагатищо мені зазвичай легше зрозуміти.

| \nabla f (x + α p) \cdot p | \leq c_{2} | \nabla f (x) \cdot p |

$|\nabla f(x+\alpha p) \cdot p| \le c_2 |\nabla f(x) \cdot p|$

Розуміючи це, ви зможете легко конструювати випадки, коли ви не можете задовольнити обидві умови, якщо . $c_1<c_2$

— Вольфганг Бангерт
джерело

Отже, незалежно від того, яку гладку функцію я вибираю, встановлення призведе до того, що або не буде виконано достатнє зменшення, або умова кривизни?

f

$f$

c_{2} < c_{1}

$c_2<c_1$

— Пол

Ні, навпаки. Якщо ви вибрали то є функції де одна з двох умов не виконується, навіть якщо у вас є напрямок спуску. У такому випадку пошук рядка не знайде довжину кроку.

c_{2} < c_{1}

$c_2<c_1$

f (x)

$f(x)$

— Вольфганг Бангерт