Кодова змінна у функції nlm ()

У R є функція nlm (), яка здійснює мінімізацію функції f за допомогою алгоритму Ньютона-Рафсона. Зокрема, ця функція виводить значення змінного коду, визначеного таким чином:

кодуйте ціле число, вказуючи, чому процес оптимізації припинився.

1: відносний градієнт близький до нуля, ітераційний струм, ймовірно, є рішенням.

2: послідовні ітерації в межах толерантності, поточний ітерат, ймовірно, рішення.

3: останній глобальний крок не зміг знайти крапку, нижчу за оцінку. Будь-яка оцінка є приблизним локальним мінімумом функції, або steptol занадто малий.

4: перевищено межу ітерації.

5: максимальний крок розміру кроку перевищував п'ять разів поспіль. Або функція, не обмежена внизу, стає асимптотичною до кінцевого значення зверху в деякому напрямку, або stepmax занадто малий.

Чи може хтось пояснити мені (можливо, використовуючи просту ілюстрацію з функцією лише однієї змінної), що відповідає ситуаціям 1-5?

Наприклад, ситуація 1 може відповідати наступній картинці:

Заздалегідь спасибі!

Ці ситуації розуміються більш чітко, маючи на увазі, що таке мінімізація чи максимізація, і як працює оптимізація.

Припустимо, у нас є функція $f$ який має місцевий мінімум у $x_0$. Методи оптимізації намагаються побудувати послідовність$x_i$ який сходить до $x_0$. Завжди показано, що теоретично побудована послідовність сходиться до точки локального мінімуму для деякого класу функцій$f$.

Отримати наступного кандидата в ітерації $i$може бути тривалим процесом, тому зазвичай всі алгоритми обмежують кількість ітерацій. Це відповідає ситуації 4 .

Потім для кожного $x$ близько до $x_0$ ми це маємо $f(x)>f(x_0)$. Так що якщо$f(x_i)>f(x_{i-1})$це ознака того, що ми досягли мінімуму. Це відповідає ситуації 3

Тепер якщо функція $f$ має похідну при $x_0$ то обов’язково $\nabla f(x_0)=0$. Метод Ньютона-Рафсона обчислює градієнт на кожному кроці, так що якщо$\nabla f(x_i)\approx 0$, $x_i$ймовірно, це рішення, яке відповідає ситуації 1 .

Кожна збіжна послідовність реальних векторів є послідовністю Коші, і навпаки, приблизно означає, що якщо $x_i$ близький до $x_0$, тоді $x_i$ близький до $x_{i+1}$ і навпаки, де $i$- це номер ітерації. Так що якщо$|x_i-x_{i-1}|<\varepsilon$і ми це знаємо теоретично $x_i$ сходиться до $x_0$, тоді ми повинні бути близькими до мінімальної точки. Це відповідає ситуації 2 .

Послідовності конвергування мають властивість вони скорочуватися, тобто, якщо ми близькі до конвергенції, всі інші елементи послідовності містяться на невеликій площі. Отже, якщо послідовність, яка теоретично повинна зближуватися, починає робити великі кроки, це є свідченням того, що конвергенції, ймовірно, немає. Це відповідає ситуації 5

Примітка Суворі математичні визначення були навмисно викинуті.