Чутливість BFGS до початкових наближень Гессі

Я намагаюся реалізувати метод Бройдена-Флетчера-Голдфарба-Шенно, щоб знайти мінімум функції. Мені потрібні два початкові здогадки & та початкове наближення матриці . Єдині вимоги, які я знаходжу до - це те, що якщо гессіан є симетричним позитивним певним, то також повинен бути . Дивлячись на wikipedia, я бачу, що типовим початковим наближенням є (матриця тотожності). Це завжди хороший початковий ? Чи є якась причина, чому я можу вибрати щось, крім ? Чи могли б інші варіанти B, які задовольняють однакові властивості матриці, сильно вплинули на збіжність методу? $x_{-1}$$x_0$$B_0$$B_0$$B_0$$B_0=I$$B_0$$I$

Якщо у вас є виправданий Гесс наближення, то краще використовувати його , а не довільна .$B_0=I$

Редагувати: Обґрунтування полягає в тому, що якщо ви починаєте близько до рішення , початкова швидкість конвергенції (для будь-якого ) -ступенева лінійна з коефіцієнтом збіжностіякщо це для деякої корекції корекції матриці тотожності. Таким чином, намагатися зробити це маленьке дуже цінним. (Це еквівалентно попередньою умовою системи.) Коефіцієнт конвергенції з часом поліпшується і в кінцевому підсумку наближається до нуля (суперлінійна конвергенція), але у багатьох реальних проблемах (особливо високомірних) ніколи не робиться достатньо ітерацій, щоб досягти надлінійного режиму. Таким чином, початкова швидкість є досить важливою.$x^*$$r>0$$r+1$$r+1$$q=\|B_0^{-1}f''(x^*)-G\|$$<1$$r$$G$

Один важливий випадок, коли вирішуються нелінійні задачі найменших квадратів (мінімізувати ), де наближення Гаусса-Ньютона початкового гессіана може бути обчислюється без потреби в другому похідному. Його використання робить метод BFGS афінним інваріантом, тобто інваріантом при лінійних перетвореннях як метод Ньютона, що, як правило, дуже вигідно.$\|F(x)\|_2^2$$B_0=F'(x_0)^TF'(x_0)$$x$

Ще один важливий випадок, коли ви вирішуєте послідовність пов’язаних проблем. Часто перезапуск розв'язувача з остаточним наближенням Гессі попередньої проблеми значно зменшує кількість необхідних ітерацій.