Як генерувати сусідів у алгоритмі сходження на гірку?

Скелелазіння на гору здається дуже потужним інструментом для оптимізації. Однак як генерувати "сусідів" рішення завжди мене спантеличує.

Наприклад, я оптимізую рішення . Тут знаходиться в діапазоні , знаходиться в діапазоні , знаходиться в діапазоні . Який найкращий спосіб створити «сусідів»? Тут я не можу вибрати "розмір кроку", тому що розмір кроку 1 величезний до , але дуже незначний для .$(x_1, x_2, x_3)$$x_1$$(0, 0.1)$$x_2$$(0, 100)$$x_3$$(0, 1000000)$$x_1$$x_3$

Який найкращий загальний спосіб генерувати "сусідів" за алгоритмами сходження на гірку?

Рішення Вінсента переграє вас через першу перешкоду. Вам може все ще цікаво, як вибрати розмір кроку, навіть якщо всі розміри мають однаковий діапазон. У цьому випадку це допомагає зрозуміти поведінку вашої функції, щоб ви могли вибрати відповідне значення. Інший спосіб - адаптивно встановити розмір кроку на основі градієнта (легенько ступайте, якщо функція сильно змінюється).

У цьому документі також можуть бути цікаві ідеї: щодо алгоритму сходження на гірку з адаптивним розміром кроку: до алгоритму оптимізації чорної скриньки, меншого від параметра керування

Найпростіше (і найбезпечніше) - перепраметризувати свою проблему так, щоб усі параметри мали порівнянний діапазон, скажімо [0,1].

Крім того, ви можете використовувати різний розмір кроку для кожного параметра.