Переваги оптимізації рою частинок над Байєсовою оптимізацією для налаштування гіперпараметрів?

Існує суттєве сучасне дослідження Байєсової оптимізації (1) для налаштування гіперпараметрів МЛ. Мотивація водіння тут полягає в тому, що необхідна мінімальна кількість точок даних, щоб зробити обґрунтований вибір того, які точки варто спробувати (виклики об'єктивних функцій дорогі, тому менше робити менше), тому що підготовка моделі є трудомісткою - дещо скромно -великі проблеми SVM, над якими я працював, можуть зайняти від декількох хвилин до години.

З іншого боку, Optunity - це реалізація рою частинок для вирішення того ж завдання. Я не надто знайомий з PSO, але здається, що він повинен бути менш ефективним у сенсі вимагати більшої кількості пробних балів, а отже, об'єктивних оцінок функцій для оцінки поверхні гіперпараметра.

Чи пропускаю я ключову деталь, завдяки якій PSO вважає за краще ВО в контексті машинного навчання? Або вибір між цими двома завжди притаманний контекстуальним завданням налаштування гіперпараметра?

(1) Шахріарі та ін., "Виведення людини з циклу: огляд байєсівського оптимізайтона".

Як провідний розробник Optunity я додам свої два центи.

Ми зробили широкі орієнтири, порівнюючи Optimum з найпопулярнішими байєсівськими вирішувачами (наприклад, гіперпептиком, SMAC, байесоптом) щодо реальних проблем, і результати показують, що PSO насправді не менш ефективний у багатьох практичних випадках. У нашому орієнтирі, який складається з настройки класифікаторів SVM на різних наборах даних, Optunity насправді є більш ефективним, ніж hyperopt і SMAC, але трохи менш ефективний, ніж BayesOpt. Я хотів би поділитися результатами тут, але я буду чекати, коли Optimum нарешті буде опублікований в JMLR (переглядається вже більше року, тому не затримуйте дихання ...).

Як ви вказуєте, підвищена ефективність є часто використовуваною точкою продажу для байєсівської оптимізації, але на практиці вона тримає воду лише в тому випадку, якщо припущення базових сурогатних моделей виконують, що далеко не банально. У наших експериментах дуже простий вирішувач PSO Optimum часто конкурує зі складними байєсівськими підходами за кількістю оцінок функцій. Байєсівські розв'язувачі працюють дуже добре, якщо вони забезпечені добрими пріорами, але з неінформативним попередженням практично немає структурної вигоди від метагевристичних методів, таких як PSO, з точки зору ефективності.

Великою точкою продажу для PSO є той факт, що вона наполегливо паралельна. Байєсівську оптимізацію часто важко паралелізувати через суттєво послідовний характер (реалізація hiperopt є єдиним реальним винятком). Надаючи можливості для розповсюдження, що стає нормою, Optunity швидко переймає лідируючі позиції у настінні годинники для отримання хороших рішень.

Ще одна ключова відмінність Optimum від більшості інших виділених бібліотек для оптимізації гіперпараметрів - цільова аудиторія: Optunity має найпростіший інтерфейс і орієнтований на експертів, які не вивчають машинного навчання, тоді як для більшості інших бібліотек потрібне певне розуміння байєсівської оптимізації для ефективного використання (тобто вони є орієнтовані на спеціалістів).

Причиною, яку ми створили в бібліотеці, є те, що, незважаючи на те, що існують спеціальні методи оптимізації гіперпараметрів, вони не мають практичного застосування. Більшість людей досі або взагалі не налаштовують, роблять це вручну, або за допомогою наївних підходів, таких як сітка або випадковий пошук. На нашу думку, ключовою причиною цього є той факт, що існуючі бібліотеки до розробки Optunity були надто важкими для використання з точки зору встановлення, документації, API та часто обмежувались одним середовищем.

Відповідь залежить від проблеми і не може бути надана без додаткового контексту. Зазвичай відповідь піде так. Байєсова оптимізація більше підходить для задач з невеликими розмірами з обчислювальним бюджетом, до 10x-100x, числом змінних. PSO може бути досить ефективним для значно більших бюджетів, але не є найсучаснішим у своїй ніші.