Чи поєднують методи оптимізації з методами вибірки?

З будь-якого загального алгоритму вибірки можна отримати алгоритм оптимізації.

Дійсно, щоб домогтися довільної функції , достатньо скласти зразки з . Для достатньо малих розмірів ці зразки впадуть близько глобального максимуму (або локальних максимумів на практиці) функції . $f: \textbf{x} \rightarrow f(\textbf{x})$ $g \sim e^{f/T}$ $T$ $f$

Під "вибіркою" я маю на увазі виведення псевдовипадкової вибірки з розподілу, що дає функцію вірогідності журналу, відому до постійної. Наприклад, відбір проб MCMC, вибірка Гіббса, вибірка променя тощо. Під оптимізацією я маю на увазі спробу знайти параметри, що максимізують значення заданої функції.

Чи можливий реверс? З огляду на евристику для пошуку максимуму функції або комбінаторного виразу, чи можемо ми отримати ефективну процедуру вибірки?

Наприклад, HMC використовує інформацію про градієнт. Чи можемо ми побудувати процедуру вибірки, яка використовує BFGS-подібне наближення Гессі? (редагувати: мабуть, так: http://papers.nips.cc/paper/4464-quasi-newton-methods-for-markov-chain-monte-carlo.pdf ) Ми можемо використовувати MCTS у комбінаторних проблемах, чи можемо ми перекласти це в процедуру відбору проб?

Контекст: часто виникає складність у вибірці, що більша частина маси розподілу ймовірностей лежить у дуже невеликій області. Існують цікаві методи пошуку таких регіонів, але вони безпосередньо не перекладаються на неупереджені процедури вибірки.

Редагувати: Зараз у мене виникає затяжне відчуття, що відповідь на це питання дещо еквівалентна рівності класів складності # P та NP, що робить відповідь ймовірним «ні». Це пояснює, чому кожна методика вибірки дає методику оптимізації, але не навпаки.

sampling optimization

— Артур Б.
джерело

Хоча я думаю, що я розумію більшість слів у цьому запитанні, я не впевнений, що він отримує. Не могли б ви сказати трохи точніше, що ви маєте на увазі під "вибіркою" і що саме було б "оптимізовано"? Ви, здається, неявно припускаєте, що ваші читачі мають на увазі певну обстановку, в якій бере участь "розподіл" (чи його сім'я?), І в якій передбачається певна мета, але можна лише здогадуватися, що ви насправді маєте намір, коли ви робите такі широкі твердження, як ті, що з’являються в останньому абзаці.

— whuber

— Артур Б.

Існує природне відображення між імітованим відпалом та відбором МСМС. Існує менш пряме відображення між HMC та градієнтним спуском (якщо коситись). Моє запитання - чи можна це зробити більш систематичним. Складність вибірки часто полягає в тому, що більша частина маси розподілу ймовірностей лежить у дуже невеликій області. Існують цікаві методи пошуку цього регіону, але вони не перекладаються безпосередньо в об'єктивні процедури вибірки.

— Артур Б.

Будь ласка, відредагуйте своє запитання, щоб включити ці пояснення. Це має вирішальне значення, оскільки ваше (дещо спеціалізоване) використання слова "вибірки", хоча і доречне у вашому контексті, відрізняється від того, що можуть зрозуміти багато читачів. Крім того, ваше пояснення "оптимізації", хоча і правильне, не здається корисним для того, щоб зробити його сенс досить точним тут: характеристика того, що таке "задана функція" і як це може бути пов'язано з "вибіркою", буде корисним доповненням.

— whuber

Чи краще зараз?

— Артур Б.

Один зв’язок був піднятий Максом Веллінг і друзями в цих двох роботах:

Суть у тому, що «навчання», тобто. оптимізація моделі плавно переходить у вибірку з задньої частини.

— байерж
джерело

Є посилання, це фокус Gumbel-Max!

http://www.cs.toronto.edu/~cmaddis/pubs/astar.pdf

— Артур Б.
джерело

$U \sim unif[0,1]$ $F^{-1}(U) \sim F$

— Сид
джерело