Застосування MCTS / UCT

MCTS / UCT - це метод пошуку дерев ігор, який використовує алгоритм бандита для вибору перспективних вузлів для дослідження. Ігри граються до їх завершення випадковим чином, і вузли, що ведуть до більшої кількості виграшів, вивчаються більше. Алгоритм бандитів підтримує баланс між дослідженнями вузлів з високим коефіцієнтом виграшу та дослідженням невідомих вузлів (і в чистому вигляді не обов'язково використовувати евристичну функцію оцінювання). Програми, засновані на цій загальній техніці, досягли досить дивовижних результатів у комп'ютері Go .

Чи застосовувались бандитські пошуки монте-карло до інших проблем пошуку? Наприклад, чи був би корисним підхід для наближення рішень до MAX-SAT, BKP чи інших проблем комбінаторної оптимізації? Чи є якісь особливості проблеми (структурна / статистична / тощо), яка б підказувала, чи буде підхід у стилі бандитизму ефективним чи ні?

Чи є відомі детерміновані проблеми, які були б цілком стійкі до бандитських методів, через характер простору рішення?

Це не повна відповідь, але деякі основні спостереження щодо застосування цього до MAX-SAT.

$7/8$$x=0$$x=1$$x=0$$x=1$$7/8$$7/8$

$7/8$$NP$$7/8$евристичний, який ви використовуєте, навіть якщо ви гадаєте досконало, все ще є незадовільні формули, для яких зворотний трек лише зробить висновок, що вони незадовільні після експоненціально багатьох кроків. Нижні межі довжин доказів роздільної здатності дають ці результати. Одне посилання:

Павло Пудлак, Рассел Імпальяццо: Нижня межа для алгоритмів DLL для k-SAT (попередня версія). СОДА 2000: 128-136

Щодо питання про те, які характеристики роблять проблему підданою бандитським підходам, у цій роботі описано поведінку UCT у різних пошукових просторах:

http://www.cs.cornell.edu/~raghu/Raghuram_Ramanujan_files/mcts11.pdf

З повагою, Кемерон

У цьому нещодавньому опитувальному документі перелічено застосування MCTS до ряду проблем пошуку та оптимізації, крім ігор, у Розділі 7.8:

http://pubs.doc.ic.ac.uk/survey-mcts-methods/survey-mcts-methods.pdf

http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=6145622

Щодо доменів, які повністю стійкі до методів на основі бандитів, я не знаю жодних позаштатних. Шахи - це один яскравий пропуск з літератури MCTS, можливо, через "пасткові стани", які шкодять пошуку, але також можливо через те, що комп'ютерні шахові гравці просто настільки оптимізовані та хороші в наші дні, що будь-який новий підхід навряд чи зможе зробити вм’ятина на них.

З повагою, Кемерон