Застосування MCTS / UCT


10

MCTS / UCT - це метод пошуку дерев ігор, який використовує алгоритм бандита для вибору перспективних вузлів для дослідження. Ігри граються до їх завершення випадковим чином, і вузли, що ведуть до більшої кількості виграшів, вивчаються більше. Алгоритм бандитів підтримує баланс між дослідженнями вузлів з високим коефіцієнтом виграшу та дослідженням невідомих вузлів (і в чистому вигляді не обов'язково використовувати евристичну функцію оцінювання). Програми, засновані на цій загальній техніці, досягли досить дивовижних результатів у комп'ютері Go .

Чи застосовувались бандитські пошуки монте-карло до інших проблем пошуку? Наприклад, чи був би корисним підхід для наближення рішень до MAX-SAT, BKP чи інших проблем комбінаторної оптимізації? Чи є якісь особливості проблеми (структурна / статистична / тощо), яка б підказувала, чи буде підхід у стилі бандитизму ефективним чи ні?

Чи є відомі детерміновані проблеми, які були б цілком стійкі до бандитських методів, через характер простору рішення?

Відповіді:


7

Це не повна відповідь, але деякі основні спостереження щодо застосування цього до MAX-SAT.

7/8x=0x=1x=0x=17/87/8

7/8NP7/8евристичний, який ви використовуєте, навіть якщо ви гадаєте досконало, все ще є незадовільні формули, для яких зворотний трек лише зробить висновок, що вони незадовільні після експоненціально багатьох кроків. Нижні межі довжин доказів роздільної здатності дають ці результати. Одне посилання:

Павло Пудлак, Рассел Імпальяццо: Нижня межа для алгоритмів DLL для k-SAT (попередня версія). СОДА 2000: 128-136



2

У цьому нещодавньому опитувальному документі перелічено застосування MCTS до ряду проблем пошуку та оптимізації, крім ігор, у Розділі 7.8:

http://pubs.doc.ic.ac.uk/survey-mcts-methods/survey-mcts-methods.pdf

http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=6145622

Щодо доменів, які повністю стійкі до методів на основі бандитів, я не знаю жодних позаштатних. Шахи - це один яскравий пропуск з літератури MCTS, можливо, через "пасткові стани", які шкодять пошуку, але також можливо через те, що комп'ютерні шахові гравці просто настільки оптимізовані та хороші в наші дні, що будь-який новий підхід навряд чи зможе зробити вм’ятина на них.

З повагою, Кемерон

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.