MCMC вибірки простору дерева рішень проти випадкового лісу

Випадковий ліс являє собою сукупність дерев рішень , сформованих випадковим чином вибираючи тільки певні функції для побудови кожного дерева з (а іноді і розфасовці тренувальну дані). Мабуть, вони добре навчаються та узагальнюють. Хтось робив відбір проб MCMC у просторі дерева рішень чи порівнював їх із випадковими лісами? Я знаю, що запустити MCMC і зберегти всі вибірки дерев може бути обчислювально дорожче, але мене цікавлять теоретичні особливості цієї моделі, а не обчислювальні витрати. Я маю на увазі щось таке:

1. Побудуйте дерево випадкових рішень (це, мабуть, буде жахливо)
2. Обчислити ймовірність того , що дерево що - щось на зразок , або , можливо , додати Р р г я про г ( Т г е е ) термін.$P(Tree|Data) \propto P(Data|Tree)$$P_{prior}(Tree)$
3. Виберіть випадковий крок для зміни дерева та виберіть на основі ймовірності .$P(Tree|Data)$
4. Кожні N кроків збережіть копію поточного дерева
5. Поверніться до 3 протягом кількох великих N * M разів
6. Використовуйте колекцію M збережених дерев для прогнозування

Чи це дало б схожу ефективність з випадковими лісами? Зауважте, що тут ми не відкидаємо хороших даних чи особливостей на будь-якому кроці на відміну від випадкових лісів.

Це зробили десь 13 років тому Чапман, Джордж та МакКаллох (1998, JASA) . Звичайно, існує велика література про байєсівські регресійні дерева, які виросли з цієї ідеї.

На жаль, Chipman та ін. у їхньому байєсівському підході CART витягують лише найімовірніше дерево. Вони ніколи не намагалися оцінити серед дерев і порівняти продуктивність із випадковими лісами та позалітками.

Я щойно прочитав папір BART від Chipman. Якщо я правильно розумію, це байєсівське усереднення зразків K над колекцією m дерева. Це багато в чому цікаво і, здається, працює дуже добре. Коли m = '1', це просте байєсське усереднення K зразків 1 дерева, що надходить з заднього боку. Однак з цього конкретного аспекту було проведено не багато тестів. І мені все одно було б цікаво дізнатись, як Random Forest або Extra-Дерева порівнюються з справжньою моделлю Bayes.