Я не фахівець з випадкових лісів, але чітко розумію, що ключовим питанням випадкового лісу є (випадкове) генерування дерев. Чи можете ви пояснити мені, як генеруються дерева? (тобто Який використовуваний розподіл для генерації дерев?)
Спасибі заздалегідь !
Відповіді:
Реалізація РФ незначно відрізняється. Я знаю, що власна реалізація Salford Systems повинна бути кращою, ніж ванільна в Р. Опис алгоритму знаходиться в ESL Friedman-Hastie-Tibshirani, 2-е видання, 3-е друк . Цілий розділ (15-й) присвячений РФ, і я вважаю його фактично зрозумілішим, ніж оригінальний документ. Алгоритм побудови дерева детально описаний на стор.588; мені не потрібно відтворювати його тут, оскільки книга доступна в Інтернеті.
Основна ідея - це процедура випалювання, а не перетворення дерев випадковим чином. Детально кожне дерево будується на зразку предметів, намальованих із заміною з оригінального набору; Таким чином, у кожного дерева є деякі об'єкти, яких він не бачив, і саме це робить весь ансамбль більш неоднорідним і тим самим кращим узагальнюючи.
Крім того, дерева послаблюються таким чином, що на кожному розрізі mtryвраховуються лише M (або ) випадково вибрані атрибути; M, як правило, квадратний корінь кількості атрибутів у наборі. Це гарантує, що дерева переоблаштовані менше, оскільки їх не обрізають. Більш детальну інформацію ви можете знайти тут .
З іншого боку, є варіант РФ під назвою Extreme Random Forest, в якому дерева робляться випадковим чином (оптимізації розщеплень немає) - порадьте, я думаю, це посилання .