Коли ми оцінюємо якість випадкового лісу, наприклад, використовуючи AUC, чи є більш доцільним обчислити ці величини за зразками з мішків або над набором перехресних перевірок?

Я чую, що обчислення його через зразки OOB дає більш песимістичну оцінку, але не розумію, чому.

cross-validation random-forest auc

— user695652
джерело

Примітка. Хоча я вважаю, що моя відповідь, ймовірно, правильна, я також відчуваю сумніви через те, що я все це вигадав, думаючи про цю проблему лише після того, як прочитав це питання протягом 30-60 хвилин. Тож вам краще скептично поставитись до цього, і не обманюйтесь моїм надмірно впевненим стилем написання (я використовую великі слова та вигадливі грецькі символи не означає, що я правий).

Підсумок

Це лише підсумок. Всі подробиці вказані в розділах і нижче. $\S1$ $\S2$

Припустимо випадок класифікації (може поширюватися і на регресію, але опустити для стислості). По суті, наша мета - оцінити похибку лісу дерев. І помилка поза сумкою, і перехресне підтвердження k-кратної спроби сказати нам ймовірність того, що:

Ліс дає правильну класифікацію (k-кратна перехресна перевірка дивиться на це таким чином).

Що ідентично ймовірності того, що:

Більшість голосів лісових дерев - це правильне голосування (OOBE дивиться на це таким чином).

І обидва однакові. Єдина відмінність полягає в тому, що k-кратна перехресна перевірка та OOBE передбачають різний розмір навчальних зразків. Наприклад:

У 10-кратній перехресній валідації навчальний набір становить 90%, тоді як тестовий набір - 10%.
Однак у OOBE, якщо кожен мішок має проб, таких що загальна кількість зразків у цілому наборі зразків, то це означає, що навчальний набір становить практично близько 66% (дві третини), а набір для тестування - близько 33% ( одна третя). $n$ $n =$

Тому, на мій погляд, єдина причина, чому OOBE є песимістичною оцінкою помилки лісу, полягає лише в тому, що вона, як правило, тренує меншу кількість зразків, ніж зазвичай це робиться з k-кратною перехресною валідацією (де 10 разів є загальною).

Зважаючи на це, я також думаю, що дворазова перехресна перевірка буде більш песимістичною оцінкою помилки лісу, ніж OOBE, а 3-кратна перехресна перевірка - приблизно однаково песимістична щодо OOBE.

1. Розуміння помилки поза сумкою

1.1 Загальний вигляд розробки мішків

Кожне дерево в РФ вирощується списком з зразків, які випадковим чином витягуються з навчального набору із заміною. Таким чином, багатьох зразків можуть мати дублікати, і якщо то можна виявити, що приблизно одна третина зразків у , ймовірно, не потрапляє до списку яти зразків, які використовуються для вирощування даного дерева (це зразки з мішків цього конкретного дерева. Цей процес незалежно повторюється для кожного дерева, тому кожне дерево має різний набір зразків з мішків. $n$ $\mathcal{X}$ $n$ $n = |\mathcal{X}|$ $\mathcal{X}$ $n$

1.2. Ще одна думка щодо мішковини

Тепер давайте переопишемо розфасовки трохи по-іншому з надією знайти рівний опис, який, сподіваємось, простіше вирішити.

Я роблю це, заявивши , що дерево навчаються за пакетірованих зразкам в наборі . Однак це не зовсім вірно, оскільки множина не має дублюваних зразків (так працюють множини), в той час як -у іншій русі список зразків може мати дублікати. $t$ $\mathcal{X}_t \subseteq \mathcal{X}$ $\mathcal{X}_t$ $n$

$t$ $\mathcal{X}_t$ $\mathcal{X}_t$ $\mathcal{X}_{t,1}, \mathcal{X}_{t,2}, \ldots, \mathcal{X}_{t,r} \subseteq \mathcal{X}_t$

| X_{t} | + \sum_{i = 1}^{r} | X_{t, i} | = n

$\begin{equation} |\mathcal{X}_t| + \sum_{i=1}^r|\mathcal{X}_{t,i}| = n \end{equation}$

$\mathcal{C} = \{\mathcal{X}_t, \mathcal{X}_{t,1}, \ldots, \mathcal{X}_{t,r}\}$ $n$ $\mathcal{C}_i \in \mathcal{C}$ $a$ $1 \le p \le n$ $i$ $a[p] \in \mathcal{C}_i$ .

$n$ $a$ $\mathcal{X}_t$ $\S2$ $a$

1.3. Спрощення пакетування

$t$ $a$ $\mathcal{X}_t$

$n$ $t$ $\mathcal{X}_t$ $t'$ $a$

$\mathcal{X}_t$

І причина, на яку я вважаю, що ентропії не будуть систематично змінюватися для даного розщеплення, - це тому, що емпірично виміряна ймовірність вибірки, що має конкретну мітку в деякому підмножині (після застосування розколу рішення), також не зміниться.

$\mathcal{X}_t$ $d$

1.4 Вимірювання помилок, що знаходяться в мішку

$\mathcal{O}_t$ $t$ $\mathcal{O}_t = \mathcal{X} \setminus \mathcal{X}_t$ $t$

\frac{total x in O_{t} correctly classified by t}{| O_{t} |}

$\begin{equation} \frac{\text{total $\mathbf{x}$ in $\mathcal{O}_t$ correctly classified by $t$}}{|\mathcal{O}_t|} \end{equation}$

n_{t}

$n_t$

\frac{\sum_{t = 1}^{n_{t}} total x in O_{t} correctly classified by t}{\sum_{t = 1}^{n_{t}} | O_{t} |}

$\begin{equation} \frac{\sum_{t=1}^{n_t} \text{total $\mathbf{x}$ in $\mathcal{O}_t$ correctly classified by $t$}}{\sum_{t=1}^{n_t}|\mathcal{O}_t|} \end{equation}$

2. Розуміння k-кратної перехресної перевірки

$\mathcal{X}$ $n_k$ $\mathcal{K} = \{\mathcal{K}_1, \mathcal{K}_2, \ldots, \mathcal{K}_{n_k}\}$ $\mathcal{K}_1 \cup \mathcal{K}_2 \cup \ldots \cup \mathcal{K}_{n_k} = \mathcal{X}$ $\mathcal{K}_i, \mathcal{K}_j \in \mathcal{K}$ $\mathcal{K}_i \cap \mathcal{K}_j = \emptyset$

$\mathcal{K}_t$ $\mathcal{K} \setminus \{\mathcal{K}_t\}$

$f$ $\mathcal{K} \setminus \{\mathcal{K}_t\}$

$f$

\frac{\sum_{t = 1}^{n_{k}} total x in K_{t} correctly classified by f}{\sum_{t = 1}^{n_{k}} | K_{t} |}

$\begin{equation} \frac{\sum_{t=1}^{n_k} \text{total $\mathbf{x}$ in $\mathcal{K}_t$ correctly classified by $f$}}{\sum_{t=1}^{n_k} |\mathcal{K}_t|} \end{equation}$

$f$

— печерний чоловік
джерело

Оцініть випадковий ліс: OOB vs CV