Чи "справедливо" встановлювати насіння у випадковій регресії лісу, щоб отримати найвищу точність?

У мене є випадкова регресія лісу, побудована за допомогою skl, і зауважу, що я даю різні результати на основі встановлення випадкового насіння на різні значення.

Якщо я використовую LOOCV, щоб встановити, яке насіння працює найкраще, чи це правильний метод?

cross-validation random-forest

— user2723494
джерело

Люди роблять це на змаганнях. Хоча для академій це було б важко виправдати.

— Firebug

Придумайте крайній випадок: Ми граємо в гру: ми котимо два кубики, і той, хто отримує більшу суму, виграє. Але насправді мені дозволяється котити кістки двічі. Це ви справедливо? Дозвольте зазначити, що встановлення випадкових насінин є невід'ємною частиною відтворюваних досліджень, і це завжди слід робити. Це не означає, що ми повинні спробувати багато різних насінин, поки не знайдемо "сприятливе насіння".

— usεr11852

@ usεr11852 що ви думаєте про мій коментар до прийнятої відповіді? Я не впевнений, чи це щось інше, ніж випадкові перезавантаження, як у kmeans. Ніхто не думає, що нас слід змусити прийняти перший запуск цього, який ми робимо, до того, що випадкові перезавантаження вбудовані в стандартну функцію в Р. Якщо тільки ви не вважаєте, що модель працює в 100 разів, а не модель. будучи лише найкращим

— кластером

Ні - це здається самим визначенням подолання фактичної випадковості.

— Марк Білий

@Chaconne: Я повністю підтримую вашу думку про необхідність належної перевірки. Це означає, що я думаю, що в двох випадках використання є основна різниця: У випадку k-засобів (або стохастичної оптимізації в цілому) ми шукаємо "оптимальний набір" параметрів, тоді як для CV ми дбаємо про "репрезентативний набір ". У першій справі ми прагнемо показати "наскільки ми можемо бути добрими", а в більш пізньому - наскільки хорошими ми будемо.

— usεr11852

Відповідь - ні .

Ваша модель дає різний результат для кожного насіння, яке ви використовуєте. Це результат недетермінованого характеру моделі. Вибравши конкретне насіння, яке максимізує ефективність набору валідації, означає, що ви вибрали "розташування", яке найкраще відповідає цьому набору. Однак це не гарантує, що модель з цим насінням буде краще працювати на окремому тестовому наборі . Це просто означає, що ви переобладнали модель на наборі перевірки .

Цей ефект є причиною того, що на загальнодоступному тестовому наборі багато людей, які займають високі позиції в змаганнях (наприклад, канглі), потрапляють на прихований тестовий набір. Цей підхід жодним чином не вважається правильним.

— Джиб2011
джерело

Так, тому крос-валідація є настільки сильною технікою, а також тому, чому люди використовують як валідацію, так і тестовий набір (один на основі вибору моделі і один для отримання неупередженої оцінки).

— Djib2011

Я не переконаний. При невипуклій оптимізації звичайно робити випадкові перезавантаження, тому що різні насіння можуть призвести до дуже різних оцінок параметрів моделі, і лише від удачі ви можете отримати погану конвергенцію. Наприклад, з kmeans це добре відомо. З випадковим лісом випадково, можливо, ваша модель в кінцевому підсумку робить занадто багато підрозділів. Я не думаю, що підходить до шуму, якщо визнати, що різні прогони призводять до різних оцінок параметрів моделі, а деякі фактично можуть узагальнити краще, ніж інші. Це, звичайно, обумовлено правильною оцінкою результатів вибірки.

— jld

@ user2723494 Це справедливо для гіперпараметрів у надії на підвищення продуктивності без витрат на узагальнення. Однак точне налаштування параметрів знову і знову набір валідації призведе до того ж ефекту, що я описав (надмірна настройка на набір перевірки). Оскільки випадковий посів за своєю суттю стохастичний, набагато більше шансів на підвищення продуктивності за рахунок переобладнання, ніж завдяки тому, що насправді створили кращу модель.

— Djib2011

@Chaconne Я не сказав, що це неможливо. Однак за цією процедурою набагато більше шансів вибрати насіння, яке переважає, ніж те, що фактично дає кращу модель ...

— Djib2011,

Якщо чесно, я ніколи не вважав посів алгоритмів ML (і позбавлення їх від їх стохастичного характеру) хорошою практикою. ОП створило нове питання, задавши саме це. Мені буде цікаво прочитати вашу відповідь!

— Djib2011