Як використовувати вихід GridSearch?

В даний час я працюю з Python та Scikit, які навчаються для цілей класифікації, і читаючи GridSearch, я подумав, що це чудовий спосіб оптимізації моїх параметрів оцінювача для отримання найкращих результатів.

Моя методологія така:

1. Розділити мої дані на навчання / тест.
2. Використовуйте GridSearch з 5-кратною перехресною валідацією для підготовки та тестування моїх оцінювачів (Random Forest, Gradient Boost, SVC серед інших), щоб отримати найкращі оцінки з оптимальним поєднанням гіпер-параметрів.
3. Потім я обчислюю показники для кожного з моїх оцінювачів, таких як Precision, Recall, FMeasure та Matthews Correlation Coefficient, використовуючи свій тестовий набір для прогнозування класифікацій та порівняння їх із фактичними мітками класів.

Саме на цьому етапі я бачу дивну поведінку і не знаю, як далі діяти. Чи беру я .best_estimator_ з GridSearch і використовую це як "оптимальний" вихід із пошуку в сітці та виконую прогнозування за допомогою цього оцінювача? Якщо я це роблю, я виявляю, що показники 3-го етапу зазвичай набагато нижчі, ніж якщо я просто тренуюсь на всіх даних тренувань і тестую на тестовому наборі. Або я просто приймаю вихідний об'єкт GridSearchCV як новий оцінювач ? Якщо я це роблю, я отримую кращі результати для моїх показників 3 стадії, але це здається дивним за допомогою об’єкта GridSearchCV замість призначеного класифікатора (наприклад, випадковий ліс) ...

EDIT: Отже, моє запитання полягає в тому, яка різниця між поверненим об’єктом GridSearchCV та атрибутом .best_estimator_? Яку з них слід використовувати для обчислення подальших показників? Чи можу я використовувати цей вихід як звичайний класифікатор (наприклад, використовуючи передбачення), або як я можу його використовувати?

Вирішив піти і знайти відповіді, які б задовольнили моє запитання, і напишіть їх сюди для всіх, хто цікавиться.

Атрибут .best_estimator_ - це екземпляр зазначеного типу моделі, який має "найкраще" поєднання заданих параметрів з парам_гріду. Чи корисний цей примірник чи ні, залежить від того, чи встановлено параметр refit значення True (це за замовчуванням). Наприклад:

clf = GridSearchCV(estimator=RandomForestClassifier(), 
                    param_grid=parameter_candidates,
                    cv=5,
                    refit=True,
                    error_score=0,
                    n_jobs=-1)

clf.fit(training_set, training_classifications)
optimised_random_forest = clf.best_estimator_
return optimised_random_forest

Повернеться RandomForestClassifier. Це все досить ясно з документації . Що в документації не зрозуміло, чому більшість прикладів спеціально не використовують .best_estimator_, а замість цього:

clf = GridSearchCV(estimator=RandomForestClassifier(), 
                    param_grid=parameter_candidates,
                    cv=5,
                    refit=True,
                    error_score=0,
                    n_jobs=-1)

clf.fit(training_set, training_classifications)
return clf

Цей другий підхід повертає екземпляр GridSearchCV з усіма дзвінками GridSearchCV, такими як .best_estimator_, .best_params тощо, який сам по собі може використовуватися як навчений класифікатор, оскільки:

Optimised Random Forest Accuracy:  0.916970802919708
[[139  47]
 [ 44 866]]
GridSearchCV Accuracy:  0.916970802919708
[[139  47]
 [ 44 866]]

Він просто використовує той самий найкращий екземпляр оцінювача при прогнозуванні. Тож на практиці немає різниці між цими двома, якщо ви спеціально не хочете лише сам екземпляр оцінювача. Як бічне зауваження, мої відмінності в показниках не були пов'язані між собою і зводилися до функції зважування класу баггі.

GridSearchCV дозволяє комбінувати оцінювач із преамбулою сітки пошуку для налаштування гіперпараметрів. Метод вибирає оптимальний параметр із пошуку в сітці та використовує його з оцінкою, обраним користувачем. GridSearchCV успадковує методи від класифікатора, тому так, ви можете використовувати .score, .predict і т.д. .. методами безпосередньо через інтерфейс GridSearchCV. Якщо ви бажаєте отримати найкращі гіпер-параметри, ідентифіковані за допомогою пошуку в сітці, ви можете використовувати .best_params_, і це поверне найкращий гіпер-параметр. Потім ви можете передавати цей гіпер-параметр своєму оціночку окремо.

Використання .predict безпосередньо дасть ті самі результати, що і отримання найкращого гіпер-параметра через .best_param_, а потім його використання у вашій моделі. Розуміючи підкреслені роботи пошуку в сітці, ми можемо зрозуміти, чому це так.

Пошук сітки

Ця методика використовується для пошуку оптимальних параметрів для використання з алгоритмом. Це НЕ ваги або модель, вони вивчаються за допомогою даних. Це, очевидно, досить заплутано, тому я буду розрізняти ці параметри, називаючи один гіперпараметр.

Гіперпараметри такі, як k у k-Найближчих сусідів (k-NN). k-NN вимагає від користувача вибору, якого сусіда слід врахувати під час обчислення відстані. Потім алгоритм налаштовує параметр, поріг, щоб побачити, чи потрапляє новий приклад до засвоєного розподілу, це робиться з даними.

Як ми обираємо k?

Деякі люди просто звертаються до рекомендацій, заснованих на минулих дослідженнях типу даних. Інші користуються пошуком сітки. Цей метод зможе найкращим чином визначити, який k є оптимальним для використання ваших даних.

Як це працює?

$[1, 2, 3, ..., 10]$

Це суперечить принципам невикористання тестових даних !!

$n$$n$$n-1$$n$

Вибране значення гіпер-параметра - це те, що досягає найвищої середньої продуктивності в n-складках. Після того, як ви будете задоволені своїм алгоритмом, ви можете протестувати його на тестовому наборі. Якщо ви переходите прямо до набору для тестування, тоді ви ризикуєте надмірно підійти.