Я пропоную вам піти на Shap . Він використовує значення Shapley (концепція, запозичена з Теорії ігор) для опису поведінки моделі, і за допомогою цього може пояснити єдине передбачення.
Його графічний інтерфейс використовує Force Plots, як той, який ви бачите нижче.
Червона смуга побудована за особливостями, що призводять прогнозування до позитивних значень, а синя - за іншими.
У вашому випадку (класифікаторі) число, що виділяється жирним шрифтом, буде таким, яке знаходиться безпосередньо перед сигмоїдною функцією, яка обмежить значення виводу між нулем і одним (один клас чи інший). Тому не лякайтеся, якщо в деяких випадках це буде більше, ніж один, або негативний.
Розмір сегментів відображає, наскільки ця функція сприяє передбаченню, а під сегментами ви бачите назву функції (наприклад, LSTAT) та її фактичне значення (напр., 4.98). Отже, у цьому випадку LSTAT є середньою характеристикою, яка приводить передбачення для цього елемента набору даних до значення 24,41 (число, виділене жирним шрифтом).
Насолоджуйтесь!