Як вибрати оптимальну ширину бункера при калібруванні ймовірних моделей?

Передумови: Тут є кілька чудових питань / відповідей щодо того, як відкалібрувати моделі, які прогнозують ймовірність того, що результат відбудеться. Наприклад

1. Шкала барію та його розкладання на роздільну здатність, невизначеність та надійність .
2. Калібрувальні графіки та ізотонічна регресія .

Ці методи часто вимагають використання методу бінінгу за передбачуваними ймовірностями, так що поведінка результату (0, 1) згладжується над кошиком, приймаючи середній результат.

Проблема: Однак я не можу знайти нічого, що вказує мені на те, як вибрати ширину контейнера.

Питання: Як вибрати оптимальну ширину контейнера?

Спроба: Здається, дві загальні ширини контейнера:

1. Рівень по ширині рівний, наприклад 10 бункерів, кожен з яких охоплює 10% інтервалу [0, 1].
2. Тут обговорювали метод бікінгу Тукі .

Але чи є цей вибір бункерів найоптимальнішим, якби хтось зацікавився в пошуку інтервалів у прогнозованих ймовірностях, які найбільше відкалібровані?

Будь-який статистичний метод, який використовує binning, врешті-решт вважається застарілим. Постійне оцінювання кривої калібрування було звичним явищем з середини 1990-х. Найчастіше використовуються льосові (з вимкненим виявленням зовнішньої форми), лінійна логістична калібрування та логістична калібрування сплайна. Я детально розглядаю це в своїй книзі та конспектних записках зі стратегій регресійного моделювання . Див. Http://www.fharrell.com/p/blog-page.html . Пакет R rmsполегшує отримання гладких непараметричних кривих калібрування, використовуючи незалежний зовнішній зразок або використовуючи завантажувальний пристрій на початковому зразку розробки моделі.

На мій досвід, бінінг корисний для візуалізації розподілу ймовірностей, але, як правило, це погана ідея, якщо його хочеться використовувати для статистичних тестів та / або висновку параметрів. Перш за все тому, що один раз обмежує точність шириною відрізка. Ще одна поширена проблема - коли змінна не пов'язана, тобто треба вводити низькі та високі відсічки.

Робота з кумулятивними розподілами в дусі Колмогорова-Смірнова обходить багато цих проблем. У цьому випадку також є багато хороших статистичних методів. (див., наприклад, https://en.wikipedia.org/wiki/Kolmogorov%E2%80%93Smirnov_test )