Інтервал прогнозування на основі перехресної перевірки (CV)

У підручниках та лекціях на ютубі я дізнався багато про ітеративні моделі, такі як прискорення, але я ніколи нічого не бачив, як вивести інтервал передбачення.

Перехресне підтвердження використовується для наступного:

Вибір моделі : Спробуйте різні моделі та виберіть ту, яка найкраще підходить. У разі збільшення, використовуйте CV для вибору параметрів настройки.
Оцінка моделі : Оцініть ефективність обраної моделі

Для оцінки моделі важливі кілька параметрів, один з них - очікувана похибка прогнозування. Перехресне підтвердження дає хорошу оцінку похибки прогнозування, як це добре описано у книзі "Елементи статистичного навчання".

Але як ми використовуємо очікувану помилку прогнозування для побудови інтервалу прогнозування?

І якщо передбачити ціну будинку, наприклад, інтервал прогнозування буде більшим для будинку на 500 000 € порівняно з будинком в 200 000 €. Як ми оцінюємо ці інтервали прогнозування за допомогою перехресної перевірки?

cross-validation boosting prediction-interval

— Каспер
джерело

Це крок у хорошому напрямку: blog.datadive.net/prediction-intervals-for-random-forests

— Каспер

Я думаю, що те, що ви шукаєте, - це відповідні прогнози. Дивіться статтю Шафера та Вовка jmlr.csail.mit.edu/papers/volume9/shafer08a/shafer08a.pdf .

— Олексій Зайцев

Чи можете ви пояснити, чому ви вважаєте, що інтервал прогнозування буде "більшим" для будинку на 500 тисяч порівняно з будинком в 200 тис.? Це функція кількості проб? Чи можете ви припустити, що зразки витягуються в загальному обсязі розподілу?

— justaTHERbrain

Прочитавши ще раз це запитання, я можу дати вам наступний зв’язок:

Припускаю , зразки малюються IID, розподіл є фіксованим, і втрата обмежена , то з ймовірністю принаймні , $B$ $1 - \delta$

Е [Е (год)] \leq \hat{Е} (год) + Б \sqrt{\frac{журнал \frac{1}{δ}}{2 м}}

$\mathbb{E}[\mathcal{E}(h)] \leq \hat{\mathcal{E}}(h) + B\sqrt{\frac{\log \frac{1}{\delta}}{2m}}$

де - розмір вибірки, а - достовірність. Межа тривіально дотримується нерівності МакДіарміда. $m$ $1-\delta$

є розміром вибірки, є помилкою узагальнення і є тест помилками для гіпотези. $m$ $\mathbb{E}[\mathcal{E}(h)]$ $\hat{\mathcal{E}}(h)$

Будь ласка, не повідомляйте лише про помилку перехресної перевірки, ані про помилку тесту, вони взагалі безглузді, оскільки вони є лише бальними оцінками.

Стара публікація для запису:

Я не впевнений, що я цілком зрозумів ваше запитання, але я поцікавлюся його.

По-перше, я не впевнений, як би ви визначили інтервал прогнозування для вибору моделі, оскільки, наскільки я розумію, інтервали прогнозування роблять деякі припущення щодо розподілу. Натомість ви можете отримати нерівності концентрації, які по суті зв'язали випадкову величину за її дисперсією на деяку ймовірність. Нерівності концентрації використовуються за допомогою машинного навчання, включаючи вдосконалену теорію для стимулювання. У цьому випадку ви хочете пов'язати помилку узагальнення (помилку взагалі, бали, яку ви не бачили) своєю емпіричною помилкою (вашою помилкою на тестовому наборі), а також деяким терміном складності та терміном, що стосується дисперсії.

Тепер мені потрібно розвіяти непорозуміння щодо перехресної перевірки, що є надзвичайно поширеним. Перехресне підтвердження дасть вам лише неупереджену оцінку очікуваної помилки моделі ДЛЯ ФІКСОВАНОГО ЗІБУ РОЗМІРУ. Доказом цього є лише протокол відпустки. Це насправді досить слабко, оскільки не дає інформації про дисперсію. З іншого боку, перехресне підтвердження поверне модель, близьку до рішення щодо мінімізації структурних ризиків, що є теоретично найкращим рішенням. Ви можете знайти доказ у додатку тут: http://www.cns.nyu.edu/~rabadi/resources/scat-150519.pdf

Тож як вивести зв'язане узагальнення? (Пам'ятайте, що обмеження узагальнення - це в основному інтервал передбачення щодо помилки узагальнення для конкретної моделі). Ну, ці межі є алгоритмом. На жаль, є лише один підручник, який встановлює межі для всіх часто використовуваних алгоритмів в машинному навчанні (включаючи підвищення стимуляції). Книга - Основи машинного навчання (2012) Мохрі, Ростамізаде та Талвалкара. Слайди лекцій, які висвітлюють матеріал, ви можете знайти на веб-сторінці Морі: http://www.cs.nyu.edu/~mohri/ml14/

Хоча Елементи статистичного навчання є важливою і дещо корисною книгою, вона не дуже сувора, і вона опускає багато дуже важливих технічних деталей щодо алгоритмів і повністю опускає будь-які межі узагальнення. Основи машинного навчання - це найповніша книга для машинного навчання (що має сенс бачити так, як її написали одні з найкращих у цій галузі). Однак підручник вдосконалений, тому просто остерігайтесь технічних деталей.

Узагальнені межі для підвищення можна знайти (із підтвердженням) тут: http://www.cs.nyu.edu/~mohri/mls/lecture_6.pdf

Я сподіваюсь, що цих покажчиків достатньо, щоб відповісти на ваше запитання. Я вагаюсь у тому, щоб дати повну відповідь, бо знадобиться близько 50 сторінок, щоб переглянути всі необхідні деталі, не кажучи вже про попередні обговорення ...

Удачі!

— юстотерновий мозок
джерело

Отже, якщо я добре розумію, це дає верхню межу для помилки узагальнення для будь-якого квантилу протягом усього розподілу (виходячи з деяких припущень). Однак я не розумію вашого речення "Будь ласка, не повідомляйте ні про помилку перехресної перевірки, ні про помилку тесту". Ви маєте на увазі, що ці два заходи є марними або вони просто марні, щоб спробувати знайти інтервал передбачення?

— LouisBBBB

@LouisBBBB Помилка CV та помилка тесту схожі на повідомлення про середнє значення вибірки. Як правило, погана практика повідомляти про вибірку без будь-якого інтервалу довіри, оскільки кожен раз, коли я запускаю експеримент, я отримую інший результат. Я сказав безглуздо, але, можливо, "марне" краще ... Можна стверджувати, що в точковій оцінці є якийсь сенс (тобто визначення). Але точкові оцінки, як правило, "марні" в тому сенсі, що вони не характеризують розподіл помилок "корисним способом". "Корисне" в контексті прийняття рішень.

— justaTHERbrain

Я думаю, я розумію, що ти кажеш. Тому ви вважаєте за краще аналізувати розподіл помилок замість середнього. І якщо я повернусь до питання, Каспер хотів оцінити інтервали прогнозування "за бал". Ваша відповідь була глобальною верхньою межею щодо тривалості інтервалу прогнозування (чи щось близьке), чи правильно? То ви знаєте спосіб отримати локальну верхню межу?

— LouisBBBB

Ах - дякую за уточнення. Я думаю, що я неправильно зрозумів питання Каспера і у мене є багато запитань. Дякую, що вказав на це, я виконую копання.

— justaTHERbrain