Чи мій синоптик точний?

Питання, яке мене хвилювало деякий час, на яке я не знаю, як вирішити:

Щодня мій синоптик дає відсотковий шанс дощу (припустимо, його обчислюється до 9000 цифр, і він ніколи не повторював число). Кожного наступного дня він або дощить, або не дощить.

У мене є дані років - шанс в порівнянні з дощем чи ні. Враховуючи історію цього синоптика , якщо він сьогодні ввечері каже, що завтра шанс дощу - X, то яка моя найкраща здогадка щодо того, яка ймовірність дощу?

Насправді ви думаєте про модель, в якій справжній шанс дощу, р , - це функція від передбачуваного шансу q : p = p (q ). Кожного разу, коли робиться прогноз, ви спостерігаєте одну реалізацію змінної Бернуллі, що має ймовірність p (q) успіху. Це класичне налаштування логістичної регресії, якщо ви готові моделювати справжній шанс як лінійне поєднання базових функцій f1 , f2 , ..., fk ; тобто модель говорить

Logit ( p ) = b0 + b1 f1 (q) + b2 f2 (q) + ... + bk fk (q) + e

з помилками iid e . Якщо ви агресивні щодо форми відносин (хоча якщо метеоролог хороший p (q) - q має бути розумно малим), подумайте про використання набору сплайнів для основи. Вихід, як зазвичай, складається з оцінок коефіцієнтів та оцінки дисперсії e . З огляду на будь-який майбутній прогноз q , просто підключіть значення до моделі з розрахунковими коефіцієнтами, щоб отримати відповідь на ваше запитання (і використовуйте дисперсію e, щоб побудувати інтервал передбачення навколо цього відповіді, якщо вам це подобається).

Цей фреймворк є досить гнучким, щоб включати й інші фактори, наприклад, можливість зміни якості прогнозування з часом. Це також дозволяє перевірити гіпотези, наприклад, чи p = q (про що непрямо стверджує синоптик).

Порівняння прогнозу ймовірності для двійкової події (або дискретної випадкової змінної) можна здійснити за шкалою Brier

$\tau$$\tau$

Слід поглянути, як працює європейський центр середньострокового прогнозу погоди ( ECMWF ).

Коли прогноз зазначає "X відсоток шансів дощу в (області)", це означає, що чисельна модель погоди вказала дощ у X відсотках району за відповідний часовий інтервал. Наприклад, зазвичай було б точно передбачити "100-відсотковий шанс дощу в Північній Америці". Майте на увазі, що моделі добре прогнозують динаміку і погані при прогнозуванні термодинаміки.

Підхід Brier Score - це дуже простий і найбільш безпосередньо застосований спосіб перевірити точність прогнозованого результату проти бінарної події.

Не покладайтеся лише на формули ... побудуйте бали за різні періоди часу, дані, помилки, [зважене] середнє значення даних, помилки ... важко сказати, що може виявити візуальний аналіз ... після того, як ви подумаєте ви щось бачите, то краще будете знати, який саме тест гіпотези потрібно виконати, поки ПІСЛЯ не переглянете дані.

Оцінка Brier по суті передбачає стабільність варіації / основної дистрибуції погоди та технології, що керують моделями прогнозування, відсутність лінійності, відсутність упередженості, відсутність змін ухилу ... Це передбачає, що той самий загальний рівень точності / неточності є послідовним. У міру зміни клімату способами, які ще не зрозуміли, точність прогнозів погоди знизиться; навпаки, вчені, які подають інформацію синоптику, мають більше ресурсів, більш повні моделі, більше обчислювальної потужності, тому, можливо, точність прогнозів зростатиме. Дивлячись на помилки, можна було б розповісти про стабільність, лінійність та необ'єктивність прогнозів ... у вас може бути недостатньо даних, щоб побачити тенденції; ви можете дізнатися, що стабільність, лінійність та упередженість - це не проблема. Ви можете дізнатися, що прогнози погоди стають точнішими ... чи ні.

Як щодо того, що просто поповнити задані прогнози та взяти спостережувані дроби як свою оцінку для кожного відро?

Ви можете узагальнити це на безперервну модель, зваживши всі спостереження навколо вашої вартості інтересів (скажімо, прогноз до завтра) по Гауссу і побачити, що таке середньозважений показник.

Ви можете вгадати ширину, щоб отримати певну частину своїх даних (або, скажімо, ніколи не менше 100 балів за хорошу оцінку). Альтернативно, використовуйте такий метод, як перехресне підтвердження максимальної вірогідності, щоб отримати ширину Гаусса.

Ви хочете знати, чи прогноз його точніший за інший прогноз? Якщо це так, ви можете переглянути основні показники точності для імовірнісної класифікації, такі як перехресна ентропія, точність / відкликання, криві ROC та показник f1.

Визначення об'єктивності прогнозу є іншим питанням. Один варіант - подивитися на калібрування. З усіх днів, коли він сказав, що буде 90% шансів дощу, чи приблизно 90% тих днів мали дощ? Візьміть усі дні, де у нього прогноз, а потім відмітьте їх за його оцінкою ймовірності дощу. Для кожного відра обчисліть відсоток днів, коли насправді трапився дощ. Потім для кожного відра будується фактична ймовірність дощу проти його оцінки ймовірності дощу. Ділянка буде виглядати як пряма, якщо прогноз добре відкалібрований.