Прогнозування впевненості нейронної мережі


9

Припустимо, я хочу навчити глибоку нейронну мережу для класифікації або регресії, але хочу знати, наскільки впевненим буде прогноз. Як я міг цього досягти?

Моя ідея - обчислити перехресну ентропію для кожної навчальної дати, виходячи з її прогнозованої ефективності в нейронних метрах вище. Тоді я би тренував другу нейронну мережу для регресії, яка брала б кожну дату як вхід, і це перехресна ентропія як вихід (один вихідний вузол). Потім ви використовуєте обидві мережі на практиці - одну для прогнозування мітки / значення, а іншу для прогнозування впевненості першої мережі. (.... Але чи знадобиться мені тоді третя мережа, щоб передбачити довіру другої мережі тощо? ...)

Це правдива ідея? Більше того, це звичайна ідея, яка зазвичай використовується? Якщо ні, що б ви запропонували?


Значення прогнозування можна трактувати як впевненість.
yasin.yazici

Можливо, ви можете скористатися підходом до завантаження, реплікуючи свою модель на n зразків і будуючи оцінку дисперсії та, можливо, довірчий інтервал для ваших прогнозів.
Д.Кастро

Для класифікації, як деякі відповіли, ймовірності самі є деяким показником вашої впевненості. Для регресії ви можете знайти мою відповідь з дуже подібного питання корисною.
etal

1
дивіться мою відповідь на подібне запитання тут stats.stackexchange.com/a/247568/56940
утобі

Відповіді:


2

Можливо, я нерозумію це питання, але для класифікації мені здається, що стандартним способом є вихідний нейрон для кожного з Nкласів.

Тоді Nвектор [0, 1]вивідних значень представляє ймовірність того, що вхід належить до кожного класу, і тому його можна трактувати як «впевненість», яку ви хочете отримати.


Вихід - це звичайний шар softmax, і саме тому ви отримуєте значення нейронів потрапляти всередину . [0,1]
horaceT

2

Для людей, які зацікавлені в оцінці достовірності прогнозування NN, ви можете поглянути на Dropout як на байесівське наближення: представлення моделі невизначеності в глибокому навчанні (Gal et al., 2016) . Коротко, він демонструє, як дисперсія прогнозів мережі з відміном від популяції циклів, в яких виконується випадання, може використовуватися для оцінки достовірності прогнозування. Цей підхід може застосовуватися для мереж, призначених для класифікації або для регресії.

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.