Невірогідний висновок - що це означає?

Нещодавно мені стало відомо про «вірогідні» методи, які перебувають у літературі. Однак мені не ясно, що означає спосіб висновку чи оптимізації бути вірогідним .

При машинному навчанні мета зазвичай полягає в тому, щоб максимально збільшити ймовірність того, що деякі параметри підходять до функції, наприклад, ваги в нейронній мережі.

Тож у чому полягає філософія вірогідного підходу і чому до цієї категорії підпадають змагальні мережі, такі як GAN?

Існує багато прикладів методів, що не грунтуються на ймовірності статистики (я не знаю про машинне навчання). Деякі приклади:

1. Тести чистої значущості Фішера . Виходячи лише з чітко визначеної нульової гіпотези (наприклад, немає різниці між молоком спочатку і молоком, яке було останнім в експерименті "Чай з дегустацією чаю"). Це припущення призводить до нульового розподілу гіпотез, а потім до значення p. не може сам по собі дати основу для аналізу потужності (немає формально визначеної альтернативи) або довірчих інтервалів (немає формально визначеного параметра).

2. 1. Пов'язано з тестами рандомізації. Різниця між тестом на рандомізацію та перестановковим тестом , який у своїй найосновнішій формі є чистою тестовою значимістю.

3. Завантаження завантажувачів виконується без необхідності функцій вірогідності. Але існують зв’язки з імовірнісними ідеями, наприклад, емпірична ймовірність .

4. Методи, що базуються на ранговому рівні, зазвичай не використовують ймовірність.

5. Багато надійної статистики.

6. Інтервали довіри для медіани (або інших квантилів) можуть базуватися на статистиці замовлень. Жодна ймовірність не бере участь у розрахунках. Інтервал довіри для медіани , Кращий оцінювач для дисперсії емпіричної медіани

7. У В. Вапника виникла ідея трансдуктивного навчання, яка, схоже, пов'язана з https://en.wikipedia.org/wiki/Епілогізмом, про що йдеться у Талебі Чорного Лебедя та Чорному лебеді .

8. $\text{N}(\mu, \sigma^2)$$\text{N}(9.37, 2.12^2)$

У момент, коли ви отримаєте функцію вірогідності, існує величезна техніка, яка повинна розвиватися. Байєси не можуть обійтися, і більшість інших справді використовують імовірність більшу частину часу. Але в коментарі вказується, що навіть байєси намагаються обійтися без цього, див. Приблизний_Байезіанський_комп'ютер . На цю тему навіть є новий текст .

Але звідки вони беруться? Щоб отримати функцію вірогідності звичайним способом, нам потрібно багато припущень, які важко обґрунтувати.

Цікаво запитати, чи можна побудувати імовірні функції якимось чином з деяких із цих вірогідних методів. Наприклад, пункт 6. вище, чи можемо ми побудувати функцію ймовірності для медіани з (сімейства) довірчих інтервалів, обчислених зі статистики замовлень? Я повинен поставити це як окреме питання ...

Ваше останнє запитання про GAN-те, що я повинен залишити для інших.

Зокрема, [недавні] вірогідні методи - це переформулювання алгоритмів ABC, де ABC розшифровується як приблизне обчислення Байєса . Це має на меті охопити методи висновків, які не потребують використання функції ймовірності закритої форми, але все ж мають намір вивчити конкретну статистичну модель. Вони не вільні від обчислювальних труднощів, пов'язаних з вірогідністю, але не від моделі, яка створює цю ймовірність. Дивіться, наприклад

1. Грело, А; Марін, Дж. М.; Роберт, С; Родольф, Ж; Tally, F (2009). "Безпроблемні методи вибору моделі у випадкових полях Гіббса". Байєсівський аналіз. 3: 427–442 .
2. Ратманн, О; Андріє, С; Wiuf, C; Річардсон, S (2009). "Модель критики, заснованої на безвірогідному висновку, із застосуванням для розвитку білкової мережі". Праці Національної академії наук Сполучених Штатів Америки. 106: 10576–10581 .
3. Базін, Е., Доусон, КДж, і Бомонт, МА (2010). Безвірогідність висновку про структуру населення та локальну адаптацію в баєсовій ієрархічній моделі. Генетика, 185 (2), 587-602 .
4. Діделот, X; Everitt, RG; Йохансен, А.М .; Лоусон, DJ (2011). "Безвірогідна оцінка зразків доказів". Байєсівський аналіз. 6: 49–76 .
5. Гутманн, М. та Корандер, Дж. (2016) Байєсова оптимізація для вірогідного висновку статистичних моделей на основі симуляторів Журнал машинного навчання .

Щоб додати до літанії відповідей, асимптотична статистика насправді не вірогідна.

"Імовірність" тут відноситься до моделі ймовірності даних . Мене це може не хвилювати. Але я можу знайти такий простий оцінювач, як середнє, що є адекватним підсумком даних, і я хочу зробити висновок про середнє значення розподілу (якщо вважати, що воно існує, що часто є розумним припущенням).

За центральною граничною теоремою середнє має приблизний нормальний розподіл у великій N, коли дисперсія також існує. Я можу створити послідовні тести (потужність іде до 1, оскільки N переходить до нескінченності, коли null неправдиво), які мають правильний розмір. Хоча у мене є ймовірнісна модель (що є помилковою) для розподілу вибірки середнього значення в кінцевих розмірах вибірки, я можу отримати справедливий висновок і неупереджену оцінку, щоб доповнити свій «корисний підсумок даних» (середнє значення).

Слід зазначити, що тести, засновані на 95% ДІ для медіани (тобто варіант 6 у відповіді @ kjetilbhalvorsen), також покладаються на центральну граничну теорему, щоб показати, що вони відповідають. Тож не шалено розглядати простий Т-тест як "непараметричний" або "неімовірний" тест.

$p(y|x)$$x$$y$$p(y|x) = N(y|\mu(x), \sigma)$$p(y|x)$

$p(y|x)$