Які приклади реального життя "непараметричних статистичних моделей"?

12

Я читаю тут статтю Вікіпедії про статистичні моделі , і я дещо здивований щодо значення "непараметричних статистичних моделей", зокрема:

Статистична модель є непараметричною, якщо набір параметрів нескінченно розмірний. Статистична модель є напівпараметричною, якщо вона має як кінцеві, так і нескінченномірні параметри. Формально, якщо - розмірність а - кількість зразків, і напівпараметричні, і непараметричні моделі мають як . Якщо як , то модель є напівпараметричною; в іншому випадку модель непараметрична. $\Theta$ $d$ $\Theta$ $n$ $d \rightarrow \infty$ $n \rightarrow \infty$ $d/n \rightarrow 0$ $n \rightarrow \infty$

Я розумію, що якщо розмірність (я вважаю, що це буквально означає, кількість параметрів) моделі є кінцевою, то це параметрична модель.

Що для мене не має сенсу, - це те, як ми можемо мати статистичну модель, яка має нескінченну кількість параметрів, таких, що ми можемо називати це "непараметричним". Крім того, навіть якщо це було так, чому "не-", якщо насправді існує нескінченна кількість вимірів? Нарешті, оскільки я до цього приходжу з фону машинного навчання, чи є якась різниця між цією "непараметричною статистичною моделлю" і скажімо, "непараметричною моделлю машинного навчання"? Нарешті, якими можуть бути конкретні приклади таких "непараметричних нескінченних розмірних моделей"?

nonparametric model

— Креарон
джерело

3

Використання іншої сторінки Wiki ( en.wikipedia.org/wiki/… ): "Непараметричні моделі відрізняються від параметричних моделей тим, що структура моделі не визначена апріорі, а натомість визначається з даних. Термін "непараметричний" не означає, що в таких моделях повністю відсутні параметри, але що кількість та характер параметрів є гнучкими та не зафіксовані заздалегідь. " тому непараметричний не має нескінченну кількість параметрів, а невідому кількість параметрів.

— Riff

У мене є сумніви. У непараметричних моделях ми визначаємо апріорно структуру моделі. Наприклад, у Деревах рішень (що є непараметричною моделлю) ми визначаємо max_depth. Тоді як можна сказати, що цей параметр справді вивчений / визначений із самих даних і не визначений нами заздалегідь?

— Amarpreet Singh

5

Як відповів Джоннібойкертис, непараметричні методи є тими, якщо він не передбачає припущення щодо розподілу населення чи розміру вибірки для створення моделі.

Модель k-NN є прикладом непараметричної моделі, оскільки вона не враховує жодних припущень щодо розробки моделі. Naive Bayes або K-засоби - приклад параметричних, оскільки він передбачає розподіл для створення моделі.

Наприклад, K-засоби передбачають наступне, щоб розробити модель Усі кластери сферичні (iid Gaussian). Усі осі мають однаковий розподіл і, отже, дисперсію. Усі кластери мають однаковий розмір.

Що стосується k-NN, він використовує повний набір тренувань для прогнозування. Він обчислює найближчих сусідів з пункту тестування для прогнозування. Він не передбачає розподілу для створення моделі.

Для отримання додаткової інформації:

— прашант
джерело

Чи можете ви розширити цю проблему? Чому KNN є прикладом непараметричного і чому можуть бути K-засоби? Це ті деталі, на які я переживаю, наприклад приклади непараметричних методів, і чому / як вони не мають припущення щодо розподілу населення. Дякую!

— Creatron

@Creatron Я змінив відповідь для отримання додаткових пояснень.

— прашант

3

Отже, я думаю, вам не вистачає кількох пунктів. По-перше, і найголовніше,

Статистичний метод називається непараметричним, якщо він не передбачає припущення щодо розподілу чи вибірки населення.

Ось простий (застосований) підручник для деяких непарметричних моделей: http://www.r-tutor.com/elementar-statistics/non-parametric-methods

Дослідник може вирішити використовувати непараметричну модель проти параметричної моделі, скажімо, непараметричну регресію проти лінійної регресії, тому що дані порушують припущення, параметричні моделі. Оскільки ви приїжджаєте з ML-тла, я просто припускаю, що ви ніколи не вивчали типових припущень лінійної регресії. Ось посилання: https://statistics.laerd.com/spss-tutorials/linear-regression-using-spss-statistics.php

Порушення припущень може перекрутити ваші оцінки параметрів і в кінцевому підсумку збільшити ризик помилкових висновків. Непараметрична модель є більш надійною для людей, що не існують, нелінійні стосунки і не залежить від багатьох припущень щодо розподілу населення, отже, може забезпечити більш достовірні результати, намагаючись зробити висновки чи прогнози.

Для швидкого підручника з непараметричної регресії я рекомендую такі слайди: http://socserv.socsci.mcmaster.ca/jfox/Courses/Oxford-2005/slides-handout.pdf

— Джон
джерело

Дякую за посилання, я пройду їх. Одне, однак, як ми маємо це одружуватись із "нескінченною кількістю параметрів", що складають "непараметричну" модель? Спасибі

— Creatron

Для цієї "нескінченної кількості параметрів" немає цитування, тому я не можу коментувати. Я ніколи не бачив такого посилання на тему непараметричної статистичної моделі, тому мені потрібно було б побачити посилання, перш ніж я можу дати відповідь / тлумачення. Поки що я б переймався припущеннями щодо конкретних моделей проти цілого поля.

— Джон

Стаття у вікіпедії, цитована в моєму питанні, стосується нескінченної мірності. Буквально: "Статистична модель є непараметричною, якщо набір параметрів нескінченний." Що це значить? Це те, про що я маю на увазі.

— Creatron

Я знаю. Але Вікіпедія не надає посилання на це твердження. Неможливо довіряти чомусь без посилання.

— Джон

3

Зараз я беру курс на машинне навчання, де ми використовуємо таке визначення непараметричних моделей: "Непараметричні моделі зростають у складності з розміром даних".

Параметрична модель

$w \in ℝ ^d$

f (x) = w^{T} x

$f(x) = w^Tx$

Непараметричні моделі

Замість регресії ядра намагається передбачити наступну функцію: де у нас точок даних, - ваги і - це функція ядра. При цьому число параметрів це залежить від кількості точок .

f (x) = \sum_{i = 1}^{n} α_{i} k (x_{i}, x)

$f(x) = \sum_{i=1}^n \alpha_i k(x_i, x)$

n

$n$

α_{i}

$\alpha_i$

k (x_{i}, x)

$k(x_i, x)$

α_{i}

$\alpha_i$

n

$n$

Те саме стосується ядра персептрон:

f (x) = s i g n (\sum_{i = 1}^{n} α_{i} y_{i} k (x_{i}, x)))

$f(x) = sign( \sum_{i=1}^n \alpha_i y_i k(x_i,x)))$

Повернемося до вашого визначення і скажемо, d було число . Якщо дозволити то . Саме про це вимагає визначення вікіпедії. $\alpha_i$ $n \to \infty$ $d \to \infty$

Я взяв функцію регресії ядра з моїх слайдів лекцій, а функцію kernelized perceptron з wikipedia: https://en.wikipedia.org/wiki/Kernel_method

— sop_se
джерело