Потрібен алгоритм для обчислення відносної ймовірності того, що дані є вибіркою від нормального та логічного нормального розподілу

Скажімо, у вас є набір значень, і ви хочете знати, чи є більш імовірним, що вони були відібрані з гауссового (нормального) розподілу або відібрані з лонормального розподілу?

Звичайно, в ідеалі ви знаєте щось про населення або про джерела експериментальної помилки, тому ви мали б додаткову інформацію, корисну для відповіді на питання. Але тут, припустимо, у нас є лише набір цифр і ніякої іншої інформації. Що є більш імовірним: вибірка з Гаусса чи вибірка з лонормального розподілу? На скільки більше шансів? Я сподіваюся, що це алгоритм вибору між двома моделями і, сподіваємось, кількісно визначити відносну ймовірність кожної з них.

Ви можете найкраще здогадатися про тип розповсюдження, встановивши кожен розподіл (нормальний або лонормальний) до даних за максимальною ймовірністю, а потім порівняти ймовірність журналу для кожної моделі - найкраще підійде модель з найбільшою ймовірністю журналу. Наприклад, в R:

# log likelihood of the data given the parameters (par) for 
# a normal or lognormal distribution
logl <- function(par, x, lognorm=F) {
    if(par[2]<0) { return(-Inf) }
    ifelse(lognorm,
    sum(dlnorm(x,par[1],par[2],log=T)),
    sum(dnorm(x,par[1],par[2],log=T))
    )
}

# estimate parameters of distribution of x by ML 
ml <- function(par, x, ...) {
    optim(par, logl, control=list(fnscale=-1), x=x, ...)
}

# best guess for distribution-type
# use mean,sd of x for starting parameters in ML fit of normal
# use mean,sd of log(x) for starting parameters in ML fit of lognormal
# return name of distribution type with highest log ML
best <- function(x) {
    logl_norm <- ml(c(mean(x), sd(x)), x)$value
        logl_lognorm <- ml(c(mean(log(x)), sd(log(x))), x, lognorm=T)$value
    c("Normal","Lognormal")[which.max(c(logl_norm, logl_lognorm))]
}

Тепер генеруйте числа з нормального розподілу та підходимо до нормального розподілу за ML:

set.seed(1)
x = rnorm(100, 10, 2)
ml(c(10,2), x)

Виробляє:

$par
[1] 10.218083  1.787379

$value
[1] -199.9697
...

Порівняйте ймовірність журналу для відповідності ML нормальних та лонормальних розподілів:

ml(c(10,2), x)$value # -199.9697
    ml(c(2,0.2), x, lognorm=T)$value # -203.1891
best(x) # Normal

Спробуйте з логістичним розподілом:

best(rlnorm(100, 2.6, 0.2)) # lognormal

Призначення не буде ідеальним, залежно від n, середнього та sd:

> table(replicate(1000, best(rnorm(500, 10, 2))))

Lognormal    Normal 
        6       994 
> table(replicate(1000, best(rlnorm(500, 2.6, 0.2))))

Lognormal    Normal 
      999         1 

Байєсівським підходом до вашої проблеми було б врахувати задню ймовірність над моделями урахуванням набору точок даних ,$M \in \{ \text{Normal}, \text{Log-normal} \}$$X = \{ x_1, ..., x_N \}$

$$P(M \mid X) \propto P(X \mid M) P(M).$$

Важкою частиною є отримання граничної ймовірності ,

$$P(X \mid M) = \int P(X \mid \theta, M) P(\theta \mid M) \, d\theta.$$

Для певних варіантів граничну ймовірність гаусса можна отримати в закритому вигляді . Оскільки сказати, що звичайно поширюється в журналі - це те саме, що говорити про те, що } звичайно розподіляється, ви повинні мати можливість використовувати ту саму граничну ймовірність для нормального журналу. модель , як для гауссових моделі, застосовуючи її до замість . Тільки пам’ятайте, щоб врахувати якобіян трансформації ,$p(\theta \mid M)$$X$$Y = \{ \log x_1, ..., \log x_N$$Y$$X$

$$P(X \mid M = \text{Log-Normal}) = P(Y \mid M=\text{Normal}) \cdot \prod_i \left| \frac{1}{x_i} \right|.$$

Для цього підходу потрібно вибрати розподіл за параметрами - тут, імовірно, - та попередніми ймовірностями .$P(\theta \mid M)$$P(\sigma^2, \mu \mid M=\text{Normal})$$P(M)$

Приклад:

Для я вибираю нормально-зворотний гамма-розподіл з параметрами .$P(\mu, \sigma^2 \mid M = \text{Normal})$$m_0 = 0, v_0 = 20, a_0 = 1, b_0 = 100$

Відповідно до Мерфі (2007) (рівняння 203), гранична ймовірність нормального розподілу задається значенням

$$P(X \mid M = \text{Normal}) = \frac{|v_N|^\frac{1}{2}}{|v_0|^\frac{1}{2}} \frac{b_0^{a_0}}{b_n^{a_N}} \frac{\Gamma(a_N)}{\Gamma(a_0)} \frac{1}{\pi^{N/2}2^N}$$

де і - параметри заднього (рівняння 196 до 200),$a_N, b_N,$$v_N$$P(\mu, \sigma^2 \mid X, M = \text{Normal})$

$$\begin{align} v_N &= 1 / (v_0^{-1} + N), \\ m_N &= \left( v_0^{-1}m_0 + \sum_i x_i \right) / v_N, \\ a_N &= a_0 + \frac{N}{2}, \\ b_N &= b_0 + \frac{1}{2} \left( v_0^{-1}m_0^2 - v_N^{-1}m_N^2 + \sum_i x_i^2 \right). \end{align}$$

Я використовую ті ж гіперпараметри для нормально розподіленого журналу,

$$P(X \mid M = \text{Log-normal}) = P(\{\log x_1, ..., \log x_N \} \mid M = \text{Normal}) \cdot \prod_i \left|\frac{1}{x_i}\right|.$$

Для попередньої ймовірності нормального журналу , , і даних, отриманих із наступного нормально-нормального розподілу,P ( M = норма-норма ) = $0.1$$P(M = \text{Log-normal}) = 0.1$

задній веде себе так:

Суцільна лінія показує середню задню ймовірність для різних креслень точок даних. Зауважте, що за малопомітними даними, вірування близькі до попередніх. Для приблизно 250 точок даних алгоритм майже завжди впевнений, що дані отримані з нормального розподілу журналу.$N$

Реалізуючи рівняння, було б хорошою ідеєю працювати з log-щільності замість щільності. Але в іншому випадку це повинно бути досить прямо вперед. Ось код, який я використовував для створення сюжетів:

https://gist.github.com/lucastheis/6094631

Це здається, що ви шукаєте щось досить прагматичне, щоб допомогти аналітикам, які, ймовірно, не є професійними статистиками, і їм потрібно щось підштовхнути їх до виконання, що має бути стандартними методами розвідки, такими як перегляд qq-графіків, графіків щільності тощо.

У такому випадку, чому б просто не зробити тест на нормальність (Shapiro-Wilk або будь-який інший) на вихідні дані, і один на журналі, перетвореному даними, і якщо друге значення p вище, піднесіть прапор аналітику, щоб розглянути можливість використання перетворення журналу ? Як бонус, виплюньте графік розміром 2 х 2 діаграми лінії густини та графік qqnorm для вихідних та перетворених даних.

Це технічно не відповість на ваше питання щодо відносної ймовірності, але мені цікаво, чи все це вам потрібно.