Чи потрібні MLE дані про iid? Або просто незалежні параметри?

Оцінка параметрів з використанням максимальної оцінки ймовірності (MLE) включає оцінку функції ймовірності, яка відображає ймовірність виникнення вибірки (X) до значень (x) на просторі параметрів (θ) з заданим сімейством розподілу (P (X = x | θ) ) над можливими значеннями θ (зверніть увагу: чи я прав на це?) Усі приклади, які я бачив, передбачають обчислення P (X = x | θ), беручи добуток F (X), де F - розподіл з локальними значення для θ і X - зразок (вектор).

Оскільки ми просто множимо дані, чи випливає це, що дані будуть незалежними? Наприклад, чи не могли ми використовувати MLE для встановлення даних часових рядів? Або параметри просто повинні бути незалежними?

Функція ймовірності визначається як вірогідність події $E$ (набір даних ${\bf x}$ ) як функція параметрів моделі $\theta$

$${\mathcal L}(\theta;{\bf x})\propto {\mathbb P}(\text{Event }E;\theta)= {\mathbb P}(\text{observing } {\bf x};\theta).$$

Тому немає припущення про незалежність спостережень. У класичному підході немає визначення незалежності параметрів, оскільки вони не є випадковими змінними; деякими пов'язаними поняттями можуть бути ідентифікація , ортогональність параметрів та незалежність оцінювачів максимальної вірогідності (які є випадковими змінними).

Деякі приклади,

(1). Дискретний випадок . є зразок (незалежний) дискретних спостережень з P ( спостереження  х J ; & thetas ; ) > 0 , то${\bf x}=(x_1,...,x_n)$${\mathbb P}(\text{observing } x_j ; \theta)>0$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n{\mathbb P}(\text{observing } x_j ; \theta).$$

Зокрема, якщо , з N відомим, маємо це$x_j\sim \text{Binomial}(N,\theta)$$N$

$${\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n \theta^{x_j}(1-\theta)^{N-x_j}.$$

(2). Безперервне наближення . Нехай бути зразком з безперервного випадкової величини X , з розподілом F і щільністю F , з вимірюванням помилки е , це, ви спостерігаєте безліч ( х J - ε , х j + ϵ ) . Потім${\bf x}=(x_1,...,x_n)$$X$$F$$f$$\epsilon$$(x_j-\epsilon,x_j+\epsilon)$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n {\mathbb P}[\text{observing } (x_j-\epsilon,x_j+\epsilon);\theta] = \prod_{j=1}^n[F(x_j+\epsilon;\theta)-F(x_j-\epsilon;\theta)] \end{eqnarray*}$$

Коли невеликий, це можна наблизити (використовуючи теорему середнього значення) на$\epsilon$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto \prod_{j=1}^n f(x_j;\theta) \end{eqnarray*}$$

Для прикладу зі звичайним випадком погляньте на це .

(3). Залежна і маркова модель . Припустимо , що являє собою набір спостережень , можливо , залежних і нехай F бути спільної щільності х , то${\bf x}=(x_1,...,x_n)$$f$${\bf x}$

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta). \end{eqnarray*}$$

Якщо додатково власність Маркова задоволена, то

$$\begin{eqnarray*} {\mathcal L}(\theta;{\bf x})\propto f({\bf x}; \theta) = f(x_1;\theta)\prod_{j=1}^{n-1} f(x_{j+1} \vert x_j ;\theta). \end{eqnarray*}$$

Погляньте і на це .

(+1) Дуже хороше запитання.

Незначна річ, MLE розшифровується як максимум оцінку ймовірності (не кратну), а це означає, що ви просто максимізуєте ймовірність. Це не вказує на те, що ймовірність повинна бути вироблена шляхом IID відбору проб.

Якщо залежність вибірки може бути записана в статистичній моделі, ви просто записуєте ймовірність відповідно і максимізуєте її як завжди.

Єдиний випадок, який варто згадати, коли ви не приймаєте на себе залежність, - це багатоваріантний вибірки Гаусса (наприклад, в аналізі часових рядів). Залежність між двома гауссовими змінними можна змоделювати за допомогою їхнього коваріаційного терміна, який ви, ймовірно, співпрацюєте.

$2$

$$\frac{1}{2\pi\sigma^2\sqrt{1-\rho^2}}\exp\left(-\frac{z}{2\sigma^2(1-\rho^2)}\right),$$

$z$

$$z = (x_1-\mu)^2-2\rho(x_1-\mu)(x_2-\mu)+(x_2-\mu)^2.$$

This is not the product of the individual likelihoods. Still, you would maximize this with parameters $(\mu, \sigma, \rho)$ to get their MLE.

Of course, Gaussian ARMA models possess a likelihood, as their covariance function can be derived explicitly. This is basically an extension of gui11ame's answer to more than 2 observations. Minimal googling produces papers like this one where the likelihood is given in the general form.

Another, to an extent, more intriguing, class of examples is given by multilevel random effect models. If you have data of the form

$$y_{ij} = x_{ij}'\beta + u_i + \epsilon_{ij},$$ where indices $j$ are nested in $i$ (think of students $j$ in classrooms $i$, say, for a classic application of multilevel models), then, assuming $\epsilon_{ij} \perp u_i$, the likelihood is $$\ln L \sim \sum_i \ln \int \prod_j f(y_{ij}|\beta,u_i) {\rm d}F(u_i)$$ and is a sum over the likelihood contributions defined at the level of clusters, not individual observations. (Of course, in the Gaussian case, you can push the integrals around to produce an analytic ANOVA-like solution. However, if you have say a logit model for your response $y_{ij}$, then there is no way out of numerical integration.)