Лінійна регресія з помилками Лапласа

Розглянемо модель лінійної регресії: де , тобто , Розподіл Лапласа з параметром середнього та масштабу, взаємно незалежні. Розглянемо оцінку максимальної вірогідності невідомого параметра : з якого

y_{i} = x_{i} \cdot β + ε_{i}, i = 1, \dots, n,

$y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n,$

ε_{i} \sim L (0, b)

$\varepsilon _i \sim \mathcal L(0, b)$

0

$0$

b

$b$

β

$\boldsymbol \beta$

- \log p (y ∣ X, β, b) = n \log (2 b) + \frac{1}{b} \sum_{i = 1}^{n} | x_{i} \cdot β - y_{i} |

$-\log p(\mathbf y \mid \mathbf X, \boldsymbol \beta, b) = n\log (2b) + \frac 1b\sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$

{\hat{β}}_{M L} = {\arg min}_{β \in R^{m}} \sum_{i = 1}^{n} | x_{i} \cdot β - y_{i} |

$\hat{\boldsymbol \beta}_{\mathrm {ML}} = {\arg\min }_{\boldsymbol \beta \in \mathbb R^m} \sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$

Як можна знайти розподіл залишків $\mathbf y - \mathbf X\hat{\boldsymbol \beta}_{\mathrm {ML}}$ у цій моделі?

regression laplace-distribution

— nmerci
джерело

Що ви маєте на увазі під розподілом залишків?

— jlimahaverford

Оскільки залишки можна згрупувати у випадковий вектор, я хотів би знати його розподіл. Принаймні перші два моменти.

— nmerci

Зрозумів дякую! Ви думали про моделювання та побудову графіків?

— jlimahaverford

Так, я хочу побудувати область довіри для залишків. Наприклад, для гауссових помилок область є еліпсоїдом.

— nmerci

Залишки (фактично називаються помилками) вважаються випадковим чином розподіленими з подвійним експоненціальним розподілом (розподіл Лапласа). Якщо ви підходите до даних x і y, виконайте це чисельно. Ви спочатку обчислюєте бета-hat_ML для цих точок у цілому, використовуючи формулу, яку ви розмістили вище. Це визначить лінію через точки. Потім відніміть значення y кожної точки від значення y рядка при цьому значенні x. Це залишок для цієї точки. Залишки всіх точок можна використовувати для побудови гістограми, яка дасть вам розподіл залишків.

Про нього є хороша математична стаття Ян (2014) .

- Лишай

— Лі Г
джерело

Посилання не працює.

— Майкл Р. Черник