Мінімізація суми абсолютного відхилення (

15

У мене є набір даних і я хочу знайти параметр таким, щоб він мінімізував суму тобто $x_{1}, x_{2}, \ldots, x_{k}$ $m$

\sum_{i = 1}^{k} | m - x_{i} | .

$\sum_{i=1}^{k}\big|m-x_i\big|.$

min_{m} \sum_{i = 1}^{k} | m - x_{i} | .

$\min_{m}\sum_{i=1}^{k}\big|m-x_i\big|.$

optimization convex-optimization

— майнене
джерело

2

Не могли б ви трохи допрацювати?

— Джефф Оксберрі

У такому випадку, чи не було б тоді рішенням серединою між максимальним і мінімальним значеннями?

— Павло

@Paul медіана може звести до мінімуму суму, але хоче знати, як це можна зробити аналітично, особливо з мінімізацією l1

— май

@kadu правильно, медіана - це рішення. Обчислення аналітичної медіани тривіально; просто сортуйте, а потім візьміть середнє значення.

— Девід Кетчесон

22

Напевно, ви просите доказ того, що медіана вирішує проблему? Ну, це можна зробити так:

Ціль є кусочно лінійною і, отже, диференційованою, за винятком точок . Який нахил цілі є деякою точкою ? Ну, нахил - це сума схилів відображень і це або (для ), або (для ). Отже, нахил вказує, на скільки менших $m=x_i$ $m\neq x_i$ $m\mapsto |m-x_j|$ $+1$ $m>x_j$ $-1$ $m<x_j$ $x_i$ $m$ $x_i$ $m$ (for and even number of $x_i$ 's). If there is an odd number of $x_i$ 's then the slope is $-1$ left of the "middlest" one and $+1$ right of it, hence the middlest one is the minimum.

— Dirk
джерело

16

Узагальнення цієї задачі на множинні виміри називається геометричною серединною задачею . Як вказує Девід, медіана - це рішення для одноденного випадку; там ви можете використовувати алгоритми вибору середнього пошуку , які є більш ефективними, ніж сортування. Сорти є $O(n\log n)$ тоді як алгоритми відбору є $O(n)$ ; сортування є більш ефективними лише в тому випадку, якщо потрібно кілька виборів, і в цьому випадку ви можете сортувати (дорого) один раз, а потім повторно вибирати зі списку відсортованих.

Посилання на геометричну серединну задачу згадує рішення для багатовимірних випадків.

— Geoff Oxberry
джерело

6

The explicit solution in terms of the median is correct, but in response to a comment by mayenew, here's another approach.

It is well-known that $\ell^1$ minimization problems generally, and the posted problem in particular, can be solved by linear programming.

The following LP formulation will do for the given exercise with unknowns $z_i,m$ :

m i n \sum z_{i}

$min \sum z_i$ such that:

z_{i} \geq m - x_{i}

$z_i \ge m - x_i$

z_{i} \geq x_{i} - m

$z_i \ge x_i - m$

Clearly $z_i$ must equal $|x_i - m|$ at the minimum, so this asks the sum of absolute values of errors to be minimized.

— hardmath
джерело

2

The over-powered convex analysis way to show this is just take subgradients. In fact this is equivalent to the reasoning used in some of the other answers involving slopes.

The optimization problem is convex (because the objective is convex and there are no constraints.) Also, the subgradient of $\left|m-x_i\right|$ is

-1 if $m<x_i$

[-1,1] if $m=x_i$

+1 if $m>x_i$ .

Since a convex function is minimized if and only if it's subgradient contains zero, and the subgradient of a sum of convex functions is the (set) sum of the subgradients, you get that 0 is in the subgradient if and only if $m$ is the median of $x_1,\ldots x_k$ .

— cjordan1
джерело

0

We're basically after:

\arg min_{m} \sum_{i = 1}^{N} | m - x_{i} |

$\arg \min_{m} \sum_{i = 1}^{N} \left| m - {x}_{i} \right|$

One should notice that $\frac{\mathrm{d} \left | x \right | }{\mathrm{d} x} = \operatorname{sign} \left( x \right)$ (Being more rigorous would say it is a Sub Gradient of the non smooth ${L}_{1}$ Norm function).
Hence, deriving the sum above yields $\sum_{i = 1}^{N} \operatorname{sign} \left( m - {x}_{i} \right)$ .
This equals to zero only when the number of positive items equals the number of negative which happens when $m = \operatorname{median} \left\{ {x}_{1}, {x}_{2}, \cdots, {x}_{N} \right\}$ .

One should notice that the median of a discrete group is not uniquely defined.
Moreover, it is not necessarily an item within the group.

— Royi
джерело