Чому втрата норми L2 має унікальне рішення, а втрата норми L1, можливо, має декілька рішень?

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/

Якщо ви подивитеся на верхню частину цього повідомлення, письменник зазначає, що норма L2 має унікальне рішення, а норма L1, можливо, має багато рішень. Я розумію це з точки зору регуляризації, але не з точки зору використання норми L1 або норми L2 у функції втрат.

Якщо ви подивитеся на графіки функцій скалярного x (x ^ 2 та | x |), ви можете легко побачити, як обидва мають одне унікальне рішення.

Розглянемо одновимірну задачу для найпростішого можливого експозиції. (Корпуси вищих розмірів мають подібні властивості.)

Поки обидва $|x-\mu|$і $(x-\mu)^2$ мають унікальний мінімум, $\sum_i |x_i-\mu|$(сума функцій абсолютного значення з різними x-компенсаціями) часто не відбувається. Розглянемо $x_1=1$ і $x_2=3$ :

(Зверніть увагу, незважаючи на мітку на осі x, це дійсно функція $\mu$ ; я повинен був би змінити мітку, але я просто залишу її як є)

У більш високих розмірах ви можете отримати області постійного мінімуму з $L_1$ -норою. Там приклад в разі установки ліній тут .

$\sum_i (x_i-\mu)^2 = n(\bar{x}-\mu)^2+k(\mathbf{x})$

$L_1$

Оскільки (за винятком конкретних обставин) у вас зазвичай немає такої гарантії жодних сильно впливових спостережень, я б не назвав регресію L1 надійною.

R код сюжету:

 fi <- function(x,i=0) abs(x-i)
 f <- function(x) fi(x,1)+fi(x,3)
 plot(f,-1,5,ylim=c(0,6),col="blue",lwd=2)
 curve(fi(x,1),-1,5,lty=3,col="dimgrey",add=TRUE)
 curve(fi(x,3),-1,5,lty=3,col="dimgrey",add=TRUE)

Мінімізація втрат L2 відповідає розрахунку середнього арифметичного, що є однозначним, тоді як мінімізація втрат L1 відповідає обчисленню медіани, що є неоднозначним, якщо в серединний розрахунок включена парна кількість елементів (див. Центральна тенденція: Рішення варіаційних задач ).