Програмний пакет для вирішення лінійної регресії норми L-нескінченності

Чи є пакет програм для вирішення лінійної регресії з метою мінімізації норми L-нескінченності.

Коротка відповідь : Ваша проблема може бути сформульована як лінійна програма (LP), залишаючи вам вибрати свій улюблений вирішувач LP для виконання завдання. Щоб побачити, як написати проблему як LP, читайте далі.

Цю проблему мінімізації часто називають наближенням Чебишева .

Нехай , з рядком позначається та . Тоді ми прагнемо мінімізувати функцію щодо . Позначимо оптимальне значення $\newcommand{\y}{\mathbf{y}}\newcommand{\X}{\mathbf{X}}\newcommand{\x}{\mathbf{x}}\newcommand{\b}{\mathbf{\beta}}\newcommand{\reals}{\mathbb{R}}\newcommand{\ones}{\mathbf{1}_n} \y = (y_i) \in \reals^n$$\X \in \reals^{n \times p}$$i$$\x_i$$\b \in \reals^p$β f ⋆ = f ( β ⋆ ) = inf { f ( β ) : β ∈ R p$f(\b) = \|\y - \X \b\|_\infty$$\b$

$$f^\star = f(\b^\star) = \inf \{f(\b): \b \in \reals^p \} \>.$$

Ключовим фактором для переробки цього формату LP є переписання проблеми у формі епіграфа . Переконати себе не важко, що насправді

$$f^\star = \inf\{t: f(\b) \leq t, \;t \in \reals, \;\b \in \reals^p \} \> .$$

Тепер, використовуючи визначення функції , ми можемо переписати праву частину вище як і тому ми бачимо, що мінімізація норми в налаштуваннях регресії еквівалентна LP де проводиться оптимізація над , і позначають вектор довжини . Я залишаю це (легке) вправу для читача, щоб переробити вищезгаданий LP у стандартній формі.f ⋆ = inf { t : - t ≤ y i - x i β ≤ t $f$ℓ ∞ мінімізувати t за умови y - X β ≤ t 1

$$f^\star = \inf\{t: -t \leq y_i - \x_i \b \leq t, \;t \in \reals, \;\b \in \reals^p,\; 1 \leq i \leq n \} \>,$$ $\ell_\infty$ $$\begin{array}{ll} \text{minimize} & t \\ \text{subject to} & \y-\X \b \leq t\ones \\ & \y - \X \b \geq - t \ones \>, \\ \end{array}$$ $(\b, t)$$\ones$$n$

Зв'язок з версією (загальна варіація) лінійної регресії$\ell_1$

Цікаво зазначити, що щось дуже схоже можна зробити за допомогою норми . Нехай . Потім подібні аргументи призводять до висновку, що щоб відповідний LP був $\ell_1$$g(\b) = \|\y - \X \b \|_1$мінімізуйте t T 1 n за умови у - X β ≤

$$\newcommand{\t}{\mathbf{t}} g^\star = \inf\{\t^T \ones : -t_i \leq y_i - \x_i \b \leq t_i, \;\t = (t_i) \in \reals^n, \;\b \in \reals^p,\; 1 \leq i \leq n \} \>,$$ $$\begin{array}{ll} \text{minimize} & \t^T \ones \\ \text{subject to} & \y-\X \b \leq \t \\ & \y - \X \b \geq - \t \>. \\ \end{array}$$

Зауважимо тут, що тепер вектор довжини замість скаляра, як це було у випадку . n ℓ $\t$$n$$\ell_\infty$

Подібність у цих двох проблемах та те, що вони можуть бути представлені як LP, - це, звичайно, не випадково. Дві норми пов'язані тим, що вони є подвійними нормами один одного.

Малаб може це зробити, використовуючи cvx. щоб отримати cvx (безкоштовно):

http://cvxr.com/cvx/download/

У cvx ви б написали це так:

cvx_begin
   variable x(n);
   minimize( norm(A*x-b,Inf) );
cvx_end

(Перевірте приклад на сторінці 12 посібника )

Існує реалізація CVX ( тут ) Python, але команди трохи відрізняються ...

@ відповідь кардинала чітко викладена і була прийнята, але, щоб повністю закрити цю тему, я запропоную наступне: Числові бібліотеки IMSL містять процедуру виконання регресії норми L-нескінченності. Програма доступна у Fortran, C, Java, C # та Python. Я використовував версії C і Python, для яких метод називається lnorm_regression, який також підтримує загальну -norm регресію, . p > = $L_p$$p >= 1$

Зауважте, що це комерційні бібліотеки, але версії Python безкоштовні (як у пиві) для некомерційного використання.