Інтуїтивно зрозумілий / неформальний доказ для подвійності LP?

Що може бути хорошим неофіційним / інтуїтивним доказом для того, щоб "вдарити до дому" про подвійність LP? Як найкраще показати, що мінімізована цільова функція дійсно є мінімумом з інтуїтивним способом розуміння пов'язаного?

Те, як мене навчали «Подвійності», призвело лише до одного розуміння, яке, я впевнений, поділяє багато людей, яких я знаю: Для кожної відповідної проблеми мінімізації існує еквівалентна проблема максимізації, яку можна отримати шляхом інвертування обмежень нерівності. Період. Цей "висновок" подвійності - це те, що, здається, тримається, але не "чому це так" (тобто як / чому існує обмеження на оптимальне рішення).

Чи є спосіб гри з нерівностями просто "показати" нижню / верхню межу оптимуму, що може бути мотивацією для доказу?

Я переглянув книгу Чватала, а також декілька інших, але не знайшов нічого, що могло б зрозуміти абсолютним нобі на LP. Найближче до мене було з книги Вазірані про алгоритми, де він говорить про «множення нерівностей на деякі магічні числа, які показують межу» - я не впевнений, як відтворити ефект для довільного LP.

linear-programming primal-dual

— Кандидат наук
джерело

У цій відповіді math.SE я переглядаю покроковий приклад того, звідки походить дуал - і чому - для проблеми, яка має більшість різних можливостей, які можуть виникнути з LP. Можливо, це може допомогти?

— Майк Співі

Не впевнений, чому ви вважаєте, що аргумент Вазірані не працює для загального LP. Особисто мені найкраще подобається це пояснення.

— Суреш Венкат

Ви питаєте про слабку подвійність чи про сильну подвійність?

— Цуйосі Іто

Ви можете отримати геометричну інтуїцію, візуалізуючи (у 2d, скажімо), що означає приймати лінійну комбінацію обмежень. Наприклад, намалюйте обмеження і в площині. Лінійні комбінації цих обмежень дають вам для будь-якого . Намалюйте це, щоб побачити це. Як правило, лінійна комбінація обмежень дає вам опорні напівпростори багатогранників. А тепер запитайте, чому одного із таких опорних проміжків завжди достатньо, щоб самому задати вартість? Якщо ви це бачите, це сильна подвійність.

x \leq 1

$x \le 1$

y \leq 1

$y \le 1$

a x + b y \leq a + b

$ax + by \le a + b$

a, b \geq 0

$a,b \ge 0$

— Ніл Янг

@MikeSpivey - Я хочу, щоб ваш коментар був відповіддю :)

— Кандидат наук

Відповіді:

За бажанням ОП, ось відповідь math.SE, на яку я посилаюсь у своєму коментарі вище.

Можливо, варто поговорити, звідки походить дуал на прикладі проблеми. Це займе певний час, але, сподіваємось, дуал не здасться настільки загадковим, коли ми закінчимо.

Припустимо, з первісною проблемою є наступне.

П r i м а л = {\begin{matrix} макс 5 х_{1} - 6 х_{2} \\ с . т . 2 х_{1} - х_{2} = 1 \\ х_{1} + 3 х_{2} \leq 9 \\ х_{1} \geq 0 \end{matrix}}

$Primal =\begin{Bmatrix} \max \ \ \ \ 5x_1 - 6x_2 \\ \ \ \ s.t. \ \ \ \ 2x_1 -x_2 = 1\\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ x_1 +3x_2 \leq9\\ \ \ \ \ x_1 \geq 0\\ \end{Bmatrix}$

Тепер, припустимо, ми хочемо використати обмеження примату як спосіб знайти верхню межу оптимального значення прима. Якщо помножити перше обмеження на , друге обмеження на , і скласти їх разом, отримаємо для лівої сторони та для правого боку. Оскільки перше обмеження - це рівність, а друге - нерівність, то це означає Але оскільки , то також вірно, що , і так Отже, є верхньою межею щодо оптимального значення первинної задачі.

9

$9$

1

$1$

9 (2 x_{1} - x_{2}) + 1 (x_{1} + 3 x_{2})

$9(2x_1 - x_2) + 1(x_1 +3 x_2)$

9 (1) + 1 (9)

$9(1) + 1(9)$

19 x_{1} - 6 x_{2} \leq 18.

$19x_1 - 6x_2 \leq 18.$

x_{1} \geq 0

$x_1 \geq 0$

5 x_{1} \leq 19 x_{1}

$5x_1 \leq 19x_1$

5 x_{1} - 6 x_{2} \leq 19 x_{1} - 6 x_{2} \leq 18.

$5x_1 - 6x_2 \leq 19x_1 - 6x_2 \leq 18.$

18

$18$

Звичайно, ми можемо зробити і краще, ніж це. Замість того, щоб просто вгадувати і як множники, давайте нехай вони будуть змінними. Таким чином, ми шукаємо множників і щоб змусити $9$ $1$ $y_1$ $y_2$

5 x_{1} - 6 x_{2} \leq y_{1} (2 x_{1} - x_{2}) + y_{2} (x_{1} + 3 x_{2}) \leq y_{1} (1) + y_{2} (9) .

$5x_1 - 6x_2 \leq y_1(2x_1-x_2) + y_2(x_1 + 3x_2) \leq y_1(1) + y_2(9).$

Тепер, щоб ця пара нерівностей була дотримана, що має бути правдою щодо та ? Візьмемо по черзі дві нерівності. $y_1$ $y_2$

Перша нерівність : $5x_1 - 6x_2 \leq y_1(2x_1-x_2) + y_2(x_1 + 3x_2)$

Ми повинні відстежувати коефіцієнти змінних та окремо. По-перше, нам потрібен загальний коефіцієнт праворуч, принаймні, . Отримати точно було б чудово, але оскільки , все, що перевищує , також задовольнило б нерівність для . Математично кажучи, це означає, що нам потрібно . $x_1$ $x_2$ $x_1$ $5$ $5$ $x_1 \geq 0$ $5$ $x_1$ $2y_1 + y_2 \geq 5$

З іншого боку, для забезпечення нерівності для змінної нам потрібен загальний коефіцієнт в правій частині дорівнює . Оскільки може бути позитивним, ми не можемо опуститись нижче ніж , а оскільки може бути негативним, ми не можемо піднятись вище (оскільки від'ємне значення для переверне напрямок нерівності). Отже, для першої нерівності, яка працює для змінної , нам доведеться мати . $x_2$ $x_2$ $-6$ $x_2$ $-6$ $x_2$ $-6$ $x_2$ $x_2$ $-y_1 + 3y_2 = -6$

Друга нерівність :

y_{1} (2 x_{1} - x_{2}) + y_{2} (x_{1} + 3 x_{2}) \leq y_{1} (1) + y_{2} (9)

$y_1(2x_1-x_2) + y_2(x_1 + 3x_2) \leq y_1(1) + y_2(9)$

Тут ми повинні відслідковувати змінні та окремо. У змінні відбуваються з першого обмеження, що є стримуючим фактором рівності. Не має значення, якщо є позитивним чи негативним, обмеження рівності все ще виконується. Таким чином, не обмежений у знаку. Однак змінна походить від другого обмеження, яке є меншим або рівним обмеженням. Якби ми помножили друге обмеження на від’ємне число, яке переверне його напрямок і змінить його на обмеження, що перевищує або рівне. Щоб дотримуватися нашої мети - верхньої межі первинної мети, ми не можемо цього дозволити. Отже, $y_1$ $y_2$ $y_1$ $y_1$ $y_1$ $y_2$ $y_2$ змінна не може бути негативною. Таким чином, у нас повинно бути . $y_2 \geq 0$

Нарешті, ми хочемо зробити праву частину другої нерівності якомога меншою, оскільки ми хочемо максимально жорсткої верхньої межі щодо первинної мети. Таким чином, ми хочемо мінімізувати . $y_1 + 9y_2$

Поклавши всі ці обмеження на та разом, ми виявимо, що проблема використання обмежень прималу для пошуку найкращої верхньої межі оптимальної первинної мети тягне за собою вирішення наступної лінійної програми: $y_1$ $y_2$

\begin{aligned} Мінімізуйте у_{1} + 9 у_{2} \\ на тему 2 у_{1} + у_{2} & \geq 5 \\ - у_{1} + 3 у_{2} & = - 6 \\ у_{2} & \geq 0. \end{aligned}

$\begin{align*} \text{Minimize }\:\:\:\:\: y_1 + 9y_2& \\ \text{subject to }\:\:\:\:\: 2y_1 + y_2& \geq 5 \\ -y_1 + 3y_2& = -6\\ y_2 & \geq 0. \end{align*}$

І це подвійне.

Напевно, варто узагальнити наслідки цього аргументу для всіх можливих форм первинного та подвійного. Наступна таблиця взята із с. 214 Введення в експлуатаційні дослідження , 8-е видання, Гільєр та Ліберман. Вони посилаються на це як на метод SOB, де SOB розшифровується як Senzible, Odd або Bizarre, залежно від того, наскільки вірогідним виявиться таке обмеження чи змінне обмеження в проблемі максимізації чи мінімізації.

             Primal Problem                           Dual Problem
             (or Dual Problem)                        (or Primal Problem)

             Maximization                             Minimization

Sensible     <= constraint            paired with     nonnegative variable
Odd          =  constraint            paired with     unconstrained variable
Bizarre      >= constraint            paired with     nonpositive variable

Sensible     nonnegative variable     paired with     >= constraint
Odd          unconstrained variable   paired with     = constraint
Bizarre      nonpositive variable     paired with     <= constraint

— Майк Співі
джерело

Розвиваючи відповідь Майка та коментар Вазірані, ви отримуєте дуал, розглядаючи загальну форму доказу оптимальності для вирішення вихідної проблеми. Припустимо, у вас є проблема максимізації, враховуючи деякі лінійні нерівності, і без втрати спільності припустимо, що ви намагаєтеся максимізувати змінну . Давши рішення, в якому , як ми можемо знати, що це оптимально? Один із способів полягає в тому, щоб спробувати встановити обмеження на , взявши лінійні комбінації лінійних нерівностей. Деякі лінійні комбінації дають вам оцінку виду , і ви намагаєтеся отримати кращий (мінімальний) можливо. Слабка подвійність стверджує, що $x$ $x = B$ $x$ $x \leq C$ $C$ $B \leq \min C$ , що очевидно за визначенням. Сильні держави подвійності , що , коли конечна, то . Це означає, що якщо максимум то є "причина", що ви не можете вийти за межі , що подвоюється як доказ оптимальності. $B$ $B = \min C$ $B$ $B$

$f$ $f$ $S,O$ $f(S) \geq (1-1/e) f(O)$ $f$ $f$ $f(O) = 1$ $f(S)$ $\min f(S) = 1-1/e$ $1-1/e$ $f(S) \geq 1-1/e$

Це залишає відкритим питання про те, чому насправді сильна подвійність. Існує два докази цього факту для лінійного програмування, одне за участю симплексного алгоритму, а інше лекцію Фаркаса. Лема Фаркаса - це, мабуть, "правильний" спосіб зрозуміти ситуацію, зводивши все до якогось інтуїтивного геометричного факту. Однак, зізнаюся, ця інтуїція перевертає мою голову.

У більш загальних ситуаціях (скажімо, напіввизначене програмування) вам потрібно використовувати більш загальні умови Каруша-Куна-Таккера (форма множників Лагранжа), щоб отримати подвійність та умови для сильної подвійності. Це розглядається в текстах про нелінійну або опуклу оптимізацію.

— Юваль Фільм
джерело