Приклади іграшок для розв'язувачів Плоткін-Шмойс-Тардос та Арора-Кале

Мені хотілося б зрозуміти, як вирішувач SDP Arora-Kale наближає релаксацію Гомена-Вільямсона майже в лінійний час, як розв'язувач Плоткін-Шмойс-Тардос наближає дробові проблеми "упаковки" та "покриття" за майже лінійний час та як алгоритми є мотивами абстрактної рамки "навчання у експертів".

Дисертація Кейла має чудову презентацію, але мені дуже важко безпосередньо перейти до абстрактних рамок, і я вважаю за краще почати з прикладу простої проблеми, для якої абсолютно очевидно, що робити, а потім перейти до більш загальних проблем , поступово додаючи "функції" до алгоритму та його аналізу.

Наприклад:

Як Плоткін-Шмойс вирішує лінійне розслаблення програмованого невагомого вершинного покриву? Обважена вершинна кришка? Встановити кришку? Біпартітове узгодження?

Який найпростіший приклад, коли алгоритм Арора-Кале робить щось цікаве? Як обчислюється найбільше власне значення лаплаціанського графіка?

(Обчислення найбільшого власного значення лаплаціанського еквівалента проблемі розв'язання слабшої версії релаксації Гемана-Вільямсона SDP Макса Різа, в якій замість того, щоб вимагати, щоб кожен вектор був довжиною один, потрібно суму квадратів норм бути | V |.)

— Лука Тревісан
джерело

Це приємне запитання.

— Суреш Венкат

Для розуміння алгоритмів стилю PST для проблем упаковки добре переглянути алгоритми для приблизно вирішення задачі потоку багатокомпонентності, звідки PST розвинувся. У роботі Ніла Янга детально описана обкладинка. Ihttp: //www.cs.ucr.edu/~neal/non_arxiv/SODA_1995_170.pdf. Я вважав, що опитування Арори-Кале-Хазан також робить чіткий зв'язок між експертними рамками та вирішенням упаковки / покриття.

— Чандра Чекурі

@ChandraChekuri: Це доволі затягнуто, але мені цікаво, чи варто на це відповісти?

— Суреш Венкат

FWIW, про деякі замітки, що розширюються на згаданому документі SODA @ChandraChekuri, див. Greedyalgs.info/blog/about .

— Ніл Янг

Оновлено посилання: algnotes.info/on/obliv

— Ніл Янг

Лука, оскільки минув рік, ти, мабуть, вивчив власну відповідь. Я відповідаю на деякі ваші запитання тут лише для запису. Я переглядаю деякі алгоритми релаксації Лагрангія для проблем, про які ви згадуєте, і нарисую зв’язок із навчанням (зокрема, дотримуючись поради експертів). Я не коментую тут алгоритми SDP.

Зауважте, що конкретні алгоритми, які ви згадуєте, не працюють майже в лінійний час. (Існує майже лінійний часовий алгоритм для явно заданих проблем з упаковкою або покриттям. Див. « Побиття симплекса» для дробової упаковки та покриття лінійних програм .) У алгоритмів, які ви маєте на увазі, зазвичай є варіанти, які виконуються з майже лінійною кількістю ітерацій , але кожен ітерація, як правило, вимагає принаймні лінійного часу. Деякі з цих алгоритмів я обговорюю нижче.

Деякі корисні функції

$y$ $\mbox{Lmax}(y)$ $\ln \sum_i \exp(y_i)$ $\max_i y_i$

max_{i} y_{i} \leq Lmax (y) \leq max_{i} y_{i} + \ln m .

$\max_i y_i ~\le~ \mbox{Lmax}(y) ~\le~ \max_i y_i + \ln m.$

Lmin (y)

$\mbox{Lmin}(y)$

- Lmax (- y)

$-\mbox{Lmax}(-y)$

min_{i} y_{i}

$\min_i y_i$

Для зручності у подальшому ми використовуємо для позначення градієнта Lmin. Ми використовуємо для позначення градієнта Lmax. $g(y)$ $\nabla \mbox{Lmin}(y)$ $G(y)$ $\nabla \mbox{Lmax}(y)$

Явно є тоді як - . $g_i(y)$ $\exp(-y_i)/\sum_{i'} \exp(-y_{i'})$ $G_i(y)$ $\exp(y_i)/\sum_{i'} \exp(y_{i'})$

Lmin і Lmax є гладкими в наступному значенні: для будь-яких векторів і , і $d\in[0,\varepsilon]^n$ $y\in R^n$

Lmin (y + d) \geq Lmin (y) + (1 - O (ε)) d \cdot g (y)

$\mbox{Lmin}(y+d) ~\ge~ \mbox{Lmin}(y) ~+~ (1-O(\varepsilon))\, d \cdot g(y)$

Lmax (y + d) \leq Lmax (y) + (1 + O (ε)) d \cdot G (y) .

$\mbox{Lmax}(y+d) ~\le~ \mbox{Lmax}(y) ~+~ (1+O(\varepsilon))\, d \cdot G(y).$

Зауважимо, що обидва градієнта мають 1-норму, рівну 1: . (Протягом усього часу ми використовуємо для позначення 1-норми.) $|G(y)| = |g(y)| = 1$ $|z|$

Зауважимо також, що для матриці градієнт функції щодо дорівнює (за ланцюговим правилом) . Більш чітко, часткова похідна функції відносно є . Так само часткова похідна Lmax відносно є . $A$ $x\mapsto \mbox{Lmin}(Ax)$ $x$ $(g(Ax))^T A$ $x_j$ $\sum_i A_{ij} \exp(-A_i x) / \sum_i \exp(-A_i x)$ $(Ax)$ $x_j$ $\sum_i A_{ij} \exp(A_i x)/\sum_i \exp(A_i x)$

Обкладинка дробового набору

Виправити екземпляр Set-Cover. Нехай позначає матрицю падіння елемента / множини. Таким чином, якщо , інакше 0, а - те, наскільки дробова кришка охоплює елемент . $A$ $A_{es} = 1$ $e\in s$ $A_e x$ $x$ $e$

LP - . Дано , алгоритм є $\min\{ |x| : A x \ge 1; x \ge 0\}$ $\varepsilon\in (0,1)$

Ініціалізуйте всі . Нехай . $x_s = 0$ $N=\log(n)/\varepsilon$
Повторюйте, поки : $\min_e A_e x \ge N$

2.1. Виберіть максимізацію часткової похідної Lmin wrt . (Явно виберіть максимізацію .) $s$ $(Ax)$ $x_s$
$s$ $\sum_{e\in s} \exp(-\sum_{s'\ni e} x_{s'})$

2.2. Збільшити на . $x_s$ $\varepsilon$
Повернення . $x/\min_{e} A_e x$

Алгоритм повертає приблизне рішення в ітераціях , де - кількість елементів, а - оптимальне дробова кришка набору (тривіально ). (Аналогічний алгоритм з'являється у згаданому документі Чандра . Вершина Обкладинка, звичайно, є окремим випадком.) $(1+O(\varepsilon))$ $O(|x^*|\log(n)/\varepsilon^2)$ $n$ $x^*$ $|x^*|\le n$

( Зауваження: Зауважте, що обмежена ітерація не залежить від кількості наборів, а лише від кількості елементів. Таким чином, алгоритм може використовуватися з неявно визначеною системою множин, якщо, зважаючи на ваги на елементи, можна ефективно знайдіть набір максимальної (або майже максимальної) загальної ваги. Цей вид оракула такий же, як оракул розділення, необхідний для застосування алгоритму еліпсоїдів до подвійної проблеми. Для проблем з упаковкою, таких як встановлення упаковки, вам потрібен оракул, який, якщо задано вагу на елементи, повертає набір, мінімізуючи загальну вагу. Для таких проблем, як багатотоварний потік, можливо, вам, наприклад, знадобиться знайти шлях, що мінімізує суму деяких заданих вагових ваг.)

Ось ескіз доказу гарантії виконання. У кожній ітерації часткова похідна wrt вибраного становить щонайменше, де - оптимальна дробова кришка множин. $s$ $1/|x^*|$ $x^*$

(Щоб зрозуміти, чому, нагадаємо, що градієнт Lmin по відношенню до дорівнює . Якби ми вибрали безліч випадків з розподілу , очікуване значення часткової похідної відносно таким чином буде . Оскільки , це є щонайменше . Оскільки , це принаймні . Таким чином, повинні існувати деякі дають часткову похідну принаймні . Оскільки алгоритм вибирає $(Ax)$ $x$ $(g(Ax))^T A$ $s'$ $x^*/|x^*|$ $x_{s'}$ $(g(Ax))^T \,A x^*/|x^*|$ $Ax^* \ge 1$ $|g(Ax)|/|x^*|$ $|g(Ax)|=1$ $1/|x^*|$ $s$ $1/|x^*|$ $x_s$ у кожній ітерації для максимізації часткової похідної вона досягає часткової похідної принаймні.) $1/|x^*|$

Тоді розмір кроку вибирається досить малим, щоб жодна координата збільшувалася більш ніж . Таким чином, через гладкість Lmin збільшення до збільшується принаймні . $\varepsilon$ $A x$ $\varepsilon$ $x_s$ $x_s+\varepsilon$ $\mbox{Lmin}(Ax)$ $(1-O(\varepsilon))\varepsilon/|x^*|$

Таким чином алгоритм підтримує інваріант (Зверніть увагу, що Lmin дорівнює .)

Lmin (A x) \geq (1 - O (ε)) | x | / | x^{*} | - \ln n .

$\mbox{Lmin}(Ax) \ge (1-O(\varepsilon)) |x|/|x^*| - \ln n.$

(\bar{0})

$(\overline 0)$

\ln n

$\ln n$

При закінченні, в інваріанті, термін дорівнює разів ліворуч, тому при обчисленні виходить. Після нормалізації в останньому рядку алгоритму це означає. $\ln n$ $O(\varepsilon)$ $\min_e A_e x \ge (1-O(\varepsilon)) |x|/|x^*|$ $|x| \le (1+O(\varepsilon))|x^*|$

FWIW, нерівності, що беруть участь у доведенні інваріанта, по суті такі ж, як і ті, що брали участь у доведенні межі Черноффа. (Насправді цей алгоритм можна отримати, застосовуючи метод умовних ймовірностей до схеми рандомізованого округлення, яка багаторазово вибирає набори з розподілу (із заміною), збільшуючи для кожного вибіркового набору Ця дерандомізація цього дає алгоритм: інваріант, що лежить в основі, полягає лише в тому, що песимістичний оцінювач залишається нижче 1. Експоненціальні покарання в песимістичному оцінці випливають із використання межі Черноффа в аналізі схеми округлення. Ця основна ідея пояснюється далі. у згаданому документі Чандра .) $x^*/|x^*|$ $x_s$ $s$

Фракційна вагова кришка (і загальне дробове покриття)

Щоб впоратися з такими проблемами, як зважена Set Cover ефективна , ми модифікуємо алгоритм використовувати нерівномірні збільшення (ідею з - за Garg і KÖNEMANN ).

LP - це , де діапазони за елементами, діапазони над множинами, а всі змінні не є -негативні. Щоб представити алгоритм, спочатку перепишіть проблему як загальну проблему, що охоплює. Нехай для а іншому випадку. Тоді (зі зміною змінних, масштабуванням кожного на ), LP є , що ми можемо розглядати як загальне покриття LP. Ось алгоритм: $\min\{ c\cdot x : (\forall e) \sum_{s\ni e} x_s \ge 1\}$ $e$ $s$ $A_{es} = 1/c_s$ $e\in s$ $A_{es} = 0$ $x_s$ $c_s$ $\min\{ |x| : A x \ge 1; x \ge 0\}$

Ініціалізуйте всі . Нехай . $x_s = 0$ $N=\log(n)/\varepsilon$
Повторюйте, поки не будуть видалені всі обмеження, що охоплюють:

2.1. Виберіть максимізацію часткової похідної Lmin wrt . (Явно виберіть максимізацію .) $s$ $(Ax)$ $x_s$
$s$ $\sum_{e\in s} \exp({-\sum_{s'\ni e} x_{s'}})/c_s$

2.2. Збільшити на , де вибирається максимально таким чином, що для кожного обмежуючого покриття збільшення становить щонайбільше . $x_s$ $\delta$ $\delta$ $e$ $A_e \cdot x$ $\varepsilon$

2.3 Видалити всі обмеження , що охоплюють таке , що . $e$ $A_e\cdot x \ge N$
Повернення . $x/\min_e A_e\cdot x$

Алгоритм повертає -приближене рішення в ітераціях , де - кількість охоплюючих обмежень. (Кожна ітерація збільшує деякий на ; це може статися лише разів до обмеження, перш ніж воно буде видалено.) Доказ коректності по суті є тим же інваріантом, що і для Set Cover. $(1+O(\varepsilon))$ $O(n\log(n)/\varepsilon^2)$ $n$ $A_e x$ $\varepsilon$ $N/\varepsilon$

Обважена вершинна кришка - це особливий випадок.

Максимальне часткове співпадіння біпаритів

Враховуючи графік , природним LP для задачі є . $G=(U,W,E)$ $\max\{|x| : \forall v.\, \sum_{e\ni v} x_e \le 1\}$

У матричному поданні це упаковка LP з коефіцієнтами 0-1 ( якщо ). Такі проблеми не потребують нерівномірних приростів, тому простий алгоритм, аналогічний незваженому алгоритму Set Cover (але для упаковки), виконає: $\max\{|x| : Ax \le 1; x \ge 0\}$ $A_{ve} = 1$ $v\in e$

Ініціалізуйте всі . Нехай . $x_e = 0$ $N=\log(n)/\varepsilon$
Тоді як : $A x < N$

2.1. Виберіть мінімізацію часткової похідної Lmax wrt . (Явно виберіть щоб мінімізувати .) $e$ $(Ax)$ $x_e$
$e$ $\sum_{v\in e} \exp(\sum_{e'\ni v} x_{e'})$

2.2. Збільшити на . $x_e$ $\varepsilon$
Повернення . $x/\max_{v} A_v x$

Алгоритм повертає -приближене рішення в ітераціях . (Це тому, що кожна ітерація збільшується на , і, нарешті, перед нормалізацією, .) $(1-O(\varepsilon))$ $O(n\log(n)/\varepsilon^2)$ $|x|$ $\varepsilon$ $|x| = O(N n)$

Просто для розваги, ось цікавий альтернативний алгоритм для ідеального співпадіння біпаритів. Нагадаємо, що . Нехай. $G=(U,W,E)$ $n=|U|=|W|$

Ініціалізуйте всі . Нехай . $x_e = 0$ $N=4\ln(n)/\varepsilon$
Повторіть разів: $n\,N$

2.1. Виберіть рівномірно у випадковому порядку з . 2.2. Виберіть таке, що мінімізація . 2.3. Збільшити на . $u$ $U$
$w$ $(u,w)\in E$ $\sum_{e\ni w} x_e$
$x_{uw}$ $\varepsilon$
Повернення . $x/N$

Якщо має ідеальну відповідність, алгоритм повертає такий, що , і з великою ймовірністю для всіх вершин , , а для всіх вершин , . Якщо вас цікавлять деталі доказу, будь ласка, запитайте ... $G$ $x$ $|x|=n$ $u\in U$ $1-O(\varepsilon) \le \sum_{e\ni u} x_e \le 1+O(\varepsilon)$ $w\in W$ $\sum_{e\ni w} x_e \le 1+O(\varepsilon)$

Змішана упаковка та покриття

Можливо, ви запитали про двостороннє узгодження, сподіваючись на приклад змішаної проблеми з упаковкою та покриттям, тобто одна з форм Ось один алгоритм таких проблем. Спочатку нормалізуйте так, щоб і .

\exists x ? P x \leq p; C x \geq c; x \geq 0.

$\exists x?~ Px \le p; Cx \ge c; x \ge 0.$

p = \bar{1}

$p=\overline 1$

c = \bar{1}

$c=\overline 1$

Нехай - кількість обмежень (рядки в плюс рядки в ). $m$ $P$ $C$

Ініціалізуйте всі . Нехай . $x_j = 0$ $N=2\ln(m)/\varepsilon$
У той час як : $P x < N$

2.1. Виберіть так, щоб часткова похідна Lmax відносно була щонайбільше частковою похідною Lmin стосовно . (Явно виберіть такий, що $j$ $(Px)$ $x_j$ $(Cx)$ $x_j$ $j$
$\frac{\sum_{i} P_{i j} \exp (P_{i} x)}{\sum_{i} \exp (P_{i} x)} \leq \frac{\sum_{i} C_{i j} \exp (- C_{i} x)}{\sum_{i} \exp (- C_{i} x)} .)$ $\frac{\sum_i P_{ij} \exp(P_i x)}{\sum_{i}\exp(P_i x)} \le \frac{\sum_i C_{ij} \exp(-C_i x)}{\sum_{i}\exp(-C_i x)}.)$

2.2. Збільшити на , де вибрано максимально таким чином, що жодне обмеження або залишкове обмеження збільшується більш ніж на . $x_j$ $\delta$ $\delta$ $P_i x$ $C_i x$ $\varepsilon$

2.3. Видалити всі обмеження , що охоплюють , такі , що . $i$ $C_i x \ge N$
Повернення . $x/\max_i P_i x$

Якщо припустити, що дана проблема є здійсненною, алгоритм повертає такий, що і . Кількість ітерацій - , оскільки кожна ітерація збільшує деяке обмеження на , і це може статися для кожного обмеження не більше разів. $x$ $Px\le 1$ $Cx\ge 1-O(\varepsilon)$ $O(m\ln(m)/\varepsilon^2)$ $\varepsilon$ $N$

Доказ коректності - через інваріант З інваріанта випливає Після закінчення лівий бік - , що підтверджує гарантію виконання.

Lmax (P x) \leq 2 \ln (m) + (1 + O (ε)) Lmin (C x) .

$\mbox{Lmax}(Px) \le 2\ln(m) + (1+O(\varepsilon)) \mbox{Lmin}(Cx).$

max P x \leq 2 \ln (m) + (1 + O (ε)) min C x .

$\max Px \le 2\ln(m) + (1+O(\varepsilon)) \min Cx.$

Ω (\log (m) / ε)

$\Omega(\log(m)/\varepsilon)$

На кроці 2.1 бажане повинно існувати до тих пір, поки початкова проблема є можливою. (Це тому, що для будь-якого можливого та будь-якого , якби ми вибрали випадковий з розподілу , очікуване значення часткової похідної Lmax по відношенню до буде не більше (див. попередній ескіз доведення для Set Cover). Аналогічно, очікуване значення часткової похідної Lmin щодо було б принаймні . Таким чином, існує $j$ $x^*$ $x$ $j'$ $x^*/|x^*|$ $(Px)$ $x_{j'}$ $1/|x^*|$ $(Cx)$ $x_{j'}$ $1/|x^*|$ $j$ таким чином, що часткова похідна Lmax щодо є щонайбільше частковою похідною Lmin .) $(Px)$ $x_{j'}$ $(Cx)$

Тоді інваріант підтримується в кожній ітерації, оскільки, вибираючи і , і гладкість Lmin і Lmax, збільшення до збільшує Lmax максимум на рази більше ніж збільшення Lmin . $x_j$ $\delta$ $x_j$ $x_j+\delta$ $(Px)$ $1+O(\varepsilon)$ $(Cx)$

Навчання (наступні експерти / прискорення)

Одним із посилань для розуміння цього зв'язку є Адаптивна гра в ігри з використанням мультиплікативних ваг , від Freund та Schapire. Ось короткий підсумок, щоб дати технічну ідею.

Розглянемо наступну повторну гру. У кожному раунді : $t$

Ви вибираєте розподіл ймовірностей на ( так званих експертів ). $p^t$ $[n]$ $n$
Знаючи , противник вибирає вектор виплат . $p^t$ $a^t\in [0,1]^{n}$
Ви отримуєте виграш за раунд. $p^t\cdot a^t$

Гра припиняється після деякої кількості раундів. Ваша мета - звести до мінімуму своє жалю порівняно з будь-яким експертом (тобто чистою стратегією) . Тобто ваша мета - мінімізувати . $i$ $(\max_i \sum_t a^t_i) - \sum_t p^t\cdot a^t$

Виправте будь-який . Нехай вектор позначає , тобто перевищує векторну суму векторів виплат до часу . Нагадаємо, що - градієнт Lmax . $\varepsilon>0$ $y^t$ $\varepsilon \sum_{s \le t} a^s$ $\varepsilon$ $t$ $G(y)$ $(y)$

Ось основна стратегія, яку ми проаналізуємо: На круглому виберіть щоб бути . $t$ $p^t$ $G(y^{t-1})$

Перевіряючи, це дає виграш у круговому . $a^t \cdot G(y^{t-1})$ $t$

Через гладкості властивістю , Тобто, в кожному раунді не може збільшитися більше ніж на рази більше, ніж ваш окуп. Оскільки , це підтримує інваріант, що становить щонайбільше ваш загальний час окупності , плюс з іншого боку, ваше співчуття у порівнянні з кращим фахівцем. це , т $F$

Lmax (y^{t}) \leq Lmax (y^{t - 1}) + (1 + O (ε)) ε a^{t} \cdot G (y^{t - 1}) .

$\mbox{Lmax}(y^t) \le \mbox{Lmax}(y^{t-1}) + (1+O(\varepsilon)) \varepsilon a^t \cdot G(y^{t-1}).$

Lmax (y^{t})

$\mbox{Lmax}(y^t)$

ε (1 + O (ε))

$\varepsilon(1+O(\varepsilon))$

Lmax (\bar{0}) = \ln n

$\mbox{Lmax}(\overline 0) = \ln n$

Lmax (y^{t})

$\mbox{Lmax}(y^t)$

ε (1 + O (ε)

$\varepsilon(1+O(\varepsilon)$

\ln (n)

$\ln(n)$

i

$i$

max_{i} \sum_{t} a_{i}^{t}

$\max_i \sum_t a^t_i$

ε^{- 1} max_{i} y_{i}^{t}

$\varepsilon^{-1} \max_i y^t_i$

, що в свою чергу, щонайбільше .

ε^{- 1} Lmax (y^{t})

$\varepsilon^{-1} \mbox{Lmax}(y^t)$

Таким чином, ваш жаль, , плюс кращий від вашої загальної виплати. $\varepsilon^{-1} \ln(n)$ $O(\varepsilon)$

Зауваження: Я думаю, як зазначають Фроунд і Шапір, алгоритм "прискорення" (в теорії навчання) також мається на увазі в цьому аналізі. Детальнішу інформацію див. У їхньому документі.

Мінімізація загальної окупності

Ви можете отримати аналогічну стратегію для налаштування, де мета - мінімізувати , а не максимізувати, загальний окуп. Ваше жаль, яке ви все ще хочете звести до мінімуму, це . У цьому випадку відповідною стратегією є вибір для градієнта . З цією стратегією ваше жаління знову не більше плюс ніж ваша загальна виплата. $\sum_t p^t\cdot a^t - \min_i a^t_i$ $p^t$ $\mbox{Lmin}(y^t)$ $\varepsilon^{-1} \ln n$ $O(\varepsilon)$

Підключення до алгоритмів релаксації Лагрангія

Щоб побачити з'єднання з алгоритмами релаксації Lagrangian, виправте екземпляр Set-Cover. Розглянемо останній тип гри (з метою мінімізації окупності), де експерти відповідають елементам вашої набірної системи. У кожному раунді вибрати розподіл ймовірностей бути градієнтом Lmin , як описано вище, і має противник вибирати виграш вектора як функція наступним чином : вибирають набір максимізація , то нехай якщо , а іншому випадку. $e$ $p^t$ $(y^t)$ $a^t$ $p^t$ $s^t$ $\sum_{e\in s} p^t_e$ $a^t_e = 1$ $e\in s^t$ $a^t_e = 0$

Враховуючи правильну умову зупинки (обговорюється нижче), цей процес дає вам саме алгоритм Set-Cover, який обговорювався на початку.

Гарантія працездатності алгоритму випливає із пов'язаного з жалю наступним чином. Нехай бути скільки разів противник вибрав набір під час гри. Нехай - оптимальна дробова кришка множин. Нехайбути кількістю зіграних раундів. Зв'язане з жалем означає $X_s$ $s$ $x^*$ $T=|X_s|$

\sum_{t} a^{t} \cdot p^{t} \leq ε^{- 1} \ln (m) + min_{e} \sum_{t} a_{e}^{t} .

$\textstyle \sum_t a^t\cdot p^t \le \varepsilon^{-1}\ln(m) + \min_e \sum_t a_e^t.$

Використовуючи означення , й виграш ( й член у сумі зліва) дорівнює . Противник вибрав щоб мінімізувати цю виплату. Якщо противник замість цього вибрав випадковим чином з розподілу, очікування було б (Вище ми використовуємо, що для всіх , і ) Оскільки кожна виплата становить щонайменше $a^t$ $t$ $t$ $\sum_{e\in s^t} p^t_e$ $s^t$ $s^t$ $x^*/|x^*|$

\sum_{s} \frac{x_{s}^{*}}{| x^{*} |} \sum_{e \in s} p_{e}^{t} = \frac{1}{| x^{*} |} \sum_{e} p_{e}^{t} \sum_{s ∋ e} x_{s}^{*} \geq \frac{1}{| x^{*} |} \sum_{e} p_{e}^{t} = \frac{1}{| x^{*} |} .

$\sum_s \frac{x^*_s}{|x^*|} \sum_{e\in s} p^t_e ~=~ \frac{1}{|x^*|} \sum_e p^t_e \sum_{s\ni e} x^*_s ~\ge~ \frac{1}{|x^*|} \sum_e p^t_e ~=~ \frac{1}{|x^*|}.$

\sum_{s ∋ e} x_{s}^{*} \geq 1

$\sum_{s\ni e} x^*_s \ge 1$

e

$e$

| p^{t} | = 1

$|p^t| = 1$

1 / | x^{*} |

$1/|x^*|$ , пов'язане з жалем означає За визначенням маємо (кожен раунд вибирає один набір), і , даючи Ми зупиняємо процес, коли , тож тоді (умови перестановки) Тобто нормалізація дає дробову кришку розміру не більше разів оптимальні.

\frac{T}{| x^{*} |} \leq ε^{- 1} \ln (m) + min_{e} \sum_{t} a_{e}^{t} .

$\frac{T}{|x^*|} \le \varepsilon^{-1}\ln(m) + \min_e \sum_t a_e^t.$

X

$X$

| X | = T

$|X| = T$

\sum_{t} a_{e}^{t} = \sum_{e} [e \in s^{t}] = \sum_{s ∋ e} X_{s}

$\sum_t a_e^t = \sum_e [e\in s^t] = \sum_{s\ni e} X_s$

\frac{| X |}{| x^{*} |} \leq ε^{- 1} \ln (m) + min_{e} \sum_{s ∋ e} X_{s} .

$\frac{|X|}{|x^*|} \le \varepsilon^{-1}\ln(m) +\min_e \sum_{s\ni e} X_s.$

min_{e} \sum_{s ∋ e} X_{s} = Ω (ε^{- 2} \ln m)

$\min_e \sum_{s\ni e} X_s = \Omega(\varepsilon^{-2}\ln m)$

\frac{| X |}{min_{e} \sum_{s ∋ e} X_{s}} \leq (1 + O (ε) | x^{*} | .

$\frac{|X|}{\min_e \sum_{s\ni e} X_s}~ \le~ (1+O(\varepsilon)|x^*|.$

X

$X$

(1 + O (ε))

$(1+O(\varepsilon))$

Зауваження: У певному сенсі ця інтерпретація теорії навчання узагальнює алгоритмічну інтерпретацію. Однак деякі алгоритмічні прийоми, необхідні для ефективності (наприклад, нерівномірні прирости та випадання задоволених обмежень, що охоплюють), схоже, природним чином не переносяться в положення теорії навчання. Аналогічно, алгоритми змішаної упаковки та покриття ЛП (наприклад, такі ), схоже, не мають природних аналогів у навчальній теорії.

— Ніл Янг
джерело

Це цілком відповідь !!

— Суреш Венкат

Спасибі. Напевно, це переоцінило. Мене цікавлять відгуки: як доступно представити ці ідеї, що ще включити ...

— Ніл Янг