Узагальнення "середньої хитрості" до вищих вимірів?

Для рандомізованих алгоритмів $\mathcal{A}$ приймаючи реальні значення, "серединна хитрість" - це простий спосіб зменшити ймовірність провалу до будь-якого порогу $\delta > 0$ , ціною лише мультиплікативного $t=O(\log\frac{1}{\delta})$накладні. А саме, якщовисновок$\mathcal{A}$потрапляє у "хороший діапазон"$I=[a,b]$з вірогідністю (принаймні), то виконується незалежна копіяі, якщо взяти медіану їх результатівце призведе до падіння значенняз вірогідністю принаймніза межами Черноффа / Гоффдінга.1 , ... , т в 1 , ... , т I 1 - $2/3$$\mathcal{A}_1,\dots,\mathcal{A}_t$$a_1,\dots,a_t$$I$$1-\delta$

Чи є узагальнення цього "трюку" на більш високі розміри, скажімо Р г {(х,г)∈S}≥2 / 3х1-$\mathbb{R}^d$ , де хороший діапазон зараз є опуклим набором (або кулькою, або будь-яким достатньо приємним і структурованим набором)? Тобто, заданий рандомізований алгоритм $\mathcal{A}$ виводить значення в R$\mathbb{R}^d$ та "добрий набір" такий, що для всіх , як можна підвищити ймовірність успіху на лише з логарифмічною вартістю в 1 / δ ?$S\subseteq \mathbb{R}^d$$\mathbb{P}_r\{ \mathcal{A}(x,r) \in S \} \geq 2/3$$x$$1-\delta$$1/\delta$

(Фразоване по-різному: задано фіксованим, довільне $a_1,\dots, a_t\in \mathbb{R}^d$ з гарантією, що принаймні $\frac{2t}{3}$ з$a_i$належать$S$, чи існує процедура виведення значення з$S$? Якщо так, то чи є ефективний?)

І який мінімальний набір припущень, необхідних для $S$ для досягнення вищезазначеного?

Вибачте, якщо це виявиться тривіально - я не зміг знайти посилання на це питання ...

Те, що ви шукаєте, є майже такою ж міцною центральною тенденцією : спосіб зменшення хмари даних вказує на одну точку, так що якщо багато точок даних близькі до якоїсь "основної істини", але решта з них як завгодно далеко, тоді ваш вихід також буде близьким до основної істини. «Точка зриву» такого методу - це частина довільно поганих людей, які він може терпіти. Різниця полягає в тому, що у вашому випадку ви хочете замінити "близько до" на "в опуклому корпусі".

One way to capture this is with the notion of Tukey depth. A point has Tukey depth $p$ (with respect to a given set of $n$ data points) if every halfspace containing the given point also contains at least $pn$ data points. If there is a good convex subspace that you want to be inside, then a point with Tukey depth $p$ will be inside it as long as there are at least $(1-p)n$ of the data points inside it. So the breakdown point of this method is the largest value of $p$ that you can attain.

На жаль, ця точка розбиття становить , не близька до 1/2, як для глибини Tukey, так і для вашої проблеми. Ось чому: якщо ваші дані кластеризуються поблизу вершин d + 1 симплексу, тоді як менша частка 1 / ( d + 1 ) є переживаючими (але ви не знаєте, які з них), то будь-яка точка в симплекс безпечно підбирати, оскільки він завжди буде знаходитися в опуклому корпусі нежилих. Але якщо більше 1 / ( d + 1 $1/(d+1)$$d+1$$1/(d+1)$$1/(d+1)$ з точок може бути позашляховиком, ніде не можна вибрати безпечно: яку б точку в обраному симплексі ви не вибрали, вони можуть бути всіма точками з найближчої вершини симплексу, і ви знаходитесь поза корпусом не- чужих людей.

Якщо ви готові терпіти гіршу точку зриву, більше схожу на , існує рандомізований метод пошуку глибокої точки, яка є поліномом і в n, і в d : дивіться мій документ$O(1/d^2)$$n$$d$

Наближення центральних точок з ітераційними точками Радона, К. Кларксона, Д. Еппштейна, Г. Л. Міллера, К. Стуртиванта та С.-Н. Тенг, 9-й синм. Склад. Геом. , Сан-Дієго, 1993, стор. 91–98, Міжнар. J. Comp. Геом. & Appl. 6 (3): 357–377, 1996, http://kenclarkson.org/center/p.pdf

Це акуратне питання, і я про це думав раніше. Ось що ми придумали:

Ви запускаєте свій алгоритм раз , щоб отримати виходи х 1 , ⋯ , х п ∈ R D , і ви знаєте , що з великою часткою ймовірності велика частина х я з падіння в певний хороший набір G . Ви не знаєте, що таке G , тільки що він опуклий. Хороша новина полягає в тому, що існує спосіб отримати точку в G, не маючи додаткової інформації про неї. Назвіть цю точку f ( x 1 , ⋯ , x n$n$$x_1, \cdots, x_n \in \mathbb{R}^d$$x_i$$G$$G$$G$$f(x_1, \cdots, x_n)$ .

Теорема. Для всіх натуральних чисел і d існує функція f : ( R d ) n → R d така, що має місце наступне. Нехай x 1 . . . x n ∈ R d і нехай G ⊂ R d - опуклий набір, що задовольняє $n$$d$$f : (\mathbb{R}^d)^n \to \mathbb{R}^d$$x_1 ... x_n \in \mathbb{R}^d$$G \subset \mathbb{R}^d$ТодіF(х1,...,Хп)∈G. Більше того,fобчислюється за багаточленами часу вnd. $$\frac{1}{n}\left|\left\{ i \in [n] : x_i \in G \right\}\right| > \frac{d}{d+1}.$$ $f(x_1, ..., x_n) \in G$$f$$n^d$

Зауважимо, що при ми можемо задати f медіаною. Отже, це показує, як узагальнити медіану для d > 1 .$d=1$$f$$d>1$

Перш ніж довести цей результат, зауважте, що він є непростим: Нехай і нехай x 1 , ⋯ , x d є стандартними базовими елементами, а x d + 1 = 0 . Будь-який підмножина d точок міститься в афінному просторі G розмірності d - 1 (що однозначно визначено цими точками). Але жоден сенс не міститься у всіх цих афінних просторах. Отже, є деяка опукла G, яка містить n ⋅ d / ( d $n=d+1$$x_1, \cdots, x_d$$x_{d+1}=0$$d$$G$$d-1$$G$ балів, але не містить f ( x 1 , ⋯ , x n ) , незалежно від значення.$n\cdot d/(d+1)=d$$f(x_1, \cdots, x_n)$

Доказ. Ми використовуємо наступний результат.

Теорема Геллі. Нехай - опуклі підмножини R d . Припустимо, перетин будь-якого d + 1 K i s не порожній. Тоді перетин усіх K i s не порожній.$K_1 ... K_m$$\mathbb{R}^d$$d+1$ $K_i$$K_i$

Клацніть тут, щоб підтвердити теорему Хеллі.

Тепер, щоб довести нашу теорему:

Нехай буде верхня межа числа точок не в G . Розглянемо всі закриті напівпростори K 1 . . . K m ⊂ R d, що містить щонайменше n - k точок з їх границею, що містить набір точок максимального рангу (це скінченна кількість напівпросторів, оскільки кожен K i визначається d + 1 балами на його межі).$k<n/(d+1)$$G$$K_1 ... K_m \subset \mathbb{R}^d$$n-k$$K_i$$d+1$

The complement of each $K_i$ contains at most $k$ points. By a union bound, the intersection any $d+1$ $K_i$s contains at least $n-k(d+1)$>0 points. By Helly's theorem (since halfspaces are convex), there is a point in the intersection of all the $K_is$. We let $f$ be a function that computes an arbitrary point in the intersection of the $K_i$s.

All that remains is to show that the intersection of the $K_i$s is contained in $G$.

Without loss of generality, $G$ is the convex hull of a subset of the points with full rank. That is, we can replace $G$ with the convex hull of the points it contains. If this does not have full rank, we can simply apply our theorem in lower dimension.

Each face of $G$ defines a halfspace, where $G$ is the intersection of these halfspaces. Each of these halfspaces contains $G$ and hence contains at least $n-k$ points. The boundary of one of these half spaces contains a face of $G$ and hence contains a set of points of maximal rank. Thus each of these halfspaces is a $K_i$. Thus the intersection of all $K_i$s is contained in $G$, as required.

To compute $f$, set up a linear program where the linear constraints correspond to $K_i$s and a feasible solution corresponds to a point in the intersection of all the $K_i$s. Q.E.D.

Unfortunately, this result is not very practical in the high-dimensional setting. A good question is whether we can compute $f$ more efficiently:

Open Problem. Prove the above theorem with the additional conclusion that $f$ can be computed in time polynomial in $n$ and $d$.

Aside: We can also change the problem to get an efficient solution: If $x_1, \cdots, x_n$ have the property that strictly more than half of them lie in a ball $B(y,\varepsilon)$, then we can find a point $z$ that lies in $B(y,3\varepsilon)$ in time polynomial in $n$ and $d$. In particular, we can set $z=x_i$ for an arbitrary $i$ such that strictly more than half of the points are in $B(z,2\varepsilon)$.

Існує поняття про медіану сукупності точок у великих розмірах і загальних нормах, яка відома під різними назвами. Саме точка, яка мінімізує суму відстаней до всіх точок у множині. Відомо, що він має схожу властивість посилення впевненості, як звичайна медіана з невеликим мультиплікативним збільшенням відстані. Докладні відомості можна знайти в теоремі 3.1 цього документу: http://arxiv.org/pdf/1308.1334.pdf

Одне приємне, що показує ця стаття, - це те, що коефіцієнт, за допомогою якого збільшується відстань, може бути будь-яким постійним> 1, якщо ви можете підсилити довільно високу (але постійну <1) впевненість.

Edit: there is another recent paper on the topic by Hsu and Sabato http://arxiv.org/pdf/1307.1827v6.pdf It mostly analyzes and applies the procedure in which the point in the set with the smallest median distance to the rest of the points is used. This procedure can be used with any metric but only gives an approximation factor of 3.