Нижня межа оцінювання

Мені хотілося б знати (пов'язане з цим іншим запитанням ), чи були відомі нижчі межі для наступної проблеми тестування: одному надається запит на доступ до послідовності негативних чисел та , з обіцянкою, що або або . $a_n \geq \dots\geq a_1$ $\varepsilon \in (0,1)$ $\sum_{k=1}^n a_k = 1$ $\sum_{k=1}^n a_k \leq 1-\varepsilon$

Скільки запитів (пошукових запитів) достатньо та необхідних для (адаптивного) рандомізованого алгоритму для розрізнення двох випадків з вірогідністю принаймні ? $2/3$

Я знайшов попередній пост, який дає логарифмічну (в $n$ ) верхню межу для відповідної задачі наближення суми і приблизно відповідає нижній межі цієї задачі для детермінованих алгоритмів; але не вдалося знайти результат для конкретної проблеми, яку я розглядаю (зокрема, рандомізовані алгоритми).

Редагувати: Виходячи з відповіді нижче, я думаю, я мав би бути зрозумілішим: у наведеному вище (особливо в асимптотиці нижньої межі) $n$ - "головна" величина, сприйнята нескінченністю, тоді як $\varepsilon$ - (довільно мала ) постійний.

reference-request randomized-algorithms property-testing

— Климент С.
джерело

Я думаю, ви маєте на увазі

\sum_{k = 1}^{n} a_{k} \leq 1 - ε

$\sum_{k=1}^n a_k \leq 1-\varepsilon$

— РБ

Дійсно - виправили це.

— Климент С.

Ну і без наказу залежність від

була б необхідною, я вважаю (з вибіркою або без неї). А «поганий» екземпляр (пара послідовностей) були б, наприклад , послідовність з усіма

«и, рівній

n

$n$

a_{k}

$a_k$

, для однієї (довільної, випадкової)винятком

такимщо

або дорівнює

(в першій послідовності) і

(в секунду). Беззапитів

дві послідовності неможливо розрізнити ...

\frac{1 - ε}{n - 1}

$\frac{1-\varepsilon}{n-1}$

j

$j$

a_{j}

$a_j$

ε

$\varepsilon$

0

$0$

Ω (n)

$\Omega(n)$

— Климент К.

Я припускаю , що запит модель дозволяє вибрати

, для якого ви запитуєте

, чи правильно це?

k

$k$

a_{k}

$a_k$

— kodlu

Так (ви можете вибрати, який би пункт ви хочете "розкрити").

— Климент К.

Відповіді:

Ось нижні межі, які я можу показати. Я гадаю, що для фіксованого права нижня межа - , але, природно, я можу помилитися. $\epsilon$ $\Omega( \log n)$

Я буду використовувати послідовність зменшення (тільки для зручності). Основний механізм - це розбиття послідовності на блоки. У му блоці будуть елементи (тобто ). $L$ $i$ $n_i$ $\sum_i n_i = n$

Далі ми хочемо, щоб алгоритм досягнув успіху з імовірністю , для деякого параметра . $\geq 1-\delta$ $\delta >0$

Перша нижня межа: . $\displaystyle \Omega\left( \frac{1}{\epsilon} \log \frac{1}{\delta} \right)$

й блок має елементів, так що . Встановлюємо значення всіх елементів го блоку в , де - змінна, яка дорівнює або . Зрозуміло, що загальна сума цієї послідовності дорівнює $i$ $n_i = 2^{i-1}$ $L = \lg n$ $i$ $(1+X_i)/(2n_iL)$ $X_i$ $0$ $1$ Уявіть, що вибиратимемо коженз імовірністющо дорівнюєііншому випадку. Для оцінкинам потрібна достовірна оцінка. Ми, зокрема, хочемо розрізнити основуі, скажімо,.

α = \sum_{i = 1}^{L} \frac{1 + X_{i}}{2 n_{i} L} = \frac{1}{2} + \frac{1}{2 L} (\sum_{i = 1}^{L} X_{i}) .

$\alpha = \sum_{i=1}^L \frac{1+X_i}{2n_i L} = \frac{1}{2} + \frac{1}{2L}\left(\sum_{i=1}^L X_i \right).$

X_{i}

$X_i$

β

$\beta$

1

$1$

0

$0$

α

$\alpha$

β

$\beta$

β = 1 - 4 ϵ

$\beta = 1-4\epsilon$

β = 1

$\beta=1$

Тепер уявіть вибірку цих випадкових змінних, і нехай - вибіркові змінні. Налаштування (зауважимо, що ми беремо суму змінних комплементу ), маємо , і нерівність Черноффа говорить нам що якщо $m$ $Z_1, \ldots, Z_m$ $Y = \sum_{i=1}^m (1-X_i)$ $\mu = E[Y] = (1-\beta) m$ , то , а ймовірність невдачі Щоб ця кількість була меншою, ніж $\beta =1-4\epsilon$ $\mu = 4\epsilon m$

P [Y \leq 2 ϵ m] = P [Y \leq (1 - 1 / 2) μ] \leq \exp (- μ (1 / 2)^{2} / 2) = \exp (- ϵ m / 2) .

$P\left[ Y \leq 2\epsilon m \right] = P\left[ Y \leq (1-1/2) \mu \right] \leq \exp \left( -\mu (1/2)^2 / 2 \right) = \exp \left( -\epsilon m / 2 \right).$

, нам потрібно

δ

$\delta$

m \geq \frac{2}{ϵ} \ln \frac{1}{δ}

$\displaystyle m \geq \frac{2}{\epsilon} \ln \frac{1}{\delta}$

Ключове зауваження полягає в тому, що нерівність Черноффа є тісною (треба бути обережним, тому що вона не є правильною для всіх параметрів, але вона є правильною в даному випадку), тому не можна робити краще, ніж це (до констант).

Друга нижня межа: . $\Omega( \log n / \log \log n)$

Встановіть розмір го блоку на , де - кількість блоків. Елемент го блоку має значення . Отже загальна сума значень у послідовності дорівнює . $i$ $n_i = L^i$ $L = \Theta( \log n / \log \log n)$ $i$ $\alpha_i = \Bigl(1/L\Bigr)/n_i$ $1$

Тепер ми можемо вирішити вибрати довільний блок, скажімо, й, і встановити всі значення в його блоці як (замість ). Це збільшує внесок го блоку з до і збільшує загальну масу послідовності до (майже) . $j$ $\alpha_{j-1} = L \alpha_j$ $\alpha_j$ $j$ $1/L$ $1$ $2$

Тепер, неофіційно, будь-який рандомізований алгоритм повинен перевірити значення у кожному з блоків. Як такий, він повинен читати принаймні значення послідовності. $L$

Для того, щоб вище аргумент більш формальним, з імовірністю , дають вихідну послідовність маса в якості входу (ми називаємо це як оригінальний вхід). В іншому випадку випадковим чином виберіть блок, який має збільшені значення (модифікований вхід). Очевидно, що якщо алгоритм рандомізоване читає менше , ніж, скажімо, записів, то є ймовірність (приблизно) для виявлення модифікованого введення. Таким чином, ймовірність цього алгоритму виходить з ладу, якщо він читає менше, ніж записи , принаймні $p=1/2$ $1$ $L/8$ $1/8$ $L/8$

(1 - p) (7 / 8) > 7 / 16 > 1 / 3.

$(1-p)(7/8) > 7/16 > 1/3.$

PS Я думаю, якщо більш уважно ставитись до параметрів, перша нижня межа може бути покращена до . $\Omega(1/\epsilon^2)$

— Саріель Хар-Пелед
джерело

Дякую за це! У мене є невелике запитання щодо першого,

фунта (точніше щодо можливого квадратичного вдосконалення). Оскільки ми маємо тут однобічну проблему обіцянки, з якої випливає, що як тільки алгоритм "бачить" будь-яке значення, яке дає будь-які докази того, що

, він може зробити висновок без необхідності отримання більш точної оцінки

: не це означає , що

є оптимальним для даної конструкції, так як в основному можна було б очікувати , або все

«s , щоб бути 1, або принаймні

фракція не бути?

Ω (1 / ϵ)

$\Omega(1/\epsilon)$

β < 1

$\beta < 1$

β

$\beta$

1 / ϵ

$1/\epsilon$

X_{i}

$X_i$

ϵ

$\epsilon$

— Климент С.

Так. Якщо ви хочете розмежовувати лише 1 і 1-епсілон, то, звичайно, ви не можете покращити нижню межу ... Я думав про спробу розрізнити інші діапазони ... s

— Саріель Хар-Пелед

Нижня межа

Принаймні для розмежування двох випадків необхідні запити. $\Omega(1/\sqrt{\epsilon})$

$a_1,\dots,a_n$ $\epsilon,2\epsilon,3\epsilon,4\epsilon,\dots$ $n$ $a_1+\dots+a_n = 1$ $n \approx 1/\sqrt{2\epsilon}$

$a'_1,\dots,a'_n$ $\epsilon$ $a'_1=a_1$ $a'_2=a_2$ $a'_i = a_i - \epsilon$ $a'_1 + \dots + a'_n = 1-\epsilon$

$a_1,\dots,a_n$ $a'_1,\dots,a'_n$ $i$ $\Omega(n)$ $n \approx 1/\sqrt{2\epsilon}$ $\Omega(1/\sqrt{\epsilon})$

Верхня обв’язка

$O(\lg(n/\epsilon) [\lg n + 1 / \epsilon^2])$

$[0,1]$

[0, 1] = [0, 0,25 ϵ / н] \cup (0,25 ϵ / н, 0,5 ϵ / н] \cup (0,5 ϵ / н, ϵ / н] \cup (ϵ / н, 2 ϵ / н] \cup (2 ϵ / н, 4 ϵ / н] \cup \dots \cup (\dots, 1] .

$[0,1] = [0,0.25\epsilon/n] \cup (0.25\epsilon/n,0.5\epsilon/n] \cup (0.5\epsilon/n,\epsilon/n] \cup (\epsilon/n,2\epsilon/n] \cup (2\epsilon/n,4\epsilon/n] \cup \dots \cup (\ldots,1].$

$a_i$ $a_i$ $a_i$ $[\ell,u]$ $i,j$ $a_i,\dots,a_j \in [\ell,u]$ $O(\lg(n/\epsilon))$

Тепер ми оцінимо суму значень у кожному діапазоні. Перший діапазон буде оброблятися окремо від усіх інших:

$[0,0.25\epsilon/n)$ $0$ $m \times 0.25\epsilon/n$ $m$ $m \le n$ $0.25 \epsilon$
$\delta$ $O(1/\delta^2)$ $2 \times$ $\delta = 0.25 \epsilon$

$0.25 \epsilon$ $0.25 \epsilon$ $\le 0.5 \epsilon$ $1$ $1-\epsilon$

— DW
джерело

Дякую - це виглядає цікаво (наскільки я можу сказати, це не той самий підхід, як той, який використовується у зв'язаній вище роботі / дискусії), і я буду глибше дивитись на те, що ви написали. Однак я шукаю нижню межу, а не верхню межу - тобто скільки запитів необхідно .

— Климент К.

(З часом настав, я все-таки присуджую "щедроту" відповіді - хоча я все ще шукаю посилання на нижню межу, якщо там десь є.)

— Климент С.

@ClementC., Я додав нижню межу, відповідно до вашого запиту.

— DW

n

$n$

ε

$\varepsilon$