Нижня межа для тестової близькості в нормі ?

11

Мені було цікаво, чи існує якась нижня межа (з точки зору складності вибірки) для наступної проблеми:

Дано зразок доступу Oracle до двох невідомих дистрибутивів , на , перевірити (whp) чи $D_1$ $D_2$ $\{1,\dots,n\}$

$D_1=D_2$
або $\operatorname{d_2}(D_1,D_2)=\lVert D_1-D_2\rVert_2 = \sqrt{\sum_{i=1}^n\left(D_1(i)-D_2(i)\right)^2} \geq \epsilon$

Бату та ін. [BFR + 00] показав, що зразки $O\left(\frac{1}{\epsilon^4}\right)$ були достатніми, але я не знайшов жодної згадки про нижню межу?

Я вважаю, що завжди можна показати нижню межу $\Omega(\frac{1}{\epsilon^2})$ , зменшивши завдання розрізнити справедливу проти $\epsilon$ -мобільну монету до цієї проблеми (імітуючи розподіл, підтримуваний лише на двох балів та відповіді на запити тестера відповідно до кидання монети iid), але це все ще залишає квадратичний проміжок ...

(Ще один момент, який мене зацікавив би - нижня межа оцінки (до добавки $\epsilon$ ) цієї відстані $L_2$ - знову ж таки, я не знайшов посилання на такий результат у літературі)

Спасибі за вашу допомогу,

— Климент С.
джерело

Ця проблема обіцянок здається дуже схожою на ту, що називається статистичною різницею Сахая та Вадхана, що є повною проблемою для класу SZK (статистичні нульові знання); однак вони використовують відстань . cs.ucla.edu/~sahai/work/web/2003%20Publications/J.ACM2003.pdf . (Редагувати: також я думаю, що вони припускають, що у вас є схема, що обчислює розподіли, а не доступ до оракула.)

L_{1}

$L_1$

— usul

Привіт, як згадувалося в іншому коментарі, різниця між нормою та тут насправді вирішальна - далі, у цій статті вони встановлюють явний (а не довільний) поріг (в одному із зауважень, вони пояснюють, що цей поріг потребує задоволення певного обмеження); і хочете розрізняти проти (що дещо ближче до толерантного тестування / оцінки відстані, ніж "звичайне тестування", де ви хочете перевірити проти (але для будь-якого фіксованого )).

L_{2}

$L_2$

L_{1}

$L_1$

τ = 1 / 3

$\tau=1/3$

d_{1} \leq τ

$d_1 \leq \tau$

d_{2} \geq 1 - τ

$d_2 \geq 1-\tau$

d_{2} = 0

$d_2=0$

d_{2} \geq ϵ

$d_2 \geq \epsilon$

ϵ

$\epsilon$

— Климент К.

6

Здається, що зразків - як показано усул нижче - достатньо для тестування, так що складність вибірки є точно ; насправді, виявляється, що ця кількість зразків нам навіть достатня для вивчення до добавки wrt норми . $O(1/\epsilon^2)$ $\Theta(1/\epsilon^2)$ $D$ $\epsilon$ $L_2$

Нехай - емпірична функція густини, отримана шляхом малювання iid зразків та встановлення Тоді де . $\hat{D}$ $m$ $s_1,\dots, s_m\sim D$

\hat{D} (k) \overset{d e f}{=} \frac{1}{m} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}}, k \in [n]

$\hat{D}(k) \stackrel{\rm{}def}{=} \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}},\qquad k\in[n]$

\begin{aligned} ‖ D - \hat{D} ‖_{2}^{2} & = \sum_{k = 1}^{n} {(\frac{1}{m} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} - D (k))}^{2} = \frac{1}{m^{2}} \sum_{k = 1}^{n} {(\sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} - m D (k))}^{2} \\ = \frac{1}{m^{2}} \sum_{k = 1}^{n} {(X_{k} - E X_{k})}^{2} \end{aligned}

$\begin{align*} \lVert D - \hat{D} \rVert_2^2 &= \sum_{k=1}^n \left( \frac{1}{m}\sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - D(k) \right)^2 = \frac{1}{m^2}\sum_{k=1}^n \left( \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}} - mD(k) \right)^2 \\ &= \frac{1}{m^2}\sum_{k=1}^n \left( X_k - \mathbb{E} X_k \right)^2 \end{align*}$

X_{k} \overset{d e f}{=} \sum_{ℓ = 1}^{m} 1_{{s_{ℓ} = k}} \sim Bin (m, D (k))

$X_k\stackrel{\rm{}def}{=} \sum_{\ell=1}^m \mathbb{1}_{\{s_\ell = k\}}\sim\operatorname{Bin}( m, D(k) )$

X_{k}

$X_k$ 's (для ) не є незалежними, але ми можемо записати так, що для , і застосовуючи нерівність Маркова

k \in [n]

$k\in[n]$

\begin{aligned} E ‖ D - \hat{D} ‖_{2}^{2} & = \frac{1}{m^{2}} \sum_{k = 1}^{n} E [{(X_{k} - E X_{k})}^{2}] = \frac{1}{m^{2}} \sum_{k = 1}^{n} Var X_{k} \\ = \frac{1}{m^{2}} \sum_{k = 1}^{n} m D (k) (1 - D (k)) \leq \frac{1}{m} \sum_{k = 1}^{n} D (k) \\ = \frac{1}{m} \end{aligned}

$\begin{align*} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 &= \frac{1}{m^2}\sum_{k=1}^n \mathbb{E}\left[ \left( X_k - \mathbb{E} X_k \right)^2 \right] = \frac{1}{m^2}\sum_{k=1}^n \operatorname{Var} X_k \\ &= \frac{1}{m^2}\sum_{k=1}^n mD(k)\left( 1- D(k) \right) \leq \frac{1}{m}\sum_{k=1}^n D(k) \\ &= \frac{1}{m} \end{align*}$

m \geq \frac{3}{ϵ^{2}}

$m\geq \frac{3}{\epsilon^2}$

E ‖ D - \hat{D} ‖_{2}^{2} \leq \frac{ϵ^{2}}{3}

$\begin{equation} \mathbb{E}\lVert D - \hat{D} \rVert_2^2 \leq \frac{\epsilon^2}{3} \end{equation}$

P {‖ D - \hat{D} ‖_{2} \geq ϵ} \leq \frac{1}{3} .

$\begin{equation} \mathbb{P}\left\{ \lVert D - \hat{D} \rVert_2 \geq \epsilon \right\} \leq \frac{1}{3}. \end{equation}$

— Климент С.
джерело

(Я мав на увазі відповідь usul, починаючи з "Я спробую спокутувати попередню помилку, показавши щось протилежне [...]" - що насправді вище цього. Я цього не очікував :)) Щодо навчання Верхня межа, можна показати, що найбільш наївний алгоритм (тобто той, який малює зразки і видає емпіричну щільність, яку це визначає) дає розподіл який з постійною ймовірністю -закрити на на відстані .

m = O (1 / ϵ^{2})

$m=O(1/\epsilon^2)$

\hat{D}

$\hat{D}$

ϵ

$\epsilon$

D

$D$

L_{2}

$L_2$

— Климент К.

@DW Я щойно відредагував свою відповідь.

— Климент К.

3

Я спробую спокутувати попередню помилку, показавши щось протилежне - що достатньо зразків (нижня межа майже щільно)! Подивіться, що ви думаєте…. $\tilde{\Theta}\left(\frac{1}{\epsilon^2}\right)$ $1/\epsilon^2$

Ключова інтуїція починається з двох спостережень. По-перше, для того, щоб розподіли мали відстань , повинні бути точки з високою ймовірністю ( ). Наприклад, якби у нас був точки ймовірності , ми мали б . $L_2$ $\epsilon$ $\Omega(\epsilon^2)$ $1/\epsilon^3$ $\epsilon^3$ $\|D_1 - D_2\|_2 \leq \sqrt{\frac{1}{\epsilon^3} (\epsilon^3)^2} = \epsilon^{3/2} < \epsilon$

По-друге, розглянемо рівномірні розподіли з відстані . Якби у нас були точки ймовірності , то вони відрізнялися б від а зразків було б достатньо. З іншого боку, якби у нас були точки , вони повинні відрізнятись від і знову зразків (постійне число в бал) достатньо. Таким чином, ми можемо сподіватися, що серед згаданих раніше точок високої ймовірності завжди є якийсь момент, що відрізняється «достатньою», що малює його. $L_2$ $\epsilon$ $O(1)$ $O(1)$ $O(\epsilon)$ $1/\epsilon^2$ $O(1/\epsilon^2)$ $O(\epsilon^2)$ $O(1/\epsilon^2)$ $O(1/\epsilon^2)$

Алгоритм. Враховуючи і параметр довіри , нехай . Намалюйте зразки з кожного розподілу. Нехай - відповідна більша, менша кількість зразків для точки . Якщо є якась для якої і , оголосимо розподіли різні. В іншому випадку заявляйте їх однаково. $\epsilon$ $M$ $X = M \log(1/\epsilon^2)$ $\frac{X}{\epsilon^2}$ $a_i,b_i$ $i$ $i \in [n]$ $a_i \geq \frac{X}{8}$ $a_i-b_i \geq \sqrt{a_i} \frac{\sqrt{X}}{4}$

Межі правильності та достовірності ( ) залежать від наступної леми, яка говорить про те, що всі відхилення відстані походять від точок, ймовірності яких відрізняються від . $1-e^{-\Omega(M)}$ $L_2$ $\Omega(\epsilon^2)$

Претензія. Припустимо . Нехай. Нехай . Тоді $\|D_1 - D_2\|_2 \geq \epsilon$ $\delta_i = |D_1(i) - D_2(i)|$ $S_k = \{i : \delta_i > \frac{\epsilon^2}{k}\}$
$\sum_{i \in S_{k}} δ_{i}^{2} \geq ϵ^{2} (1 - \frac{2}{k}) .$ $\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2\left(1-\frac{2}{k}\right).$

Доказ . Маємо Зв’яжемо другу суму; ми хочемо максимізувати умови . Оскільки функція суворо опукла і збільшується, ми можемо збільшити ціль, взявши будь-який і збільшивши на , зменшивши на . Таким чином, ціль буде максимально досягнута якомога більше термінів при їх максимальних значеннях, а решта -

\sum_{i \in S_{k}} δ_{i}^{2} + \sum_{i \notin S_{k}} δ_{i}^{2} \geq ϵ^{2} .

$\sum_{i \in S_k} \delta_i^2 ~ + ~ \sum_{i \not\in S_k} \delta_i^2 \geq \epsilon^2.$

\sum_{i \notin S_{k}} δ_{i}^{2}

$\sum_{i \not\in S_k} \delta_i^2$

\sum_{i \notin S_{k}} δ_{i} \leq 2

$\sum_{i \not\in S_k} \delta_i \leq 2$

x \mapsto x^{2}

$x \mapsto x^2$

δ_{i} \geq δ_{j}

$\delta_i \geq \delta_j$

δ_{i}

$\delta_i$

γ

$\gamma$

δ_{j}

$\delta_j$

γ

$\gamma$

0

$0$ . Максимальне значення кожного терміна - , і є щонайбільше умови цього значення (оскільки вони становлять щонайбільше ). Тож

\frac{ϵ^{2}}{k}

$\frac{\epsilon^2}{k}$

\frac{2 k}{ϵ^{2}}

$\frac{2k}{\epsilon^2}$

2

$2$

\sum_{i \notin S_{k}} δ_{i}^{2} \leq \frac{2 k}{ϵ^{2}} {(\frac{ϵ^{2}}{k})}^{2} = \frac{2 ϵ^{2}}{k} . ◻

$\sum_{i \not\in S_k} \delta_i^2 \leq \frac{2k}{\epsilon^2}\left(\frac{\epsilon^2}{k}\right)^2 = \frac{2\epsilon^2}{k} . ~~~~ \square$

Претензія . Нехай . Якщо , існує принаймні одна точка з і . $p_i = \max\{D_1(i),D_2(i)\}$ $\|D_1 - D_2\|_2 \geq \epsilon$ $i \in [n]$ $p_i > \frac{\epsilon^2}{4}$ $\delta_i \geq \frac{\epsilon \sqrt{p_i}}{2}$

Доказ . По-перше, всі точки в мають за визначенням (і не може бути порожнім для за попередньою заявою). $S_k$ $p_i \geq \delta_i > \frac{\epsilon^2}{k}$ $S_k$ $k > 2$

По-друге, тому що , ми маємо або, переставляючи, тому нерівність містить щонайменше одну точку в . Тепер виберіть . $\sum_i p_i \leq 2$

\sum_{i \in S_{k}} δ_{i}^{2} \geq ϵ^{2} (\frac{1}{2} - \frac{1}{k}) \sum_{i \in S_{k}} p_{i},

$\sum_{i \in S_k} \delta_i^2 \geq \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right) \sum_{i \in S_k} p_i,$

\sum_{i \in S_{k}} (δ_{i}^{2} - p_{i} ϵ^{2} (\frac{1}{2} - \frac{1}{k})) \geq 0,

$\sum_{i \in S_k} \left( \delta_i^2 - p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)\right) \geq 0 ,$

δ_{i}^{2} \geq p_{i} ϵ^{2} (\frac{1}{2} - \frac{1}{k})

$\delta_i^2 \geq p_i \epsilon^2 \left(\frac{1}{2} - \frac{1}{k}\right)$

S_{k}

$S_k$

k = 4

$k=4$

◻

$\square$

Претензія (помилкові позитиви) . Якщо , наш алгоритм оголошує їх різними з вірогідністю не більше . $D_1 = D_2$ $e^{-\Omega(M)}$

Ескіз . Розглянемо два випадки: і . У першому випадку кількість зразків не перевищуватиме від будь-якого розподілу: Середня кількість зразків а пов'язаний хвіст говорить про те, що з ймовірністю , зразки не перевищують середнього значення за добавкою ; якщо ми обережні, щоб утримувати значення у хвостовому зв’язку, ми можемо об'єднати прив’язані до них незалежно від того, скільки таких точок є (інтуїтивно, обмеження зменшується експоненціально у кількості можливих точок). $p_i < \epsilon^2/16$ $p_i \geq \epsilon^2/16$ $i$ $X/8$ $< X/16$ $e^{-\Omega(X/p_i)} = \epsilon^2 e^{-\Omega(M/p_i)}$ $i$ $X/16$ $p_i$

У випадку , ми можемо використати обмеження Черноффа: Це говорить про те, що, коли ми беремо вибірок і точка складається з ймовірністю , ймовірність відрізняється від її середньої на - це не більше . Нехай , тому ймовірність обмежена . $p_i \geq \epsilon^2/16$ $m$ $p$ $pm$ $c \sqrt{pm}$ $e^{-\Omega((c\sqrt{pm})^2/pm)} = e^{-\Omega(c^2)}$ $c = \frac{\sqrt{X}}{16}$ $e^{-\Omega(X)} = \epsilon^2 e^{-\Omega(M)}$

Тож з ймовірністю , (для обох розподілів) кількість зразків знаходиться в межах його середнього . Таким чином, наш тест не набере цих балів (вони дуже близькі один до одного), і ми можемо об'єднати всі з них. $1-\epsilon^2e^{-\Omega(M)}$ $i$ $\sqrt{p_i\frac{X}{\epsilon^2}}\frac{\sqrt{X}}{16}$ $p_i\frac{X}{\epsilon^2}$ $16/\epsilon^2$ $\square$

Претензія (хибні негативи) . Якщо , наш алгоритм оголошує їх однаковими з ймовірністю не більше . $\|D_1 - D_2\|_2 \geq \epsilon$ $\epsilon^2 e^{-\Omega(M)}$

Ескіз . Існує деякий момент з і . Той самий зв’язаний Чернофф, як і в попередній претензії, говорить про те, що з вірогідністю кількість зразків відрізняється від його середнього не більше . Це для (WLOG) розподілу який має ; але існує ще менша ймовірність кількості зразків від розподілу $i$ $p_i > \epsilon^2/4$ $\delta_i \geq \epsilon \sqrt{p_i}/2$ $1-\epsilon^2 e^{-\Omega(M)}$ $i$ $p_i m$ $\sqrt{p_i m} \frac{\sqrt{X}}{16}$ $1$ $p_i = D_1(i) = D_2(i) + \delta_i$ $i$ $2$ відрізняється від середнього значення цією кількістю добавки (оскільки середнє значення та дисперсія нижчі).

Тож з великою часткою ймовірності кількість зразків з кожного розподілу знаходиться в межах його середнього значення; але їхні ймовірності різняться на , тому їхні значення різняться на $i$ $\sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{16}$ $\delta_i$

\frac{X}{ϵ^{2}} δ_{i} \geq \frac{X \sqrt{p_{i}}}{2 ϵ} = \sqrt{\frac{p_{i} X}{ϵ^{2}}} \frac{\sqrt{X}}{2} .

$\frac{X}{\epsilon^2}\delta_i \geq \frac{X \sqrt{p_i}}{2\epsilon} = \sqrt{\frac{p_i X}{\epsilon^2}} \frac{\sqrt{X}}{2} .$

Тож з великою ймовірністю для точки кількість зразків відрізняється щонайменше . $i$ $\sqrt{\# samples(1)} \frac{\sqrt{X}}{4}$ $\square$

Для завершення ескізів нам потрібно більш жорстко показати, що для досить велика кількість зразків досить близька до його середнього значення, що коли алгоритм використовує а не , це нічого не змінює (що повинно бути прямо, залишивши в константах певну кімнату). $M$ $i$ $\sqrt{\# samples}$ $\sqrt{mean}$

— усул
джерело

Привіт, спасибі за це - у мене є кілька запитань щодо алгоритму та аналізу (щодо пари балів, які я не впевнений): припускаючи, що я хочу лише в кінці постійної ймовірності успіху, це означає, що постійна, якщо я правильно розумію (якщо я не зрозуміла, що таке )? Тож у цьому випадку, звернувшись до : згідно алгоритму це стає - це правильно?

2 / 3

$2/3$

M

$M$

M

$M$

X

$X$

Θ (\log \frac{1}{ϵ})

$\Theta(\log\frac{1}{\epsilon})$

— Климент К.

@ClementC. Вибачте, я був не дуже зрозумілий! Твердження полягає в тому, що якщо ми намалюємо зразки , то ймовірність помилятися - , так що постійна ймовірність помилятися, його вибірки.

\frac{1}{ϵ^{2}} M \log (1 / ϵ^{2})

$\frac{1}{\epsilon^2} M \log(1/\epsilon^2)$

O (e^{- M})

$O(e^{-M})$

O (\frac{1}{ϵ^{2}} \log (1 / ϵ^{2}))

$O\left(\frac{1}{\epsilon^2} \log(1/\epsilon^2)\right)$

— usul

Гаразд, ось що я зібрав. Я буду враховувати це на увазі - ще раз дякую за витрачений на це час!

— Климент К.

1

Ви можете почати, намагаючись вирішити це для випадку . Я впевнений , що в цьому випадку зразки будуть необхідними та достатніми. $n=2$ $\Theta(1/\epsilon^2)$

Можливо, вам може бути корисно подивитися на перетворення між відстані та відстані (загальна відстань варіації). $L_2$ $L_1$

Відомо, що з одного зразка, якщо відомі розподіли, загальна відстань варіації чудово характеризує ту перевагу, за якою можна відрізнити від . Таким чином, якщо загальна відстань варіації велика і розподіли відомі, можна побудувати тест, правильний з великою ймовірністю; якщо загальна відстань варіації невелика, не можна. Я не знаю, що можна сказати про випадок, коли загальна відстань варіації велика, але розподіли невідомі. $D_1$ $D_2$
Далі ви можете переглянути дистрибуції продуктів, та . Використовуючи загальну відстань варіації (відстань ), здається, немає хороших меж, що стосуються до . Однак, використовуючи відстань , я вважаю, що є хороші оцінки як функції . (На жаль, я, здається, не можу викопати конкретні посилання на ці оцінки / межі, тому, сподіваюся, я не помиляюся.) Також відомі межі, які дозволяють оцінити відстань як функцію відстані . $D_1^n$ $D_2^n$ $L_1$ $||D_1^n - D_2^n||_1$ $||D_1 - D_2||_1$ $L_2$ $||D_1^n - D_2^n||_2$ $||D_1 - D_2||_2$ $L_1$ $L_2$
Отже, одним із підходів, який ви можете спробувати, було б зв'язати , то від цього отримати обмеження на . $||D_1^n - D_2^n||_2$ $||D_1^n - D_2^n||_1$

Я не знаю, чи це призведе кудись добре чи ні; це просто ідея. Ймовірно, автори статті, яку ви цитуєте, вже спробували чи розглянули щось подібне.

Можливо корисні посилання:

— DW
джерело

Привіт, Дякую за Вашу відповідь! Однак мене цікавить нижня межа асимптотики, коли . Зокрема, співвідношення норм та включає фактор - це означає, що вони дійсно еквівалентні постійним, але асимптотично дуже різними; використання речовини як проксі - це не варіант, наскільки я можу сказати (що стосується тестування близькості на відстані , точна складність, як відомо, є [BFR + 10 , Val11 ]

n \to \infty

$n\to\infty$

L_{2}

$L_2$

L_{1}

$L_1$

\sqrt{n}

$\sqrt{n}$

n

$n$

L_{1}

$L_1$

L_{1}

$L_1$

Θ (n^{2 / 3} / p o l y (ϵ))

$\Theta(n^{2/3}/{\rm{}poly}(\epsilon))$

— Климент К.

0

EDIT: це неправильно! Дивіться дискусію в коментарях - я зазначу недолік нижче.

Я думаю, ми можемо сказати, що потрібно. $\frac{1}{\epsilon^4}$

Встановіть . Нехай - рівномірний розподіл (ймовірність кожної точки ), і нехай відрізняється від рівномірного за додатковою сумою у кожній точці. Перевірте, чи відстань . $n = \Theta\left(\frac{1}{\epsilon^2}\right)$ $D_1$ $= \Theta(\epsilon^2)$ $D_2$ $\pm \Theta\left(\epsilon^2\right)$ $L_2$ $\epsilon$

Отже, ми повинні відрізняти сторонню справедливу монету від однобічної -безпечної монети. Я думаю , що це повинно бути по крайней мере , так само важко , як розповідає односторонній монету з односторонній -biased монети, що вимагало б . Редагувати: це неправильно! Монета адитивно -захищена, але вона зміщується мультиплікативно постійним коефіцієнтом. Як вказує DW, це означає, що постійне число зразків на бал відрізняє від . $n$ $n$ $\Theta(\epsilon^2)$ $2$ $2$ $\Theta(\epsilon^2)$ $\Theta\left(\frac{1}{(\epsilon^2)^2}\right) = \Theta\left(\frac{1}{\epsilon^4}\right)$ $\epsilon^2$ $D_1$ $D_2$

Зауважте, що настільки, наскільки ми можемо просунути цей рядок аргументів. Конкретно, припустимо, ми намагалися збільшити до, скажімо, . При рівномірному розподілі кожна точка має ймовірність . Але в нам потрібно, щоб кожна точка відрізнялася від рівномірної на . Це неможливо, оскільки . $\frac{1}{\epsilon^4}$ $n$ $\frac{1}{\epsilon^3}$ $\epsilon^3$ $D_2$ $\epsilon^{2.5}$ $\epsilon^{2.5} \gg \epsilon^3$

Більш абстрактно, припустимо, ми хочемо, щоб кожна точка відрізнялася від рівномірної на . Тоді найбільше ми можемо встановити було б . Щоб отримати відстань , нам потрібно переконатися, що квадратний корінь суми відстаней дорівнює , тому , так так , і отримуємо . $\epsilon^k$ $n$ $\frac{1}{\epsilon^k}$ $L_2$ $\epsilon$ $\epsilon$ $\sqrt{n(\epsilon^k)^2} = \epsilon$ $\epsilon^{k/2} = \epsilon$ $k = 2$ $n = \frac{1}{\epsilon^2}$

Крім того, я думаю, той самий аргумент говорить про те, що якщо нас цікавить відстань з , нам потрібен , тому ми виберемо , тож кількість зразків складе . Я думаю, що це має сенс як пов'язана, незалежна від . Він наближається до нескінченності як . Якби ви намагалися розрізнити два розподіли на відстані не пов'язаних з , я зробив би безмежно великим і розклав різницю довільно тонкими, щоб ви ніколи не могли їх розрізнити ( $L_p$ $p > 1$ $k = \frac{p}{p-1}$ $n = 1/\epsilon^{\frac{p}{p-1}}$ $1 / \epsilon^{2\frac{p}{p-1}}$ $n$ $p \to 1$ $L_1$ $\epsilon$ $n$ $n$ тобто фіксованої кількості зразків не вистачає для всіх ). Він також наближається до як ; це має сенс як обмежений, оскільки для норми ми можемо встановити і нехай кожна точка відрізняється на ; нам потрібно відібрати певний момент щоб переконатися, що він відрізняється від рівномірного, який буде приймати зразки. $n$ $\frac{1}{\epsilon^3}$ $p \to \infty$ $L_{\infty}$ $n = \frac{1}{\epsilon}$ $\Theta(\epsilon)$ $\frac{1}{\epsilon^2}$ $\frac{1}{\epsilon^3}$

— усул
джерело

1. Ви дійсно маєте на увазі, що відрізняється від рівномірного на у кожній точці? Я підозрюю, що це помилка, і ви мали на увазі .

D_{2}

$D_2$

\pm 1 / ϵ^{2}

$\pm 1/\epsilon^2$

\pm ϵ^{2}

$\pm \epsilon^2$

— DW

1

2. Я не купую, що для розрізнення від потрібно зразка. Мені здається, що зразків достатньо. Пояснення (інтуїція): припустимо, ми наберемо вибірки і порахуємо, скільки разів виникає кожне можливе значення. Якщо вони походили з , кожен повинен відбуватися 100 разів (з std dev 10). Якщо вони походили з , кожен з них повинен відбуватися 200 разів (std dev 14) для половини з них, / 0 разів (std dev 0) для другої половини. Це досить легко, щоб розрізнити це двоє, якщо ви знаєте, що маєте справу з або або .

D_{1}

$D_1$

D_{2}

$D_2$

1 / ϵ^{4}

$1/\epsilon^4$

Θ (1 / ϵ^{2})

$\Theta(1/\epsilon^2)$

m = 100 / ϵ^{2}

$m=100/\epsilon^2$

D_{1}

$D_1$

D_{2}

$D_2$

D_{1}

$D_1$

D_{2}

$D_2$

— ДВ

@DW (1) ти маєш рацію! Виправлено. (2) Як ви сказали, я згоден, але я думаю, що з різним вибором констант важче. Я зображую щось подібне: , тому ставить ймовірність у кожній точці. Тоді відрізняється на у кожній точці (перевірте, чи відстань ), тому він ставить ймовірність або у кожній точці.

n = 1 / 100 ϵ^{2}

$n = 1/100\epsilon^2$

D_{1}

$D_1$

100 ϵ^{2}

$100\epsilon^2$

D_{2}

$D_2$

10 ϵ^{2}

$10\epsilon^2$

L_{2}

$L_2$

ϵ

$\epsilon$

90 ϵ^{2}

$90\epsilon^2$

110 ϵ^{2}

$110\epsilon^2$

— usul

1

Я думаю, що зразків все ще достатньо. Зберіть зразків і порахуйте, скільки разів виникає кожне можливе значення. Для кожен повинен виникати 1 000 000 разів (std dev ). Для кожен має відбуватися 900 000 разів (std dev ) або 1,100,000 разів (std dev ). Це досить легко, щоб розрізнити два, якщо ми знаємо, що ми маємо справу або з або з , тому що різниця між 1 000 000 до 1100 000 становить 100 стандартних відхилень, тобто величезна.

O (1 / ϵ^{2})

$O(1/\epsilon^2)$

m = 10^{6} n

$m=10^6n$

D_{1}

$D_1$

1000

$1000$

D_{2}

$D_2$

\approx 1000

$\approx 1000$

\approx 1000

$\approx 1000$

D_{1}

$D_1$

D_{2}

$D_2$

— DW

@DW Я подумав про це більше - ти маєш рацію. Якщо їхні засоби відрізняються постійним мультиплікативним коефіцієнтом, то слід відрізняти постійну кількість зразків на бал. Це важливий мультиплікативний не адитивний фактор. Тоді цей підхід дає лише нижню межу .

1 / ϵ^{2}

$1/\epsilon^2$

— usul