Нерівність типу Черноффа для випадкової величини з 3 результатами

9

Припустимо, у нас є випадкова величина, яка приймає нечислові значення a, b, c і хочемо кількісно визначити, як емпіричний розподіл вибірок цієї змінної відхиляється від істинного розподілу. У цьому випадку застосовується наступна нерівність (від Cover and Thomas ). $n$

Теорема 12.4.1 (теорема Санова): Нехай - iid . Нехай - це набір імовірнісних розподілів. Тоді де - це розподіл у який найближчий до у відносній ентропії. $X_1, X_2, \ldots, X_n$ $\sim Q(x)$
$E \subseteq \mathscr{P}$
$Q^{n} (E) = Q^{n} (E \cap P_{n}) \leq (n + 1)^{| X |} 2^{- n D (P^{*} | | Q)},$ $Q^n(E) = Q^n(E \cap \mathscr{P}_n) \leq (n+1)^{|\mathcal{X}|}2^{-nD(P^*||Q)},$ $P^{*} = \arg min_{P \in E} D (P | | Q),$ $P^* = \arg\min_{P \in E} D(P||Q),$ $E$ $Q$

Ця нерівність досить нещільна для малих $n$ . Що стосується бінарних результатів, $|\mathcal{X}|=2$ , а обмеження Черноффа-Гоффдінга набагато жорсткіше.

Чи існує аналогічно жорстке обмеження для $|\mathcal{X}|=3$ ?

pr.probability chernoff-bound

— Ярослав Булатов
джерело

Я вірю, що ви можете змінити | X | до | X | -1, тому що "останній тип" у методах og типів надається, як тільки ви знаєте решту.

— Томас Ейл

6

Ви можете отримати досить хороші межі, розглядаючи випадкову змінну яка дорівнює 1, якщо і нуль в іншому випадку (для межах випробувань, і переходить на категорії). При будь-якому фіксованому незалежні і , отже можуть бути проаналізовані з використанням Черновим кордонів. Потім зробіть союз, пов'язаний над . $Y_{ij}$ $X_i = j$ $1 \le i \le n$ $1 \le j \le 3$ $j$ $Y_{ij}$ $\sum_i Y_{ij}$ $j$

Якщо вищезазначеного недостатньо, я пропоную переглянути модель кульок та бункерів, наприклад, у підручнику Упфала та Міценмахера. Ця модель така ж, як і ваша, за винятком того, що деякі ваші бункери можуть бути більш шансовими, ніж інші, щоб кулі приземлилися в них, правда? Є кілька більш складних методів, що передбачають наближення Пуассона в цій моделі, які, ймовірно, можуть бути розширені до вашої настройки з нерівномірними ймовірностями бін.

— Уоррен Шуді
джерело

3

Про межі Chernoff Hoeffding немає нічого, що характерно для булевих змінних. Якщо є дійсними значеннями випадкових величин з ви можете застосувати обмеження Chernoff. Хороша посилання - "Концентрація вимірювання для аналізу рандомізованих алгоритмів" ( http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.120.2561&rep=rep1&type=pdf ) $X_1,\ldots,X_n$ $0 \leq X_i \leq 1$

— Аарон Рот
джерело

Мене цікавлять категоричні, а не реальні значення змінних, додав уточнення

— Ярослав Булатов