Який найкращий спосіб отримати близький до справедливого викидання монети з однакових упереджених монет?

21

(Фон Нойман дав алгоритм, який імітує справедливу монету, надаючи доступ до однакових зміщених монет. Алгоритм потенційно потребує нескінченної кількості монет (хоча, як очікується, достатньо багатьох). Це питання стосується випадку, коли кількість викинутих монет дозволено обмежений.)

Припустимо, у нас є однакових монет зі зміщенням . Метою є моделювання одного кидання монети, мінімізуючи зміщення. $n$ $\delta=P[Head]-P[Tail]$

Моделювання повинно бути ефективним у наступному сенсі: Алгоритм, що працює в поліноміальний час, розглядає випадкових бітів і видає один біт. алгоритму визначається якде очікування приймається за розподіл, визначений iid бітами таким, що . $n$ $Bias(A)=|E[A=0]-E[A=1]|$ $n$ ${x_1,\ldots,x_n}$ $Prob[x_i=1]-Prob[x_i=0]=\delta$

Який алгоритм працює в поліноміальний час, має найменший зміщення ? $A$ $Bias(A)$

Це питання мені здається дуже природним, і дуже ймовірно, що воно було розглянуто раніше.

Що відомо про цю проблему? Чи відомо щось, коли розглядається слабший клас (в тощо) алгоритмів? $AC_0$

cc.complexity-theory circuit-complexity pr.probability

— Грушікеш
джерело

15

Кидаючи n упереджених монет та приймаючи паритет голів, стає експоненціально близьким до . $\frac{1}{2}$

[Для доказів розглянемо випадкову змінну, яка дорівнює -1, коли голови та 1 при хвостах, тоді ймовірність наявності непарної кількості голів - це лише ] $E\left[\frac{1}{2} + \frac{1}{2}\prod_i X_i\right] = \frac{1}{2} + \frac{1}{2}\delta^n$

Можливо, це також оптимально з наступної причини. Нехай - будь-яка композиційна функція цих бітів. Тоді і найкращим здається функція парності (чи не так?). $f$ $\text{Bias}(f) = \sum_S \hat{f}(S) \delta^{|S|}$ $f$

Якщо вас цікавлять композиційні функції меншої складності, то, можливо, документ Райана О'Доннелла на тему "Підсилення твердості в межах NP" буде дуже актуальним. Там він використовує монотонні композиційні функції для посилення твердості, а функції, що працюють, характеризуються їх шумовою чутливістю.

— Рампрасад
джерело

Не могли б ви детально розібратися, чому парність повинна бути найкращою функцією? (Крім того, це не так важливо асимптотично, але чи не слід це бути в розширенні Фур'є з моменту ?). Дякуємо за вказівник на папір!

d e l t a^{| S |}

$delta^{|S|}$

E [x_{i}] = δ

$E[x_i]=\delta$

— Грушікеш

О, пробач, ти маєш рацію. Вираз був неправильним і тепер його виправили. У мене немає доказів оптимальності (можливо, це не оптимально), але причина, яку я здогадався, була в тому, що було б істинним, якби вираз було замість

\sum_{S} \hat{f} (S)^{2} δ^{| S |}

$\sum_S \hat{f}(S)^2 \delta^{|S|}$ оскільки це тоді опукла комбінація.

— Рампрасад

Можливо, це може пролити трохи світла. За Коші-Шварца, ми знаємо , що

. Одним із способів оптимізації буде максимально мінімізувати верхню межу, і це відбувається, коли функція

є функцією паритету, і в цьому випадку кількість, яка нас цікавить, відповідає і верхній межі. Однак може статися так, що вектор коефіцієнтів фур'є повністю ортогональний

вектору, і тоді LHS дорівнює нулю! Чи існують спеціальні значення

для яких ми знаємо такі приклади?

\sum_{S} \hat{f} (S) \leq \sqrt{\sum_{S : \hat{f} (S) \neq 0} δ^{2 | S |}}

$\sum_{S} \hat{f}(S) \leq \sqrt{\sum_{S:\hat{f}(S)\neq 0} \delta^{2|S|}}$

f

$f$

δ

$\delta$

δ

$\delta$

— Рампрасад

Власне, якщо потрібно брати якусь нетривіальну монотонну функцію

, то при

очікується, що ймовірність

дорівнює 0, а при

-

. Отже, для деякого проміжного

воно повинно приймати значення

f

$f$

δ = - 1

$\delta = -1$

f (x_{1}, \dots, x_{n}) = 1

$f(x_1,\cdots, x_n) = 1$

δ = 1

$\delta=1$

1

$1$

δ

$\delta$

. Отже, справедливо чекати, що для кожного

функція парності є оптимальною.

\frac{1}{2}

$\frac{1}{2}$

δ

$\delta$

— Рампрасад

Чи можете ви пояснити останній коментар детальніше? Ігнорування проблеми складності F, є не ваше висновок вірно тільки якщо

для

E [f] = 1 / 2

$E[f]=1/2$

оскільки паритет має зміщення від

до

?

δ \geq \frac{1}{2^{1 / n}}

$\delta \geq \frac{1}{2^{1/n}}$

δ

$\delta$

δ^{n}

$\delta^n$

— Грушікеш

12

Ви не кажете, чи є ухил відомим чи невідомим. Магія алгоритму фон Неймана полягає в тому, що він працює в будь-якому випадку.

Припустимо, це відомо. Тоді найкраща відповідь критично залежить від числових теоретичних особливостей зміщення. Візьмемо p = 2/3. Покиньте монету двічі і нанесіть HH на 0, а TH і HT на 1, повторивши експеримент, якщо результат TT. Тоді 0 і 1 однаково вірогідні, і шанс повторення становить лише 1/9 замість 5/9 за алгоритмом фон Неймана. Або, якщо говорити про це, ви лише змістите один з результатів на 1/9, якщо межа ітерації 2.

Це все тісно пов'язане з теорією інформації та теорією кодування. Коли p - дріб із складнішим чисельником та знаменником, для найкращого алгоритму потрібна більша довжина блоку, ніж 2. Можна використовувати аргумент існування у стилі Шеннона, щоб показати, що для заданого зміщення існує процедура, яка є настільки ж оптимальною, як і Ви хочете, але довжина блоку може бути дуже великою.

Перес у своїй роботі Ітерація процедури Нонмана для вилучення випадкових біт доводить, що версія алгоритму фон Неймана може довільно наближатися до межі Шеннона. Багато роботи в цій галузі, здається, було зроблено теоретиками інформації та статистиками, тому я не можу придумати жодного документа зі складно-теоретичним нахилом, який би дав вам пряму відповідь на ваше запитання.

Існує проблема, пов’язана із задоволенням, яка запитує навпаки: Якщо у вас є джерело справедливих бітів, як ви ефективно генерувати рівномірний розподіл на деякому наборі без потужності? Версія проблеми з обмеженою ітерацією, яка пов'язана з вашим запитанням, просить максимально збільшити ентропію (тобто зробити розподіл максимально рівномірним) з n кидок справедливої монети.

— Пер Вогсен
джерело

1

Мені прийшло в голову, що оптимізація часу роботи з урахуванням жодних упереджень (те, що робиться у статті) є Lagrange подвійною для оптимізації зміщення, залежно від часу роботи. Отже, я думаю, що папір насправді відповідає на ваше запитання!

— Per Vognsen

5

Я вважаю за краще розглянути це питання у такій узагальненій формі: у нас є повне двійкове дерево висоти n, де кожному вузлу присвоєно число st суми чисел 1. Чи можемо ми розділити листя на дві множини суми числа вони близькі?

$p$ $q=1-p$ $p^i q^{n-i}$

$\sum_{i} {\binom{n}{i} parity(x) p^i q^{n-i}} = \sum_{i} {\binom{n}{i} (-p)^i q^{n-i}} = (q-p)^n$

$PSpace$

EDIT "Це в основному проблема кодування Шеннона". (Спасибі Пер Вогсену.) END OF EDIT

$AC^0$

(Ця відповідь може містити помилки, я не перевіряв деталі.)

— Каве
джерело

2

"Чи можемо ми розділити листя на дві множини? Суми чисел вони близькі?" В основному це проблема кодування Шеннона. Алгоритм Шеннона-Фано знаходиться зверху вниз і починається з набору елементів, зважених на ймовірність, і вимагає рівномірного поділу. Застосовуючи це рекурсивно, надається інтегральний код без префіксу. Алгоритм Хаффмана знаходиться знизу вгору: він починається з однотонних дерев і багаторазово зливається парами з найближчою ймовірністю. Якщо ви знаєте про арифметичне кодування, це також справедливо говорить про те, що краще генерувати декілька справедливих бітів одночасно, а не один за одним.

— Per Vognsen

4

Ви також можете отримати багато випадкових біт з упереджених монет, дивіться в статті Габізона Алгоритми дерандомізації в розділі Розподіл продуктів (http://sites.google.com/site/arielgabizon1/)

3

Пов'язане питання, інший сайт: відбілювання випадкової бітової послідовності

— BCS
джерело

1

Якщо ви хочете, щоб рівне число кидків монет було непідвладне упередженій монеті, простий спосіб зняти зміщення - це зворотний результат від кожного іншого кидання.

— Дін Дж
джерело

1

Це, звичайно, не призведе до рівномірно випадкової послідовності. Уявіть обмежувальний випадок, коли зміщення монети дорівнює 1 - ви просто отримаєте детерміновану чергується послідовність біт.

— Аарон Рот

Будь-яка стратегія, яка біективно переосмислює результати, збереже ентропію, тому вона не може змінити розподіл від не максимальної ентропії (упередженої) до максимальної ентропії (неупередженої).

— Per Vognsen