Питання щодо паритетності

Давайте визначимо клас функцій над набором біт. Зафіксуйте два розподіли , які "розумно" відрізняються один від одного (якщо вам подобається, їх змінна відстань принаймні , або щось подібне). $n$ $p, q$ $\epsilon$

Тепер кожна функція у цьому класі визначається колекцією індексів і оцінюється так: Якщо парність обраних бітів дорівнює 0, поверніть випадкову вибірку з , а інше поверніть випадкову вибірку з . $f$ $k$ $S$ $p$ $q$

Проблема : Припустимо, мені надається доступ у oracle до деякого з цього класу, і, хоча я знаю (або якусь іншу міру відстані), я не знаю і . $f$ $\epsilon$ $p$ $q$

Чи існують які - небудь обмеження на кількість викликів , мені потрібно зробити , щоб PAC-вчитися ? Імовірно, моя відповідь буде з точки зору та . $f$ $n, k$ $\epsilon$

Примітка . Я не вказав вихідний домен. Знову я гнучка, але поки що скажемо, що і визначені в кінцевій області . Взагалі, мене також цікавить випадок, коли вони визначаються через (наприклад, якщо вони - гаусси) $p$ $q$ $[1..M]$ ${\mathbb R}$

lg.learning

— Суреш Венкат
джерело

Я не впевнений, що розумію модель. Що ви вказуєте у дзвінку oracle? Чи завжди приклади беруться з розподілу, визначеного ціллю?

— Лев Рейзін

Під час виклику Oracle ви викликаєте f (), і він повертає значення.

— Суреш Венкат

Отже, залежно від цільової функції

, для створення прикладів завжди використовується

або

? (Я припускаю, що ви

f \in F

$f \in F$

p

$p$

q

$q$

F

$F$

— вивчаєте

Так, це правильно. проблема полягає в тому, щоб дізнатися, який з них (або дізнатися біт паритету, який використовується)

— Suresh Venkat

Я не впевнений, як ви адаптуєте модель PAC до цієї моделі. Але здається, що достатньо, щоб можна було відрізнити

від

з вірогідністю

і тоді ви можете отримати значення

для

лінійно незалежних

і використовувати гауссова елімінація, щоб знайти

(оскільки

лінійний). Наприклад, розрізнити двох добре відокремлених гауссів буде легко.

p

$p$

q

$q$

1 - 1 / (2 k)

$1 - 1/(2k)$

f (x)

$f(x)$

k

$k$

x

$x$

f

$f$

f

$f$

— Сашо Ніколов

Обговорення в коментарях нижче свідчить про те, що я неправильно зрозумів питання. Моя відповідь ґрунтується на Oracle не приймає ніякого введення і повернення , де або , в залежності від . Це, мабуть, не те, що просять. $(x, f(x))$ $x \sim p$ $x \sim q$ $f \in F$

Оскільки розподіл цілі фіксовано для кожної цілі , верхня межа вибірки PAC застосовується (це випливає з того, що цільовий розподіл для цієї межі може повністю повністю залежати від ). Отже, $f^* \in F$ $f^*$ має бути достатньо, щоб знайти гіпотезу про помилкуwp. Зауважте - після ознайомлення з цими прикладами потрібно знайти послідовну гіпотезу з, і це може бути неможливим.

м \leq \tilde{О} (\frac{1}{ϵ} (V С (Ж) + журнал (1 / δ)))

$m \le \tilde{O}\left(\frac{1}{\epsilon}\left(\mathrm{VC}(F) + \log(1/\delta) \right) \right)$

\leq ϵ

$\le \epsilon$

\geq 1 - δ

$\ge 1-\delta$

F

$F$

З іншого боку, можна отримати майже співпадаючу нижню межу навіть у випадку , рівномірного розподілу, де приклади все ще потрібні (це можна трохи покращити) . $p=q=U$ $m \ge \Omega(\mathrm{VC}(F))$

Варіаційна відстань між і , а також може грати роль у малому проміжку між цими межами, але я сумніваюся в цьому. $p$ $q$ $k$

— Лев Рейзін
джерело

Типовий параметр навчання PAC має oracle

який витягує зразок

з розподілу

і повертає

. Це не параметр, описаний у питанні Суреша або в блозі, який надихнув його: bit.ly/YtwdST . В обох цих випадках оракул є функцією

, і учень може безкоштовно подати будь-який елемент із набору екземплярів (бітстриги довжини

(f, D)

$(f,D)$

x

$x$

D

$D$

(x, f (x))

$(x, f(x))$

f

$f$

n

$n$ ). Лев, ваша відповідь передбачає оракул першого типу чи другого типу? Якщо другий тип, ми все ще говоримо про навчання PAC?

— Keki Burjorjee

Розумію. В PAC, то «оракулом» зазвичай розуміється як кнопка , яка повертає

де

. Оракул, який ви описуєте, називається "запитом на членство" до

. Моя відповідь стосується лише колишнього. Якщо ви користуєтесь лише запитами про членство, як ви можете дізнатися будь-яку інформацію про

або

за допомогою Suresh? Скажімо,

для простоти.

(x, f (x))

$(x, f(x))$

x \sim D

$x \sim D$

f

$f$

p

$p$

q

$q$

p = q

$p=q$

— Лев Рейзін

Дякую за пояснення. Так, у випадку, описаному Сурешем, оракул "запиту на членство" працює наступним чином (я припускаю, що ви вказали цю сутність у лапках, оскільки оракул може повернути реальну цінність, а не просто булева команда-член / не-а- відповідь члена): якщо парність ефективних атрибутів дорівнює 1, то повернутий результат виводиться з розподілу

. В іншому випадку результат отримується з розподілу

. Є додаткова зморшка. Оракул запам'ятовує всі свої попередні відповіді та повертає їх, якщо їх запитують з тим самим входом. Іншими словами, це детерміновано.

p

$p$

q

$q$

— Keki Burjorjee

Я не розумію. Якщо оракул є просто функцією

і ви запитуєте його, надаючи йому

, чи не повертається просто

? Як

грати

або

якщо учень генерує

себе? Я думаю, що я не розумів цього основного моменту весь час ...

f

$f$

x

$x$

f (x)

$f(x)$

p

$p$

q

$q$

x

$x$

— Лев Рейзін

Для

псевдокод оракула для проблеми із «зморшкою» наведено внизу цього коментаря до редагування reddit: bit.ly/XvVMC4 ( ). Я не можу вбудувати код, оскільки SE не дозволяє нові коментарі в коментарях. Щоб отримати "проблему" версії проблеми, просто видаліть рядок .

p = N (+ 0.25, 1)

$p=\mathcal N(+0.25, 1)$

q = N (- 0.25, 1)

$q = \mathcal N(-0.25, 1)$ def fitness() ...random_number_generator.set_seed(x)

— Keki Burjorjee