Що означає теорія навчання PAC?

Я новачок у машинному навчанні. Я вивчаю курс машинного навчання (Стенфордський університет) і не зрозумів, що означає ця теорія і в чому її корисність. Мені цікаво, чи міг би хтось детально розказати цю теорію для мене.

Ця теорія заснована на цьому рівнянні.

Ймовірно, приблизно правильна (PAC) теорія навчання допомагає проаналізувати, чи і за яких умов учень , можливо, виведе приблизно правильний класифікатор. (Ви побачите, що деякі джерела використовують A замість L. )$L$$A$$L$

Спочатку визначимося з "приблизним". Гіпотеза є приблизно правильною, якщо її похибка в розподілі входів обмежена деякими ϵ , 0 ≤ ϵ ≤ $h \in H$Тобто,errorD(h)<ϵ, деD- розподіл на входи.$\epsilon, 0 \le \epsilon \le \frac{1}{2}.$$error_D(h)\lt \epsilon$$D$

Далі "напевно". Якщо виведе такий класифікатор з вірогідністю 1 - δ , при 0 ≤ δ ≤ $L$$1 - \delta$ , ми називаємо цей класифікатор,ймовірно,приблизно правильним.$0 \le \delta \le \frac{1}{2}$

Знання того, що цільова концепція засвоєна PAC, дозволяє обмежити необхідний розмір вибірки, щоб, мабуть, вивчити приблизно правильний класифікатор, що саме показано у формулі, яку ви відтворили:

Щоб отримати деяку інтуїцію щодо цього, зверніть увагу на ефекти на коли ви змінюєте змінні в правій частині. У міру зменшення допустимої помилки зростає необхідний розмір вибірки. Крім того, він росте з ймовірністю приблизно правильного учня, і з розміром гіпотези простору H . (Вільно, простір гіпотез - це набір класифікаторів, які ваш алгоритм вважає.) Більш просто, якщо ви вважаєте більш можливими класифікатори або бажаєте меншої помилки або більшої ймовірності коректності, вам потрібно більше даних, щоб розрізняти їх.$m$$H$

Докладніше, це та інші пов’язані відео можуть бути корисними, як це може бути тривале вступ або один із багатьох текстів машинного навчання, скажімо, Мітчелл , наприклад.

$(x_i, y_i)$$x_i$$y_i$$\tilde{x}$ модель буде обчислити або передбачити відповідні$\tilde{y}$ .
Дійсно, когось не цікавить, наскільки точна гіпотеза щодо даних (навчальних), за винятком того, що важко повірити, що модель, створена за допомогою деяких даних, не буде точно відображати цей набір даних, але буде точною в будь-якому майбутньому набори даних Два важливих застереження полягають у тому, що не можна прогнозувати нові дані зі 100% точністю, а також існує можливість, що в прикладах даних, за якими бачили, пропущено щось важливе. Прикладом іграшки є те, що якби я дав вам «дані» 1,2,3,4, один би «передбачив», що 5 буде наступним числом. Якщо ви тестували це, запитуючи людей, що було наступним числом у послідовності, більшість людей сказали б 5. Хтось мігскажімо, 1 000 000, хоча. Якби вам дали послідовність 1,2,3, ... 999,999, було б впевненіше, що наступне число - 1 000 000. Однак наступне число може становити 999,999,5 або навіть 5. Справа в тому, що чим більше даних бачимо, тим впевненіше можна зробити, що вона створила точну модель, але ніколи не може бути абсолютно впевненою.

$x_i, 1 \leq i \leq m$$y_i$$f_{\theta}$$f_{\Theta}$$p >1-\delta$$f_{\Theta}$$\epsilon$$(\delta,\epsilon)$$(\delta,\epsilon)$ і наскільки складним є даний клас гіпотези.

$\mathcal{H}$$f_{\theta}$$(\epsilon, \delta)$$0 < \epsilon,\delta , <.5$$f_{\Theta}$$\tilde{x}, \tilde{y}$$Err(f_{\Theta}(\tilde{x}) ,\tilde{y} ) < \epsilon$ with probability $p > 1-\delta$ if the model was selected (trained) with at least $m = m(\delta,\epsilon,\mathcal{H})$ training examples. Here Err is the chosen loss function which is usually $(f_{\Theta}(\tilde{x}) -\tilde{y})^2$.

The diagram you have gives a formula for how much data one needs to train on for a given class of hypotheses to satisfy a given pair $(\delta,\epsilon)$. I could be wrong, but I believe that this definition was given by Valiant in a paper called "A Theory of the Learnable" and was in part responsible for Valiant winning the Turing prize.