Алгоритми статистичних запитів?

Я поставив це питання на схрещені питання та відповіді, але здається, що він пов'язаний з CS набагато більше, ніж зі статистикою.

Чи можете ви навести мені приклади алгоритмів машинного навчання, які вивчають статистичні властивості набору даних, а не окремі спостереження, тобто використовують модель статистичних запитів ?

Практично кожен алгоритм, який працює в моделі PAC (за винятком алгоритмів паритетного навчання), може бути змушений працювати в моделі SQ. Див., Наприклад, цей документ Blum et al. в якому кілька популярних алгоритмів переводяться в їх еквіваленти SQ ( Практична конфіденційність: рамка SuLQ ). Цей документ, в принципі, стосується "конфіденційності", але ви можете ігнорувати це - це дійсно просто реалізація алгоритмів із запитами SQ.

Навчання агностиків, з іншого боку, набагато складніше в моделі SQ: обчислювальні питання (однак вони важливі), складність вибірки, необхідна для навчання агностиків, приблизно така ж, як і для точного навчання, якщо ви насправді маєте доступ до точки даних. З іншого боку, навчання агностиків стає набагато складніше у моделі SQ - вам зазвичай потрібно буде робити суперполіномічно багато запитів, навіть для класів, простих як монотонні диз'юнкції. Дивіться цей документ Feldman ( Повна характеристика вивчення статистичних запитів із застосуванням до еволюціонування ) або цей останній документ Gupta et al. ( Приватні вивільнення сполучень та бар'єр статистичних запитів )

Модель SQ була створена для аналізу шумостійкого навчання - саме алгоритм, який працює, створюючи статистичні запити, буде працювати під класифікаційним шумом. Як сказав Аарон, більшість алгоритмів PAC, які ми виявили, мають еквіваленти в моделі SQ. Єдиним винятком є ​​елімінація Гаусса, яка використовується при навчанні паритетів (можна навіть розумно застосувати їївивчити журнал (n) лог (n) паритети розмірів у моделі класифікації шуму). Ми також знаємо, що паритети не можна вивчити за допомогою статистичних запитів, і виявляється, що найцікавіші класи, як дерева рішень, можуть імітувати функції парності. Отже, у нашому прагненні отримати алгоритми навчання PAC для багатьох цікавих класів (наприклад, дерева рішень, DNF тощо), ми знаємо, що нам потрібні принципово нові алгоритми навчання, які не працюють у моделі статистичних запитів.

Я хотів би трохи уточнити відповідь Аарона. Практично кожен алгоритм агностики (ще раз, за ​​винятком усього, що використовує усунення Гаусса) може працювати в моделі SQ. Природно, агностичне навчання важче, ніж неагностичне навчання, але це питання незалежне.