Комбінаторна характеристика точного навчання з запитами про членство

Редагувати: Оскільки за тиждень я не отримував жодних відповідей / коментарів, я хочу додати, що я радий почути що-небудь про проблему. Я не працюю в цьому районі, тому навіть якщо це просте спостереження, я, можливо, цього не знаю. Навіть коментар на кшталт "Я працюю в цьому районі, але такої характеристики я не бачив" був би корисним!

Фон:

Існує кілька добре вивчених моделей навчання теорії навчання (наприклад, навчання PAC, навчання в Інтернеті, точне навчання з запитами на членство / еквівалентність).

Наприклад, у навчанні PAC вибіркова складність понятійного класу має приємну комбінаторну характеристику з точки зору VC-виміру класу. Отже, якщо ми хочемо вивчити клас з постійною точністю та впевненістю, це можна зробити за допомогою зразків, де$\Theta(d)$ є вимір VC. (Зауважте, що ми говоримо про складність вибірки, а не про складність у часі.) Існує також більш вдосконалена характеристика з точки зору точності та впевненості. Так само помилкова модель онлайн-навчання має приємну комбінаторну характеристику.$d$

Питання:

Хочу знати, чи відомий подібний результат для моделі точного навчання із запитами про членство. Модель визначається так: У нас є доступ до чорного поля, яке на вході дає f ( x ) . Ми знаємо , що е походить від деякої концепції класу C . Ми хочемо визначити f якомога менше запитів.$x$$f(x)$$f$$C$$f$

Чи є комбінаторний параметр концептуального класу який характеризує кількість запитів, необхідних для вивчення концепції в моделі точного навчання з запитами на членство?$C$

Що я знаю:

Найкраща така характеристика, яку я знайшов, є у цій роботі Серведіо та Гортлера , використовуючи параметр, який вони відносять до Бшуті, Кліва, Гавальда, Каннана та Тамона . Вони визначають комбінаторний параметр під назвою , де C - клас поняття, який має такі властивості. (Нехай Q C - оптимальна кількість запитів, необхідних для вивчення C у цій моделі.)$\gamma^C$$C$$Q_C$$C$

$Q_C = \Omega(1/\gamma^C)\qquad Q_C = \Omega(\log |C|) \qquad Q_C = O(\log |C|/\gamma^C)$

Ця характеристика майже щільна. Однак між верхньою та нижньою рамками може бути квадратичний зазор. Наприклад, якщо , то нижня межа - Ω ( k ) , але верхня межа - O ( k 2 ) . (Я також вважаю, що цей розрив є досяжним, тобто існує клас концепції, для якого нижні межі є обома Ω ( k ) , але верхня межа - O ( k 2 ) .)$1/\gamma^C = \log |C| = k$$\Omega(k)$$O(k^2)$$\Omega(k)$$O(k^2)$

Щоб повернути додому точку прикладу анонімного лося, розглянемо клас концепції, який складається з функцій, які виводять 1 лише на одну точку на {0,1} ^ n. Клас розміром 2 ^ n, і 2 ^ n запитів потрібні в гіршому випадку. Погляньте на найгірший викладацький вимір (Goldman & Schapire), який забезпечує щось подібне до того, що ви шукаєте.

Я не знаю такої характеристики. Однак варто зазначити, що майже для будь-якого концептуального класу потрібно запитувати всі моменти. Щоб побачити це, розглянемо концептуальний клас, який складається з усіх n-мірних булевих векторів з вагою Хеммінга 1. Цей концептуальний клас, очевидно, потребує n запитів для вивчення, що дорівнює його кардинальності. Ви можете, напевно, узагальнити це спостереження, щоб зрозуміти, що майже будь-який клас концепції також потребує виконання всіх запитів.

Я б підозрював, що з огляду на поняття C як вхідний, важко визначити складність того, як саме вивчити концепт-клас із запитами членства, або навіть наблизити його до вимови константи. Це дало б певну ознаку того, що "хорошої" комбінаторної характеристики не існує. Якщо ви хочете довести такий результат твердості NP, але спробуйте і не зможете розмістити тут, і я побачу, чи зможу це зрозуміти (у мене є деякі ідеї).

Хоча інші вказали на відповідь. Я подумав, що можу зробити це самодостатнім і показати, чому саме викладацький вимір - це відповідь.

$C$$X$$S\subseteq X$$f$$f$$C$$S$ .

$\mathcal{T}(f)$$f$$(f,C)=min\{\ |S|\ | \ S\in \mathcal{T}(f) \}$$f$$_{min}(f)$ в $\mathcal{T}(f)$. Аналогічно розглянемо ТД$(C)=$макс$_{f\in C}$ТД$(f,C)$ бути викладацьким виміром $C$.

Мінімальна кількість запитів, необхідних для ідентифікації $f$ є ТД$(f,C)$. This happens when the query strategy uses the sequence TS$_{min}(f)$. As for any fewer queries we have at least two concepts consistent with it. And TD$(C)$ is the minimum for any $f$.