Алгоритм оптимізації дерев рішень

Фон

Бінарне дерево рішень являє собою кореневе дерево , де кожен внутрішній вузол (і корінь) позначений індекс J ∈ { 1 , . . . , n } таким чином, що жоден шлях від кореня до листа не повторює індекс, листя позначаються виходами в { A , B } , а кожне ребро позначено 0 для лівої дитини та 1 для правої дитини. Щоб застосувати дерево до вводу x :$T$$j \in \{1,..., n\}$$\{A,B\}$$0$$1$$x$

1. Почніть з кореня
2. якщо ви знаходитесь в аркуші, виводите мітку аркуша або B і припиняєте$A$$B$
3. Прочитайте мітку $j$ вашого поточного вузла, якщо $x_j = 0$ тоді перейдіть до лівої дитини, а якщо $x_j = 1$ тоді перейдіть до правої дитини.
4. перейти до кроку (2)

Дерево використовується як спосіб оцінки функцій, зокрема ми говоримо, що дерево $T$ являє собою загальну функцію $f$ якщо для кожного $x \in \{0,1\}^n$ маємо $T(x) = f(x)$ . Складність запиту дерева - це його глибина, а складність запиту функції - глибина найменшого дерева, яке його представляє.

Проблема

З огляду на бінарне дерево рішення T виводиться бінарне дерево рішень T 'мінімальної глибини, таке, що T і T' являють собою ту саму функцію.

Питання

Який найвідоміший алгоритм для цього? Чи відомі якісь нижні межі? Що робити, якщо ми знаємо, що ? А як бути, якщо нам потрібно лише, щоб T ' був приблизно мінімальної глибини?$\text{depth}(T') = O(\log \text{depth}(T))$$T'$

Наївний підхід

Наївний підхід дається рекурсивно перерахувати всі бінарні дерева рішень глибинної г - 1 при тестуванні , якщо вони оцінюють одне і те ж , як Т . Здається, це вимагає O ( d 2 n n $d = \text{depth}(T)$$d - 1$$T$Кроків (за умовищо він приймаєdкрокищоб перевіритищоТ(х)приймає значення для довільногох). Чи є кращий підхід?$O(\frac{d 2^n n!}{(n - d)!})$$d$$T(x)$$x$

Мотивація

Це питання мотивоване попереднім питанням про взаємодію між складністю запиту та складністю часу . Зокрема, мета - обмежити поділ часу на загальні функції. Ми можемо зробити дерево з оптимального для часу алгоритму з режимом виконання t , і тоді ми хотіли б перетворити його в дерево T ' для оптимального алгоритму запиту. На жаль, якщо t ∈ O ( n ! / ( N - d ) ! ) (А часто d ∈ Θ ( n $T$$t$$T'$$t \in O(n!/(n - d)!)$$d \in \Theta(n)$) вузьким місцем є перетворення. Було б добре, якби ми могли замінити чимось на кшталт 2 д .$n!/(n - d)!$$2^d$

У мене є 3 відповіді, які дають дещо різні результати твердості.

Нехай є деякою функцією.$f: \{0,1\}^n \rightarrow \{0,1\}$

Відповідь 1

Враховуючи дерево рішень обчислюючи f та число, важко визначити, чи існує дерево рішень T ´ обчислення f розміру не більше цього числа. $T$$f$$T'$$f$( Зантема і Бодлендер '00 )

Відповідь 2

Зважаючи на обчисленні дерева рішень f , NP важко наблизити найменше дерево рішень, що обчислює f, до будь-якого постійного коефіцієнта. $T$$f$$f$( Силінг '08 )

Відповідь 3

Нехай - розмір найменшого дерева рішень, що обчислює f . Враховуючи дерево рішень T, обчислюючи f , припускаючи N P ⊊ D T I M E ( 2 n ϵ ) для деякого ϵ < 1 , не можна знайти еквівалентне дерево рішення T ′ розміру s k для будь-якого k ≥ 0 .$s$$f$$T$$f$$NP \subsetneq DTIME(2^{n^\epsilon})$$\epsilon < 1$$T'$$s^k$$k \ge 0$

Я думаю, що ця більш сильна відповідь (спираючись на слабке припущення) може бути отримана з відомих результатів теорії навчання алгоритмів Оккама для дерев рішень за допомогою наступного аргументу:

1. Чи можливо знайти дерево рішень щодо змінних за час n log s , де s - найменше дерево рішень, що відповідає прикладам, що надходять з розподілу (модель PAC). ( Блюм '92 ) $n$$n^{\log s}$$s$
2. Якщо припустити для деяких ϵ < 1 , ми не можемо PAC дізнатися дерева розмірів s рішення за розмірами s k дерева рішень для будь-якого k ≥ 0 . ( Алехнович та ін. '07 )$NP \subsetneq DTIME(2^{n^\epsilon})$$\epsilon < 1$$s$$s^k$$k \ge 0$

Ці два результати, мабуть, означають твердість для вашої проблеми. З одного боку (1) ми можемо знайти велике дерево рішень; з іншого боку (2), ми не повинні мати можливість мінімізувати його, щоб отримати еквівалентний "маленький", розміром , навіть коли такий існує з розміром s .$s^k$$s$