Чи може тестування показати відсутність помилок?

$(n + 1)$ бали необхідні для однозначного визначення многочлена ступеня$n$ ; наприклад, дві точки в площині визначають рівно одну пряму.

Скільки балів потрібно, щоб однозначно визначити обчислювальну функцію $f : N \rightarrow N$ , враховуючи довжину програми, яка обчислює $f$ у фіксованій мові? (тобто пов'язана зі складністю Колмогорова $f$ ).

Ідея полягає в тому, що, принаймні теоретично, можна було б довести правильність програми, зробивши достатньо тестів.

Якщо є програма $P$ довжини $L$ , яка обчислює $f$ , існує обмеження на кількість функцій , які можуть бути обчислені з довжиною джерела не більше ніж $L$ .

Тому потрібно було лише "довести", що:

• $f$ можнаобчислити з довжиною джерела$\leq L$
• $P$ не обчислює жодну іншу функцію, яку можна обчислити в байтах або менше (шляхом тестування)$L$

Ця ідея, мабуть, не має практичних наслідків (межі, безумовно, повинні бути експоненціальними).

(Це малося на увазі як коментар, але пішло довго). Дуже цікаве запитання. Якщо ви готові задуматися про інші заходи складності, окрім Колмогорова, то в теорії навчання є кілька відповідей, які можуть вас задовольнити. Я залишаю це для експертів у цій галузі.

Наприклад, якщо я не помиляюсь, у «Теорії вивченого» Валіант довів, що булева функція може бути реконструйована, отримавши поліноміальне число «позитивних точок» на розмір її формули k-CNF (для будь-якого фіксованого k , і я маю на увазі під "позитивними точками" ті форми ).$(x_1,\ldots,x_n,1)$

У TAOCP 7.2.1.6 Кнута дивовижно показано (використовуючи візерунок ялинки), що для реконструкції монтової булевої функції (тобто не зменшення в кожній змінній) вам потрібно точно балів.${n+1 \choose \lfloor n/2\rfloor+1}$

Для продовження відповіді Дейго, стандартні межі складності вибірки з теорії навчання говорять вам, що якщо ви задоволені тим, що знайдете програму, яка є "приблизно правильною", вам взагалі не потрібно намагатися дуже багато балів. Скажімо, ми кодуємо програми у двійковій формі, так що є лише програми довжини d. Давайте припустимо також , що існує деякий розподіл по вхідних прикладів D . Можливо, ваша мета - знайти програму, для якої ви впевнені, що майже вірна ("Можливо, приблизно коректна", тобто як у моделі навчання Valiants PAC). Тобто ви хочете запустити алгоритм, який займе невелику кількість вибірок x ∼ D разом з f ( x $2^d$$D$$x \sim D$$f(x)$І буде з ймовірністю , щонайменше вихідний яка - то програма P , яка збігається з F , щонайменше, ( 1 - е ) частки входів , взятих з D . $(1-\delta)$$P$$f$$(1-\epsilon)$$D$

Ми просто намалюємо приклади x ∼ D та виведемо будь-яку програму P довжиною ≤ d, яка відповідає всім прикладам f . (Одне гарантовано існує, оскільки ми припускаємо, що f має складність Колмогорова не більше г ) ...$m$$x \sim D$$P$$\leq d$$f$$f$$d$

Яка ймовірність того, що певна програма яка не погоджується з f на більш ніж ϵ частці прикладів, відповідає m обраним нами прикладам? Це не більше ( 1 - ϵ ) м . Ми хотіли б, щоб ця ймовірність була не більше δ / 2 d, щоб ми могли взяти союз, пов'язаний над усім$P$$f$$\epsilon$$m$$(1-\epsilon)^m$$\delta/2^d$програмами 2 d , і сказати, що з вірогідністю принаймні 1 - δ жодна "погана" програма не відповідає нашим накресленим прикладам . Розв’язуючи, ми бачимо, що достатньо взяти лише m ≥ $2^d$$1-\delta$ приклади. (тобто лише лінійно багато в складності Колмогорова f ...)

До речі, подібні аргументи можуть бути використані для обгрунтування "бритви Оккама": з огляду на фіксовану кількість спостережень, серед усіх теорій, що їх пояснюють, слід вибрати ту, що має найменшу складність Колмогорова, оскільки є найменший шанс на перевищення.

Звичайно, якщо ви хочете перевірити єдину фіксовану програму таким чином, вам потрібен лише приклади ( 1 / δ ) / ϵ ) ...$O(\log(1/\delta)/\epsilon)$

Ось тривіальна відповідь: припустимо, що , тоді вам потрібно знати значення f взагалі | N | вказує на однозначне визначення f . Тому підхід, який ви накреслюєте, зовсім не допомагає вам, якщо ви якось не знаєте, що довжина L програми надзвичайно коротка: набагато коротша, ніж lg | N | біт.$L \ge \lg |N|$$f$$|N|$$f$$L$$\lg |N|$

Розглянемо сімейство функцій , де f i визначено функцією f i ( x ) = 1, якщо i = x і f i ( x ) = 0, якщо i ≠ x . Зауважте, що складність обчислювальних функцій Колмогорова f i становить приблизно lg | N | біт, оскільки ви можете жорстко кодувати значення $F=\{f_i:i\in N\}$$f_i$$f_i(x) = 1$$i=x$$f_i(x)=0$$i\ne x$$f_i$$\lg |N|$$i$у вихідному коді, і тоді все, що вам потрібно, - це просте умовне твердження ( extra).$O(1)$

Однак ви не можете відрізнити від функції нуля, якщо ви не перевірите її на вході i . Ви не можете відрізнити f i від f j, якщо ви не перевірите на вході i або j . Таким чином, ви повинні оцінити п на всіх | N | вхідні дані, щоб однозначно визначити, з якими ф я ми маємо справу. (Гаразд, технічно, вам потрібно оцінити це на | N | - 1 входах, але що завгодно.)$f_i$$i$$f_i$$f_j$$i$$j$$f$$|N|$$f_i$$|N|-1$

Ви можете зробити програму довільно довгою. Отже, з огляду на будь-яку програму, ви можете вирішити, чи є її мова еквівалентною мові цієї програми. Ви не можете цього зробити за теоремою Райса.