Чому машинне навчання не може розпізнати прості числа?

Скажімо, у нас є векторне подання будь-якого цілого числа величини n, V_n

Цей вектор є входом до алгоритму машинного навчання.

Перше запитання: Для якого типу представлень можна дізнатися первинність / композитність n за допомогою нейронної мережі або якогось іншого векторного бітового відображення ML. Це суто теоретично - нейронна мережа може бути, можливо, не обмеженою розмірами.

Нехай ігнорують уявлення, які вже пов’язані з тестуванням на первинність, такими як: нульовий перелік факторів n або існування свідка сумісності, наприклад у Міллера Рабіна. Давайте замість цього зосередимось на уявленнях у різних радикусах, або на уявленнях як векторах коефіцієнтів (можливо, багатоваріантних) многочленів. Або інші екзотичні, як їм належить.

Друге питання: для чого, якщо такі є, типи алгоритму ML вивчать це неможливо, незалежно від специфіки вектора представлення? Знову ж таки залишимо «заборонені тривіальністю» уявлення про приклади, наведені вище.

Вихід алгоритму машинного навчання - це один біт, 0 для простих, 1 для композитного.

Заголовок цього питання відображає мою оцінку того, що консенсус щодо питання 1 "невідомий", а консенсус щодо питання 2 - "ймовірно, більшість алгоритмів МС". Я запитую це, оскільки я не знаю більше цього, і сподіваюся, що хтось може вказати шлях.

Основною мотивацією цього питання є: чи існує «теоретично-теоретична» межа щодо структури безлічі праймів, які можна захопити в нейронну мережу певного розміру? Оскільки я не знаю цю термінологію, дозвольте мені кілька разів перефразувати цю думку і побачити, чи отримую наближення Монте-Карло до поняття: у чому полягає алгоритмічна складність набору простих чисел? Чи може той факт, що праймери є діофантиновими рекурсивно переліченими (і можуть задовольнити певне велике діофантинове рівняння ), використовуватися для захоплення тієї самої структури в нейронній мережі з описаними вище входами та виходами.

це старе питання / проблема з багатьма, багатьма зв’язками вглиб теорії чисел, математики, TCS і, зокрема, автоматизованого доведення теореми. [5]

старе, майже давнє питання: "чи існує формула для обчислення простих чисел"

відповідь - так, у певному сенсі існують різні алгоритми для його обчислення.

Зета-функція Рімана може бути переорієнтована як "алгоритм" для пошуку простих чисел.

мені здається можливим, що GA, генетично-алгоритмний підхід може досягти успіху в цій проблемі одного дня з геніальною установкою, тобто GA - це найближча відома технологія, яка має найбільші шанси на успіх. [6] [7] її проблема пошуку алгоритму з кінцевого набору прикладів, тобто машинного навчання, що дуже схоже на математичну індукцію. однак, схоже, поки що недостатньо досліджень щодо застосування ГА в теорії чисел.

Найбільш близьким до цього в існуючій літературі є, наприклад, [8], де обговорюється автоматична розробка гіпотези з подвійним простуванням, тобто "автоматизована гіпотеза".

інший підхід - це програма, яка має великий набір таблиць стандартних функцій, поряд з деякою складною логікою перетворення, для розпізнавання стандартних цілих послідовностей. це нова функція, вбудована в Mathematica під назвою findsequence[3]

його також пов'язане з відносно новим полем, яке називається "експериментальна математика" [9,10], або що також називається "емпіричним" дослідженням в TCS.

Іншим основним моментом, який слід зробити тут, є те, що послідовність праймерів не "гладка", сильно нерегулярні, хаотичні, фрактальні та стандартні алгоритми машинного навчання історично засновані на чисельній оптимізації та мінімізації помилок (наприклад, спуск градієнта), і не роблять цього добре знаходити точні відповіді на дискретні проблеми. але знову ж таки ГС може досягти успіху, і було показано, що він успішний у цій галузі / режимі.

[1] чи існує математичний еквівалент для n-го простого, math.se

[2] формула для прайметів , wikipedia

[3] функція пошуку наслідків вольфрама

[4] зета функція Рімана

[5] основні успіхи автоматизованого доведення теореми

[6] застосування генетичних алгоритмів у реальному світі

[7] застосування генетичних алгоритмів для автоматизованого доказування thm Вангом

[8] Автоматизоване створення теорій чисел у теорії чисел за допомогою кольтону HR, Otter та Maple

[9] Чи існують програми експериментальної математики в TCS?

[10] Список читання експериментальної алгоритміки

Питання, на мій погляд, досить розпливчасте і передбачає деяке нерозуміння, тому ця відповідь намагається лише надати правильну лексику та направити вас у правильному напрямку.

Є дві галузі інформатики, які безпосередньо вивчають подібні проблеми. Індуктивна теорія висновку та обчислювальна теорія навчання . Дві галузі дуже тісно пов'язані між собою, і відмінність - це соціальна та естетична, а не формальна.

$A$$\mathcal{P}(A^*)$$A$$A$$\mathcal{F} \subseteq \mathcal{P}(A^*)$

$f: \mathbb{N} \to A^*$

Таким чином, подання позитивних даних - це перерахування цільової концепції, часто із деякими додатковими умовами справедливості. Ви також можете попросити презентацію, яка позначає слова залежно від того, є вони в мові чи ні. Знову ж таки, ви можете додати додаткові умови для забезпечення справедливості та висвітлення всіх слів.

$Rep$$M$$Rep$$L(M)$

$p: \mathbb{N} \to Rep$$L(p(i))$$f(j)$$j \le i$$k$$j \ge k$$L(p(j)) = L(p(j+1))$

Дозвольте підкреслити, що це лише одна конкретна формалізація однієї конкретної моделі навчання. Але це крок нульовий, перш ніж ви можете почати задавати та вивчати питання, які вас цікавлять. Замість довільних сімей мов ми можемо розглянути дуже специфічні мови або навіть конкретні уявлення (наприклад, монотонні булеві функції). Існує різниця між тим, чого можна дізнатися у кожній моделі, та складністю навчання. Ось один приклад принципового результату неможливості.

Золото [1967] Жодна сім'я мов, яка містить усі кінцеві мови та принаймні одну надто обмежену мову, не може пасивно вивчатися лише з позитивних даних.

Слід бути дуже обережним при тлумаченні цього результату. Наприклад, Дана Англуйн показала у 80-х роках, що

$k$

$k$

Angluin [1987] Регулярні мови вивчаються у вчителя, який відповідає на запити еквівалентності та надає контрприклади. Алгоритм є многочленом у безлічі станів мінімальної DFA та довжині максимального контрприкладу.

Це досить сильний і позитивний результат, і останнім часом знайшли кілька застосувань. Однак, як завжди, важливі деталі, як випливає з назви статті нижче.

Мінімально узгоджена проблема DFA не може бути наближена в поліномах , Пітт і Вармут, 1989.

Тепер вам може бути цікаво, як це стосується вашого питання? На що я відповів, що проектний простір для математичного визначення вашої проблеми дуже великий, і конкретна точка, яку ви обрали в цьому просторі, впливатиме на тип відповідей, які ви отримаєте. Сказане не має на меті бути всебічним опитуванням того, як формалізувати навчальну проблему. Це просто призначено продемонструвати напрямок, який ви хочете дослідити. Усі посилання та результати, які я цитую, надзвичайно датовані, і поле зробило багато з того часу. Існують основні підручники, з якими можна проконсультуватися, щоб отримати достатню основу, щоб сформулювати своє питання точно і визначити, чи існує відповідь, яку ви шукаєте.

Успіх алгоритму навчання критично залежить від представлення. Як ви представляєте вхід до алгоритму? В крайньому випадку, припустимо, ви представляєте числа як послідовності простих факторів - у цьому випадку навчання досить тривіально. В іншому випадку розглянемо представлення чисел як двійкових рядків. Усі стандартні алгоритми навчання, які я знаю, тут не зможуть. Ось один, який би спрацював: знайдіть найменшу машину Тьюрінга, яка приймає всі позитивні приклади і відкидає всі негативні. [Вправа: доведіть, що це універсальний учень.] Одна з проблем полягає в тому, що завдання не є Тьюрінгом-обчислювальним. Щоб поставити речі в перспективу, чи можете ви навчитися розпізнавати первинність, базуючись лише на бінарному поданні?

Ця проблема є частиною сучасних досліджень: задаючи вхідні та вихідні дані, знайти найпростіший алгоритм, який виробляє вихід із вхідних даних. Мережі RNN є повним Тьюрінгом, тому теоретично за допомогою нескінченного SGD ви можете опинитися в RNN, що еквівалентно цьому коду:

bool isPrime(int n, int d) {
    if(n<2)
        return 0;
    if(d == 1)
        return true;
    else 
    {
        if(n % d == 0) 
            return false;
        else
            return isPrime(n, d - 1);
    }
}

на цьому наборі даних: 0 => 0, 1 => 0, 2 => 1, 3 => 1, 4 => 0, 5 => 1, ... і т.д.

Проблема полягає в тому, що у нас немає практично надійної теорії конвергенції SGD, ані будь-яких оцінок часу, необхідного для конвергенції чи глибини нейронної мережі. Але останні дослідження показують, що подібні проблеми можна вирішити:

https://en.wikipedia.org/wiki/Neural_Turing_machine

https://www.microsoft.com/en-us/research/wp-content/uploads/2017/10/curr_opin_sys_biol_17.pdf

https://www.microsoft.com/en-us/research/wp-content/uploads/2016/12/cav13.pdf

використовувати вченого Google для пошуку ключових слів ...

Машинне навчання підпорядковане законам складності обчислень.

Проблема основної факторизації - це клас складності NP, можливо навіть NP-важкий (не доведено).

Ось чому виявлення праймерів є однією з найважчих проблем у машинному навчанні, і може бути зовсім неможливим при такому підході.

Квантові комп'ютери (КК) можуть це робити в поліноміальний час, але Шор є грубим детермінізмом, а не машинним навчанням.

Можливо, алгоритм навчання QC, заснований на Shor's, є підходом. Я дійсно просто стукаю скелі разом, пропонуючи це.