Чи може машинне навчання засвоїти таку функцію, як пошук максимуму зі списку?

У мене є вхід, який є списком, а вихід - максимум елементів вхідного списку.

Чи може машинне навчання засвоїти таку функцію, яка завжди вибирає максимум вхідних елементів, наявних у вході?

Це може здатися досить базовим питанням, але це може дати мені розуміння того, що може зробити машинне навчання взагалі. Спасибі!

Можливо , але зауважте, що це один із тих випадків, коли машинне навчання - це не відповідь . Існує тенденція намагатися використовувати машинне навчання в тих випадках, коли дійсно, стандартні рішення, засновані на правилах, швидший, простіший і, як правило, правильний вибір: P

Тільки тому, що ти можеш, не означає, що ти повинен

Редагувати : Спочатку я писав це як "Так, але зауважте, що ...", але потім почав сумніватися в собі, ніколи не бачивши цього робити. Я спробував це сьогодні вдень, і це, безумовно, можливо:

import numpy as np
from keras.models import Model
from keras.layers import Input, Dense, Dropout
from keras.utils import to_categorical
from sklearn.model_selection import train_test_split
from keras.callbacks import EarlyStopping

# Create an input array of 50,000 samples of 20 random numbers each
x = np.random.randint(0, 100, size=(50000, 20))

# And a one-hot encoded target denoting the index of the maximum of the inputs
y = to_categorical(np.argmax(x, axis=1), num_classes=20)

# Split into training and testing datasets
x_train, x_test, y_train, y_test = train_test_split(x, y)

# Build a network, probaly needlessly complicated since it needs a lot of dropout to
# perform even reasonably well.

i = Input(shape=(20, ))
a = Dense(1024, activation='relu')(i)
b = Dense(512, activation='relu')(a)
ba = Dropout(0.3)(b)
c = Dense(256, activation='relu')(ba)
d = Dense(128, activation='relu')(c)
o = Dense(20, activation='softmax')(d)

model = Model(inputs=i, outputs=o)

es = EarlyStopping(monitor='val_loss', patience=3)

model.compile(optimizer='adam', loss='categorical_crossentropy')

model.fit(x_train, y_train, epochs=15, batch_size=8, validation_data=[x_test, y_test], callbacks=[es])

print(np.where(np.argmax(model.predict(x_test), axis=1) == np.argmax(y_test, axis=1), 1, 0).mean())

Вихід 0,74576, тому правильно знаходити максимум 74,5% часу. Я не сумніваюся, що це можна було б покращити, але, як я говорю, це не є корисною справою, я б рекомендував для ML.

EDIT 2 : Насправді я повторно запустився сьогодні вранці за допомогою RandomForestClassifier sklearn, і він виявився значно краще:

# instantiation of the arrays is identical

rfc = RandomForestClassifier(n_estimators=1000, verbose=1)
rfc.fit(x_train, y_train)

yhat_proba = rfc.predict_proba(x_test)


# We have some annoying transformations to do because this .predict_proba() call returns the data in a weird format of shape (20, 12500, 2).

for i in range(len(yhat_proba)):
    yhat_proba[i] = yhat_proba[i][:, 1]

pyhat = np.reshape(np.ravel(yhat_proba), (12500,20), order='F')

print(np.where(np.argmax(pyhat, axis=1) == np.argmax(y_test, axis=1), 1, 0).mean())

І оцінка тут становить 94,4% зразків з максимально точно визначеним максимальним показником, що справді досить добре.

Так. Дуже важливо, що Ви вирішуєте архітектуру рішення машинного навчання. Архітектури та навчальні процедури не пишуть самі; вони повинні бути спроектовані або сплановані, і навчання слід як засіб виявлення параметризації архітектури, що підходить до набору точок даних.

Ви можете побудувати дуже просту архітектуру, яка фактично включає максимальну функцію:

net(x) = a * max(x) + b * min(x)

де a і b - вивчені параметри.

З огляду на достатню кількість зразків тренувань та розумну процедуру тренувань, ця дуже проста архітектура дуже швидко навчиться встановлювати значення "1" і "b" до нуля.

Машинне навчання часто набуває форми розважальних численних гіпотез про ознайомлення та перетворення точок вхідних даних, а також вчитися зберігати лише ті гіпотези, які співвідносяться із цільовою змінною. Гіпотези кодуються явно в архітектурі та підфункціях, доступних в параметризованому алгоритмі, або як припущення, закодовані в алгоритмі "без параметрів".

Наприклад, вибір використання точкових продуктів та нелінійностей, як це часто зустрічається у ванільній нейронній мережі ML, є дещо довільним; він виражає загальну гіпотезу про те, що функція може бути побудована за допомогою заздалегідь визначеної композиційної мережевої структури лінійних перетворень та порогових функцій. Різні параметризації цієї мережі втілюють різні гіпотези щодо того, які лінійні перетворення використовувати. Будь-який інструментальний набір функцій може бути використаний, а завдання машинного учня - виявити за допомогою диференціації, проби та помилки чи іншого іншого повторюваного сигналу, які функції чи функції в його масиві найкраще мінімізують показник помилки. У наведеному вище прикладі вивчена мережа просто зводиться до максимальної самої функції, тоді як недиференційована мережа може альтернативно «вивчити» мінімальну функцію. Ці функції можна виразити або наблизити за допомогою інших засобів, як у лінійній чи нейромережевій регресії в іншій відповіді. Підсумовуючи, це дійсно залежить від того, які функції або фрагменти LEGO у вас в інструментальній панелі архітектури ML.

Так - Машинне навчання може навчитися знаходити максимум у списку чисел.

Ось простий приклад навчання пошуку максимуму індексу:

import numpy as np
from sklearn.tree import DecisionTreeClassifier

# Create training pairs where the input is a list of numbers and the output is the argmax
training_data = np.random.rand(10_000, 5) # Each list is 5 elements; 10K examples
training_targets = np.argmax(input_data, axis=1)

# Train a descision tree with scikit-learn
clf = DecisionTreeClassifier()
clf.fit(input_data, targets)

# Let's see if the trained model can correctly predict the argmax for new data
test_data = np.random.rand(1, 5)
prediction = clf.predict(test_data)
assert prediction == np.argmax(test_data) # The test passes - The model has learned argmax

Алгоритми навчання

Замість того, щоб вивчати функцію як обчислення, здійснене нейронною мережею подачі вперед, існує ціла область досліджень щодо алгоритмів навчання з вибіркових даних. Наприклад, можна використовувати щось на зразок нейронної машини Тюрінга чи якийсь інший метод, коли виконання алгоритму контролюється машинним навчанням у його точках прийняття рішень. Алгоритми іграшок, такі як пошук максимуму або сортування списку, перетворення списку або фільтрація списку, зазвичай використовуються як приклади в дослідженні алгоритму навчання.

Я виключу освічені конструкції зі своєї відповіді. Ні, неможливо використовувати підхід до машинного навчання (ML) для повного представлення максимальної функції для довільних списків з довільною точністю. ML - це метод, заснований на даних, і зрозуміло, що ви не зможете наблизити функцію в регіонах, де у вас немає точок даних. Отже, простір можливих спостережень (який нескінченний) не може бути охоплений кінцевими спостереженнями.

Мої твердження мають теоретичну основу з теоремою Універсального наближення Кібеко для нейронних мереж. Я цитую теорему з Вікіпедії:

$\mathbb{R}^n$

$\mathbb{R}^n$$x\in \mathbb{R}$

Якщо ваш простір спостережень є компактним, ви, можливо, зможете наблизити максимальну функцію за допомогою кінцевого набору даних. Оскільки відповідь, яка проголосувала вгорі, ясно, що ви не повинні винаходити колесо!

Ось розширення на мій коментар. Якщо передмова, абсолютно @DanScally має рацію, що немає підстав використовувати ML для пошуку максимуму списку. Але я думаю, що ваше "це може дати мені розуміння того, що машинне навчання взагалі може зробити" є достатньою підставою для того, щоб заглиблюватися в це.

$\max$$\max$

$\max$$\max$$\max$

$n$ $n$

$\operatorname{argmax}$$n$$\binom{n}{2}$$\delta_{ij} = \mathbf{1}(x_i < x_j)$$i<j$$x_j-x_i$$n$$x_i$$\sum_{j<i} \delta_{ji} + \sum_{j>i} (1-\delta_{ij})$$j$$x_i>x_j$$x_i$у відсортованому списку. Щоб завершити аргмакс, просто пороговіть цей шар.
На цьому етапі, якби ми могли розмножитися, ми отримаємо фактичне максимальне значення досить легко. Рішення в роботі полягає у використанні двійкового подання чисел, в якому точка двійкового множення є такою ж, як порогове додавання. Щоб просто отримати аргмакс, достатньо простої лінійної функції, помножуючи й показник на і підсумовуючи.$i$$i$

Нарешті, для наступного питання: чи можемо ми навчити НН до цього стану. @DanScally розпочав нас; можливо, знання теоретичної архітектури може допомогти нам обдурити рішення? (Зверніть увагу, що якщо ми зможемо навчитися / наблизити конкретний набір ваг вище, сітка фактично буде виходити за межі діапазону навчальних зразків.)

Зошит у github / Colab

Трохи змінивши речі, я отримую кращий результат тестування (0,838), і навіть тестування на вибірці поза вихідним діапазоном тренувань отримує гідну оцінку (0,698). Використання входів масштабування до$[-1,1]$отримує тестовий бал до 0,961, поза межами діапазону - 0,758. Але я забиваю той самий метод, що і @DanScally, який здається трохи нечесним: функція ідентичності чудово оцінить цю метрику. Я також роздрукував кілька коефіцієнтів, щоб побачити, чи з’являється щось близьке до вищеописаного точного пристосування (насправді); і кілька вихідних результатів, які дозволяють припустити, що модель занадто боязка в прогнозуванні максимуму, помиляючись на тому, що передбачити, що жоден з входів не є максимальним. Можливо, зміна цілі могла б допомогти, але в цей момент я вже вклав занадто багато часу; якщо хтось прагне вдосконалити підхід, сміливо грайте (в Colab, якщо хочете) і повідомте мене.

Так, навіть настільки просте машинне навчання, як звичайні лінійні найменші квадрати, це може зробити, якщо ви використовуєте деяку прикладну кмітливість.

(Але більшість вважає це досить жахливим перенасиченням).

(Я припускаю, що ми хочемо знайти max abs abs вхідного вектора):

1. Виберіть монотонно спадаючу функцію абсолютного значення, наприклад $$f(x) = \frac{1}{x^2}$$
2. Побудуйте діагональну матрицю . Назвемо це$f({\bf r})$$\bf C_r$
3. Побудувати вектор повного одних .$\bf S$
4. Побудуйте та вирішіть систему рівнянь$(\epsilon {\bf I}+10^3{\bf S}^t{\bf S}+{\bf C_r})^{-1}(10^3 {\bf S}^t)$
5. Назвемо вектор результату , це буде мірою ймовірності (дорівнює 1), ми можемо його перетягувати нелінійно, наприклад$\bf p$ $$p_i = \frac{p_i^k}{\sum|p_i|^k}$$
6. Просто обчисліть скалярний добуток з індексним вектором і круглим.