Алгоритм машинного навчання для гри на Connect Four

Я зараз читаю про машинне навчання і цікавився, як застосувати його до гри Connect Four .

Моя поточна спроба - це простий багатокласовий класифікатор, що використовує модель сигмоїдної функції та метод один проти всіх.

На мою думку, вхідними функціями має бути стан (диск програвача 1, диск програвача 2, порожній) 7x6 = 42 полів сітки.

Виходом буде номер рядка, в який потрібно вставити диск. Оскільки це дискретне число від 1 до 7, я думаю, що це може трактуватися як багатокласова класифікаційна проблема.

Але як я можу генерувати приклади навчання, які можна використовувати під контрольним навчанням?

Основна мета - виграти гру, але результат, очевидно, не відомий при виконанні кожного, але в останню чергу. Якщо я просто дозволю двом гравцям, які вирішують випадковим чином, що потрібно грати один проти одного тисячі разів, чи буде достатньо просто взяти всі кроки, зроблені переможцем кожного ігрового раунду, як навчальні приклади? Або я повинен робити це зовсім іншим способом?

Редагувати: Як було запропоновано в коментарях, я трохи прочитав про навчання підкріплення. З того, що я знаю, я розумію, що Q-Learning повинен зробити трюк, тобто я повинен наблизити функцію Q поточного стану, а дію зробити максимальною сукупною нагородою, починаючи з цього стану. Тоді кожним кроком було б вибрати дію, що призводить до максимального значення Q. Однак у цій грі є занадто багато станів, щоб зробити це, наприклад, як таблицю пошуку. Отже, який ефективний спосіб моделювати цю Q-функцію?

Тільки запропонувавши простішу альтернативу навчанню підкріпленню, ви можете використовувати базовий алгоритм minimax для пошуку хороших кроків та використовувати машинне навчання для оцінки позицій на дошці.

Для уточнення, minimax будує ігрове дерево, де кожен вузол позначений результатом з листя вгору (1 = гравець A виграє, 0 = гравець B виграє), припускаючи, що A вибирає рухи, які максимізують це число, і B обирає рухи які мінімізують його.

Якщо гра дуже проста, ви не зможете сконструювати все ігрове дерево до терміналів. Натомість вам доведеться зупинятися на незавершених позиціях на дошці та оцінювати листя з деякою евристикою (по суті, ймовірністю того, що гравець А виграє з даної позиції). Можна дозволити алгоритм машинного навчання, як нейронна мережа, спробувати дізнатися цю ймовірність, з'єднавши чотири позиції з відомими результатами.

Щоб створити приклади тренувань, ви можете побудувати свого програвача minimax за допомогою простого евристичного характеру, дозволити йому грати тисячу разів, використовувати ці ігри для тренувань своєї першої нейронної мережі, а потім дозволити собі заплатити тисячу ігор тощо. З невеликою долею ваша система буде вдосконалюватися з кожним поколінням.

Я написав повідомлення в блозі про використання minimax для відтворення підключення чотири рази тому. Ви можете побачити код у дії тут . Якщо вам потрібно тренувати свої моделі, ви можете дозволити їй грати пару тисяч ігор проти моєї реалізації minimax.