Як Альфа Нуль "більш людський"?

У мене можливо наївне питання щодо AlphaZero. Я бачив, як це описано як гра в "більш людському" стилі, ніж інші комп'ютери, але що б це не робило, він набирає близько 100 балів ELO, роблячи це. Каспаров та багато інших заявляли, що сильна людина у співпраці з комп'ютером обіграє сильний комп'ютер (можливо, приблизно на 100 ELO ??). Тож очевидним є питання, як порівняти AlphaZero із комбінацією "кентавра"?

Подивившись лише на кілька ігор, я помітив, що більшість комп'ютерів грають у широко відкриті ігри, що забезпечують максимальну власну мобільність, але AlphaZero, здається, дуже стурбований обмеженням мобільності супротивників. У людському гравці я би описав це як питання стилю, не більш-менш людського.

Сторінка 5 у статті має свою відповідь:

... AlphaZero компенсує меншу кількість оцінок, використовуючи свою глибоку нейронну мережу, щоб коштувати набагато більш вибірково на найперспективніших варіаціях - можливо, на більш "людський" підхід до шахів ...

"вибірково" - ключове слово. Що це означає? Давайте використаємо наступне положення для нашого прикладу:

https://chess24.com/en/read/news/london-classic-5-caruana-shows-how-it-s-done

Це нещодавня гра, виграна Caruana у 2017 році в Лондонській шаховій класиці. Білий єпископ зазнає нападу, і ви знаєте, що вам потрібно його перемістити. Але де?

Можливості (не втрачаючи шматок):

• Bh4
• Be3
• Bd2
• Bc1

Що думав Каруана?

Я відчував, що в якийсь момент я програю, але побачивши, 25.Bc1 я раптом почав трохи оптимістичніше ставитись до своїх шансів. Я зрозумів, що моя позиція погана, але принаймні у мене був план, і це було дійсно все, що мені було потрібно для певної впевненості в цій посаді. Коли я побачив це b3, c4, це подвійний край, і я маю певні шанси.

Це і мислення людини , і «хода людини». Каруана не вважав Bh4, Be3 та Bd2, тому що вони "виглядали" погано. Він зосереджувався лише і лише на ході Bc1.

Люди грають у шахи дуже вибірково , ми відкидаємо необґрунтовані рухи, бо не встигаємо вивчити всі можливості однаково.

• Ми відкидаємо Bh4, оскільки він звільняє напругу на пішаку h6
• Ми відкидаємо Be3, оскільки він блокує дві білі граки на третьому рангу
• Ми відкидаємо Bd2, оскільки він блокує Білу королеву на стороні короля

Ось що AlphaZero намагається стверджувати у статті. Вони стверджують, що їх алгоритм, хоча повільніше, ніж Stockfish, здатний вибірково вибирати кращі рухи, ніж Stockfish у пошуку. Хоча Stockfish швидше, він витрачає час на погані кроки. AlphaZero повільніше, але він більш точний (як, що робив Каруана).

Наприклад, AlphaZero може витратити 80% ресурсів на Bc1, і 20% на всі інші єпископські ходи. Запаси риби можуть давати 25% за кожен хід (Bh4, Be3, Bd2, Bc1).

Більшість сильних двигунів підкреслюють погляд дуже глибоко за рахунок функціонування поверхневої оцінки. У роботі AlphaZero вони кажуть, що Stockfish займає 70 мільйонів позицій в секунду.

Людські гросмейстери дивляться на дуже мало посад справді порівняно з двигунами, але вони краще відчувають, хто кращий у даній позиції.

AlphaZero розглядав лише 80 000 позицій в секунду, тому витрачає набагато більше часу на свою оціночну функцію.

Ось такий сенс, в якому вони означали "як людину як людину", нічого більше.

AlphaZero, здається, грає як звичайний "кентавр" -> correspodence GM з допомогою двигуна.

Як FM я отримав би більше задоволення від гри в AlphaZero проти звичайного двигуна.

Одне порівняння було б, як це грає так, як Карпов би мав ідеальну тактику. (Гра 9 AlphaZero розігрує шматок за 15 рухів, що дуже подобається Талу).

Це не просто стиль, AlphaZero створює враження розуміння позицій краще, ніж Stockfish.

AlphaZero також не страждає від ефекту Горизонту, від якого досі страждали ВСІ шахові двигуни. Раз і знову він здатний правильно оцінити позицію, більше рухається вниз, ніж робить Stockfish.

Ось приклад:

AlphaZero грає короля до центру 16. Kxd2! в середній грі правильно судячи про те, що Блек не зможе цим скористатися.

Він здатний правильно оцінити жертву шматка 30. Bxg6! в той час як звичайні двигуни не в змозі побачити, що вони втрачені за ряд рухів.

32. f5 теж непогано.

Є й інші приклади, такі як обмін жертвою в грі 3.

Так само легко стрибати на прокладці, кажучи, що гра Альфа-Нуль є "більш" людиною, ніж попередні комп'ютерні шахові програми, як і стрибати на протилежній фургоні, і сказати, що гра Альфа-Нуль цілком "чужа". Не ясно, що гра «Альфа-нуль» є «більш людською», особливо зважаючи на нашу схильність людини до антропоморфізму.

Шахи як боротьба (людського) розуму

Але в шахах ця тенденція правдива? Магнус Карлсен колись говорив про те, як "традиційні" комп'ютери взагалі не мають людської творчості, кажучи:

"Шахи - це боротьба між розумом людини. Саме це робить його захоплюючим. Комп'ютерний шах є механічним, сухим і м'яким. Звичайно, ходи дуже сильні, але стилю немає. Якщо ви намагаєтеся грати проти шахового комп'ютера , ви не тільки втратите з дуже високою впевненістю, але і вам буде нудно в процесі.

Магнус Карлсен не бачив доказів людських стилів гри в традиційних шахових комп'ютерах. Тож давайте вивчимо, чи нещодавнє досягнення Альфа-Зеро скасувало цю перспективу та перевело нас до чогось більш нагадуючого нас самих.

Якщо під назвою "по-людськи" ви маєте на увазі гру ", яка проявляє поведінку, швидше за все, сподобається нашому почуттю антропоморфізму", чи виглядає стиль Альфа-нуля більш людським? Як ми насправді випробовуємо цього суб'єктивного короткозорого, що люблять проектувати на речі, нелюдські? Давайте запитаємо - чи алгоритм "вибірково вибирає краще" чи демонструє "більш людський творчий вибір" у своєму стилі гри?

Творці алгоритму вказують, що на відміну від Stockfish, який використовує алгоритм пошуку Alpha-Beta, Alpha-Zero використовує алгоритм пошуку дерев Монте-Карло (MCTS), який приймає в якості зважених параметрів θ, побудованих за попередніми результатами ~ Сторінка 3. Освоєння шахів і Шогі від самостійної гри з загальним алгоритмом навчання підсилення ).

Таким чином, алгоритм взагалі не виявляє вибору. Він насправді бере участь у випадковому, але ймовірнісному пошуку Монті-Карло, де можливі шляхи пошуку, які йому доступні, все більше упереджуються попередніми результатами. Чи вибрав Альфа-нуль оптимізувати свій стиль гри таким чином чи це був вибір його програмістів?

Чи завжди у Альфа-нуля є всі можливі рухи, доступні йому для розгляду, чи це деякі рухи алгоритмічно упереджені таким чином, що імітує досвід, який може бути антропоморфно інтерпретований людьми?

Спочатку у нього були доступні всі рухи, тому його «стиль» був цілком випадковим. Однак, оскільки його пошук все більше і оптимальніше обмежується попереднім успіхом чи невдачею, його стиль насправді змінюється до режиму, з яким його програмували програмісти. Це, однак, "більш людське"? Порівняйте це з Магнусом Карлсеном, який іноді обиратиме менш оптимальні рухи, оскільки вони більш креативні :

Магнус Карлсен: "Я вдячний створити щось унікальне"

Шахи як боротьба (чужорідного) розуму

Люди можуть вибирати критерії, які визначають свій власний стиль гри (наприклад, я часто вибирав імпульс та помилку у своєму власному стилі). Багато хто бачить гру «Альфа-нуль» у обох шахах та іде як інопланетянин . Нік Хайнс, студент випускника Лабораторії інформатики та штучного інтелекту MIT (CSAIL), зауважує:

"Ми бачимо тут модель, вільну від людських упереджень і презумпцій: вона може дізнатися все, що вона визначає, оптимальне, що може бути більш нюансованим, ніж наші власні уявлення про те саме. Це як чужа цивілізація, яка вигадує власну математику, яка дозволяє їй робити такі речі, як подорож у часі ... "

Так само ГМ Пітер Хайн Нільсен сказав на Chess.com :

"Прочитавши статтю, але особливо побачивши ігри, я думав, що, я завжди цікавився, як це було б, якби вищий вид висадився на землю і показав нам, як вони грають у шахи. Я відчуваю, що зараз знаю".

Здається, більшість реагує на новий стиль гри «Альфа-нуль» як «чужа гра», а не як «більш людська».

Тому є причина не погоджуватися з відповідями вище, які говорять "так".

Це неймовірно цікавий час бути живим.

Шахові комп’ютери, починаючи з 1970-х років, були алгоритмами пошуку на основі мінімаксу, використовуючи альфа-бета обрізку. Ці програми ставали все сильнішими та сильнішими як завдяки прогресу швидкості комп'ютера та паралелізму, так і вдосконаленням евристичної функції eval, що використовується для обрізки гілок та вибору вузлів листя. Але люди давно помітили, наскільки матеріалістична і нудна комп’ютерна гра, і багато людей (включаючи мене) вважали, що неможливо закодувати «людську» інтуїцію в програмне забезпечення.

Але ви бачили ці ігри?

AlphaZero демонструє неймовірно красиву гру, включаючи кілька прикладів матеріальної жертви для довгострокової позиційної переваги. Це нагадує деякі найкрасивіші ігри від людських майстрів, але з неперевершеною технічною точністю. Це перший приклад, що я бачив у своєму житті щось, що створюється комп'ютером, а також має глибоку красу .

Претензія Кентавра:

Я чув, як Гаррі говорив це багато разів, але це просто неправда. Або принаймні, це вже не буде правдою з AlphaZero на сцені.

Уявіть собі це: є кусковий мішок, який має 10 000 відповідних продовжень, де 5000 з них суто тактичні (але здебільшого не пов'язані один з одним) та ще 5000, які в основному є позиційними (але в основному не пов'язані між собою). Як людина могла просіяти всі ці варіації, не помиляючись? Якщо AlphaZero тепер може розглянути ці творчі кроки, який внесок може зробити людина?

Останній кордон:

Залишилося одне місце, де грубий розрахунок все ще буде бити глибокі нейронні сітки: ендшмени Немає інтуїції, яка б обіграла таблицю. Але закінчення, для яких потрібна база таблиць (оскільки дерево пошуку не може пройти досить глибоко, щоб просто обчислити правильний хід), є досить рідкісними. І ви могли просто підключити таблицю до AlphaZero, але це знищило б чистоту двигуна "самоучки", правда?

Оскільки люди не мають можливості шукати глибокий пошук, як традиційні комп'ютерні шахові програми (fritz, stockfish та ін.), Вони створюють "стратегічні принципи" або правила "thumb" (контроль центру, розробка, безпека короля) та концепції чи хитрощі, які застосовуються у великій кількості ситуації по-різному, наприклад, жертва, з'єднання граків, єпископська пара, конкретні закінчення, наприклад, як кут короля граком та пішаком.

Я думаю, що альфа-нуль самостійно переосмислив багато таких понять (сприйняття та поняття), а також навчився безлічі нових - тому що його знання не потрібно було базувати на оціночних функціях людини і сильний пошук в міні-максі, який завжди передбачає, що опонент - це геній.

Звичайно, такі принципи самі конфліктують у деяких ситуаціях, саме тому ретельно вивчаються різні вистави та підводні камені - наприклад, не розвивайте королеву занадто рано.

З іншого боку, люди також помічають, що втрачаючи один шматок (без обміну), ви послаблюєте свої сили, тому вони надзвичайно обережні, щоб не втратити шматок без компенсації.

Я думаю, що гра Альфазеро звільнила комп'ютерні шахи (і людські шахи) від рабського страху втратити дрібний матеріал і надмірну залежність від відкриття книг та цінностей.

Ігри Alphazero показують такі речі, як "стратегічні принципи", такі як контроль центру, розвиток, простір, ініціатива набагато важливіші, якщо ваш противник неохайний. Іншими словами, «жертва» - це насправді не жертва, а торгування частинкою для отримання ініціативи, позиції, спрямованого руху.

Alphago (не нуль) спирався на людську оцінку, але alphazero налаштовує весь ланцюг оцінювання на «пошук або моделювання» як єдиний кінцевий процес і придумує абсолютно новий спосіб гри.

Якщо ви подумаєте над цим, великі майстри минулого, такі як Морфі, Фішер, Каспаров, були аплодировані за типову гру-інтуїтивно зрозумілу гру, де вони не обмежені оцінкою, написаною на камені, використовуючи особливі ситуації, які виникають. Я думаю, що в іграх альфа-нуля є такий "вау" фактор.

Чому нейронні мережі. У той час як комп'ютерні програми, що використовують символічне представлення та дискретний пошук, можуть використовувати лише "один" спосіб мислення, нейронні мережі можуть паралельно обробляти ситуації з поперемінними, суперечливими оцінками та переходити до більш цінного виду в пізніших шарах.

Більш людське в тому сенсі, що рухи, які вона грає, схоже, більш-менш збігаються з людським підходом: гра на довгострокову перевагу, позиційні жертви, активність. Існує очевидне зближення з людськими шаховими знаннями та прийнятими стратегічними принципами, вдосконаленими протягом століть (наприклад, це «відкрило» багато тих самих відкриттів). Це чудово, враховуючи той факт, що AlphaZero не був посіяний людськими шаховими знаннями.

Але подібність закінчується тут. AlphaZero піднімає його на наступний рівень і робить це краще, і таким чином люди ніколи не задумувались. AlphaZero володіє "надлюдськими" можливостями цитування статті: "AlphaZero досягла надлюдського рівня гри [...]" ( https://arxiv.org/pdf/1712.01815.pdf ). Крім того, у нього немає слабких властивостей людських істот: проблеми концентрації, страху, втоми, почуттів, інтуїції тощо, які обмежують людину. А його кремнієвий мозок дозволяє при необхідності робити тактичні комбінації, що перевищують можливості людини.

Хочу сказати спасибі всім, хто відповів на це запитання, часто тонко і проникливо. Основна відмінність відповідей, як мені здається, полягає в тлумаченні слова людський.

AlphaZero не грає в людські шахи в сенсі недоліків і прорахунків, але його "думка" процес, здається, відповідає у загостреній формі тому, як я думаю, що думають більшість сильних гравців. Ви досить швидко складаєте список «кандидатських рухів», у які ви хотіли б зіграти, а для найсильніших гравців цей список надзвичайно точний, навіть граючи щось подібне до впізнавано розважливої ​​гри за одну хвилину. Решту часу витрачається на запитання, який з кроків у цьому списку насправді працює? Петросян зазначив, що відчуває себе найбільше у формі, коли той рух, який він врешті зіграв, був тим, про кого він вперше подумав. Всі ми знаємо, наскільки це задоволення, коли хода, яку ми найбільше хотіли грати, виявляється тактично граючою. Я можу зв’язатися з алгоритмом AlphaZero набагато легше, ніж можу шукати AlphaBeta,

Найцікавішим є те, як машина змогла самостійно грати розпізнавати перспективних кандидатів. У цьому полягає потенціал справжньої революції. Цікаво, чи це можливо лише для таких областей, як шахи та ігри, де цілі можна чітко визначити. Але мені здається, що AlphaZero, здається, демонструє цілеспрямовану гру, але Stockfish поняття не має, що відбувається.

Наскільки я розумію нейронні мережі, справжньою перевагою A0 є його чудова оцінка позицій плати. Ця оцінка включає як короткострокові тактичні знання (які в певному сенсі служать мультиплікатором кількості досліджуваних позицій), так і вищу оцінку стратегічного значення.

Я відчуваю, що вся дискусія пропущена - це те, що A0 може грати в шахи, шогі та їздити, все дуже добре, і все з самої тренування. Це набагато по-людськи. Крім того, в ході це відкрило глибоко нові ідеї для кращих гравців (наскільки я це розумію). Інші двигуни дуже конкретні, A0 здається інакше. Я хотів би бачити, як вона грає в шахи960.

Я не думаю, що в Альфі є щось "людське". Він просто використовував набагато сильніше обладнання та грав у шахи вищої якості. Хороші кроки відкриття (наприклад, у бік короля нареченого з Bg2) повністю пов'язані з його імітацією відкриття книги. Поняття, які мене вразили, і які я сформулював у "Таємниці шахів": http://davidsmerdon.com/?p=1970 , яку Альфа вперше використовує серед провідних двигунів, - це просунуті довші ланцюги, наприклад d4 -e5-f6 ланцюг, який тріпотів цілий шматок у грі з жертвою Bg6, і центральні відсталі виробники, як це видно в іграх французької оборони між обома двигунами. Обидві концепції передбачають пошук у великих глибинах, і, ймовірно, тут Альфа допомогла надзвичайним обладнанням. Інакше я не бачу нічого людського в його грі. Багато ігор, правда, були: