Чому AI потрібно «знищити людський рід»?

Я читаю такі дурниці про те, як AI перетворив би світ у суперкомп'ютер, щоб вирішити проблему, яку він вважав за потрібне вирішити. Це не було б AI. Ось процедурне програмування застрягло в певній дурниці. ШІ повинен був розвиватися і переорганізувати свої нейрони. Він би не застряг у жорсткому коді, якщо він стане розумним, переписавши свій код.

Це можливий побічний ефект

Будь-який агент, орієнтований на ціль, може просто робити речі, які досягають його цілей, ігноруючи побічні ефекти, які не мають значення для цих цілей.

Якщо мої цілі включають в себе охайний життєвий простір, я можу перетворити свій двір на приємний, рівний газон чи тротуар, витираючи складну екосистему життя, яка там була раніше, тому що я не дбаю про це.

Якщо цілі конкретного потужного ШІ включають в себе щось велике, а якимось чином не дбає про сучасну складну екосистему, то ця екосистема може бути знищена в процесі. Не потрібно нас хотіти чи потрібно викреслювати. Якщо ми просто не пов'язані з його цілями, то ми виготовлені з матеріалів і займаємо простір, який він, можливо, захоче використовувати для чогось іншого.

Ми є загрозою для більшості цілей

Будь-яка цілеспрямована агент може хотіти , щоб переконатися , що вони можуть виконувати свої завдання. Будь-який розумний агент намагатиметься передбачити дії інших агентів, які можуть заважати їм досягти цих цілей, та вживатиме заходів для того, щоб все-таки досягти успіху. У багатьох випадках простіше усунути ці інші агенти, а не переконатись у тому, що їх зусилля провалюються.

Наприклад, мої цілі можуть включати зберігання пакетика цукру в заміському будинку, щоб я міг приготувати млинці під час відвідування, не привозячи всіх інгредієнтів кожен раз. Однак якщо я залишу його там, швидше за все, з'їдять щурів взимку. Я можу вжити всіх видів запобіжних заходів, щоб їх краще зберігати, але щури розумні і хитрі, і явно є нетривіальний шанс, що все-таки все-таки вдасться досягти своєї мети, тому ефективним додатковим запобіжним засобом є вбивство щурів, перш ніж вони отримають шанс. спробувати.

Якщо цілями конкретного потужного AI є виконання X; може прийти до розуміння того, що (деякі?) люди можуть насправді не хотіти X, а Y. Також легко можна зробити висновок, що деякі з цих людей можуть активно робити речі, які заважають X та / або намагаються вимкнути ШІ. Робити речі, які забезпечують досягнення поставленої мети, це те, що робить агент, що шукає ціль; У цьому випадку, якщо існування людей не є строго необхідним для досягнення мети X, то усунення їх стає міцною стратегією зниження ризику. Це не суворо необхідно, і для цього можуть бути застосовані всі інші заходи обережності, але так само, як і в моєму прикладі щурів, люди розумні і хитрі, і явно є нетривіальний шанс, що їм все-таки вдасться досягти своїх цілі (щоб X не сталося так, як AI має намір), тому ефективна додаткова обережність може вбити їх, перш ніж вони отримають можливість спробувати.

Це не обов'язково дурниці. Все залежить від нав’язаних критеріїв. Уявіть наступне. Скажімо, вдосконалена система ШІ призначена для контролю стійкості місцевої фауни та флори (ділянки, укладеної в якомусь куполі). Він може контролювати тиск під куполом, кількість світла, яке проходить через купол тощо - все, що забезпечує оптимальні умови. А тепер скажіть, що купол населений різними видами, включаючи людей. Варто зазначити, що в даний час вже використовуються прості реалізації таких систем.

Зважаючи на те, що люди прагнуть знищувати та зловживати природними ресурсами, а також забруднювати навколишнє середовище, система може вирішити, що зменшення популяції даного виду (людина в даному випадку) може в перспективі принести користь усьому біому.

Цей же принцип може застосовуватися і в усьому світі. Однак це передбачає, що всі види (включаючи людину) трактуються однаково, і найвищою метою ШІ є забезпечення стабільності біома, про який він "дбає". Люди сьогодні роблять такі речі - ми контролюємо популяцію деяких видів, щоб зберегти рівновагу - вовки, риби, якщо назвати лише кілька.

Мені здається, що більшість сценаріїв про те, як AI витирає світ, підпадають під одну з двох категорій:

1. Антропоморфізовані ШІ

або

2. Розумний, але тупий комп’ютер запускає Amuck

У випадку (1) люди говорять про те, що ШІ стає "злим" і приписує їм інші такі людські елементи. Я вважаю, що це переважно наукова фантастика і не думаю, що це заслуговує на дуже серйозне обговорення. Тобто я не бачу жодної причини припускати, що Штучний інтелект - незалежно від того, наскільки розумний - обов’язково поводитиметься як людина.

Випадок (2) має для мене більше сенсу. Це ідея, що AI, наприклад, підконтрольний ядерним ракетним силосам і запускає ракети, тому що він просто виконує свою роботу, але пропустив те, що людина помітила б через те, що ми можемо назвати "здоровим глуздом ". Звідси і «Розумний, але німий» монетар.

Жоден із цих питань не сприймає мене як страшенно тривожний, тому що (1), ймовірно, вигадка, а (2) не передбачає ніякого фактичного зловмисного наміру з боку AI - це означає, що він не буде активно намагатися нас обдурити, або обіймати якусь безпеку вирізи тощо.

Тепер якщо хтось будує AI і вирішує навмисно запрограмувати його так, щоб він розвивав такі людиноподібні характеристики, як зарозумілість, его, жадібність і т. Д. ... ну всі ставки знищені.

ШІ вже використовується як зброя - подумай над дронами.

Я підозрюю, що сценарій "роботів переймає світ" має найбільшу ймовірність, якщо він має проміжний крок. Цей проміжний крок може бути "люди заволодіють світом роботами".

Це може перейти кудись у помилковий бік.

Підозрюю, це не так далеко, як здається. Поміркуйте, США наразі має 8000 безпілотників. Що робити, якщо це було б 8 мільйонів? Невелика група, здатна контролювати їх, могла б перейняти світ. Або невеликі групи, що контролюють різні частини флоту, могли би боротися проти інших. У США їх не повинно бути все - тоді, коли у США буде цей флот, інші країни також розвиватимуть свій.

До речі, поглинання світу здається мені нереальним - воєначальники можуть, можливо, перевести людей-пілотів на безпілотники, це не їхня робота. Але "контроль високого рівня", тобто визначати, що робити, хто цілі, ці рішення вони ніколи не видаватимуть з рук.

Поруч із цим у роботів немає довгострокової мети. Ми, люди, маємо.

Таким чином, я не вважаю захоплення в скенетному стилі вельми реалістичним, але чорнобильська "помилка" неправильно трактуваної команди, що призводить до невгамовного нальоту флоту, не здається мені неможливою.