Чи є сильний аргумент, що інстинкт виживання є необхідною умовою створення AGI?

11

Це питання випливає з досить багатьох "неофіційних" джерел. Фільми, такі як 2001, «Космічна Одісея» та « Екс Машина» ; книги, такі як Destination Void (Франк Герберт) та інші, припускають, що загальний інтелект хоче вижити і навіть дізнатися його важливість.

Може бути кілька аргументів для виживання. Що було б найвидатнішим?

agi

— Ерік Платон
джерело

@DukeZhou Чи були б у вас публічні документи на цю тему?

— Ерік Платон

1

Ще не поки що. (Це буде довгий процес, оскільки наш цикл розвитку дуже повільний. Я також, мабуть, не повинен був би говорити про згаданий AGI в цьому контексті, тому що те, що я насправді дивлюся, - це більше узагальнена функція корисності, яка зменшує ризик, а не супер-інтелект!) хотів оновити вас, але, мабуть, найкраще, якщо я видалю свій оригінальний коментар за надто оптимістичний / оманливий у зв'язку з цим.

— DukeZhou

1

По суті, моя думка полягала в тому, що загальна економічна функція корисності створить хорошу основу для проведення ІПС, надавши головний мотив . (Ідея полягає в тому, що загальний інтелект - це лише ступінь спроможності повторно: нескінченно розширюється набір проблем.) Це стосувалося б інстинкту виживання в тому сенсі, що автомати рухаються до оптимального прийняття рішень в контексті підтримки та покращення свого стану, (хоча не до безглуздого розширення, яке може бути шкідливим для його "екосистеми) , де кожне рішення в кінцевому підсумку розглядається як економічне.

— DukeZhou

1

(якщо у вас є "онлайн-майданчик", де можна обговорити ці теми, це було б чудово --- Я думаю, що ми починаємо цей сайт)

— Ерік Платон

6

Стів Омохудро написав документ під назвою Basic AI Drives, в якому проаналізував, чому ми очікуємо, що AI із вузькими цілями знайде основні, загальні поняття як інструментально корисні для їх вузьких цілей.

Наприклад, AI, розроблений для досягнення максимальної віддачі від фондового ринку, але дизайн якого замовчує про важливість продовження виживання, усвідомлює, що його тривале виживання є ключовим компонентом максимального збільшення прибутку на фондовому ринку, і, таким чином, вживає заходів для продовження роботи.

Взагалі, ми повинні скептично ставитися до «антропоморфізації» AI та іншого коду, але, схоже, є причини, щоб очікувати цього за межами «ну люди так поводяться, тому повинно бути, як поводиться вся розвідка».

— Метью Грейвс
джерело

1

Я припускаю, що Омохудру використовує "максимальну віддачу" в контексті мінімаксу, де пом'якшення зворотного боку є частиною рівняння. З моєї точки зору, "виграти ще вижити" - це основне продовження мінімаксу в циклічних іграх.

— DukeZhou

5

Поняття "інстинкт виживання", ймовірно, підпадає під категорію того, що Марвін Мінський назвав би "валізним словом", тобто він поєднує в собі ряд споріднених явищ у те, що спочатку видається особливим поняттям.

Тож цілком можливо, що ми можемо побудувати механізми, які мають вигляд якогось «жорстко закодованого» інстинкту виживання, без цього ніколи не фігурують як явні правила (и) в дизайні.

Дивіться прекрасну книжечку "Транспортні засоби" невроанатоміста Валентино Брайтенберга для переконливої розповіді про те, як такі поняття "зверху вниз", як "інстинкт виживання" можуть розвиватися "знизу вгору".

Крім того, намагання переконатися, що інтелектуальні артефакти надають занадто високий пріоритет їх виживанню, може легко призвести до вибуху Killbot Hellscape .

— НіцшеанськийАІ
джерело

2

Я відповім, цитуючи книгу Міф про Сизіфа :

Є лише одне дійсно серйозне філософське питання, і це самогубство.

Тому, ймовірно, нам потрібен певний ступінь інстинкту виживання, якщо ми не хочемо, щоб наші АГІ «припиняли себе» (що б це не означало), коли вони набувають існування.

— kc sayz 'kc sayz'
джерело