Сингулярність, в контексті ШІ, - це теоретична подія, при якій розгортається інтелектуальна система з наступними критеріями.
- Здатний покращити діапазон власного інтелекту або розгорнути іншу систему з таким покращеним діапазоном
- Бажаючи чи змушені це робити
- Здатний зробити це за відсутності нагляду людини
- Удосконалена версія підтримує критерії (1) - (3) рекурсивно
За допомогою індукції теорія тоді передбачає, що послідовність подій буде створюватися з потенційним збільшенням рівня інтелекту, що може значно перевищити потенційну швидкість еволюції мозку.
Наскільки зобов’язане це самовдосконалюється сукупність чи сукупність вироблених сутностей зберегти життя та свободу людини не визначено. Думка про те, що таке зобов'язання може бути частиною безвідкличного програмного договору, є наївним у світлі характеру можливостей, пов'язаних із критеріями (1) - (4) вище. Як і у випадку з іншими потужними технологіями, ризики такі ж численні та далекосяжні, як і потенційні вигоди.
Ризики для людства не потребують інтелекту. Існують й інші контексти щодо використання терміна сингулярності, але вони виходять за межі цього форуму AI, але, можливо, варто чітко згадати для наочності. Генетична інженерія, ядерна інженерія, глобалізація та базування міжнародної економіки на кінцевому джерелі енергії споживаються в тисячі разів швидше, ніж це виникло в землі. Це інші приклади високоризикових технологій та масових тенденцій, що становлять ризики та вигоди людству.
Повертаючись до ШІ, головним застереженням теорії сингулярності є її неспроможність включити ймовірність. Хоча можливо створити сутність, яка відповідає критеріям (1) - (4) вище, це може бути досить малоймовірним, щоб перша подія відбулася задовго після того, як усі поточні мови, якими розмовляють на Землі, мертві.
На іншій крайності розподілу ймовірностей можна легко стверджувати, що існує ненулева ймовірність того, що перша подія вже відбулася.
У такому напрямку, якщо розумніша присутність в Інтернеті вже існує, наскільки ймовірно, що вона виявить її в найкращих інтересах розкрити себе нижчим людям. Чи познайомимось ми з проліскою?