Чому ML стала життєздатною лише після того, як були доступні фішки Nvidia?

Я слухав розмову групи, що складалася з двох впливових китайських вчених: Ван Ганга та Ю. Кая та інших.

На запитання про найбільше вузьке місце розвитку штучного інтелекту в найближчому майбутньому (від 3 до 5 років), Ю. Кай, який має досвід роботи в апаратній галузі, сказав, що обладнання є найважливішою проблемою, і ми повинні платити більшу частину наша увага до цього. Він навів два приклади:

1. На початку розвитку комп'ютера ми порівнюємо наші машини за його мікросхемами;
2. Штучний інтелект, який користується великою популярністю в ці роки, був би майже неможливим, якби не наділений повноваженнями GPU Nvidia.

Фундаментальні алгоритми існували вже у 1980-х та 1990-х роках, але штучний інтелект пройшов через 3 AI зими і не був емпіричним, поки ми не змогли навчити моделі з мега-серверами, що підтримують GPU.

Тоді доктор Ванг прокоментував свою думку, що ми також повинні розробляти програмні системи, оскільки ми не можемо створити автоматичну машину, навіть якщо ми поєднали всі GPU та обчислення у світі разом.

Тоді, як завжди, мій розум відганяв, і я почав думати, що що робити, якщо ті, хто вміє керувати суперкомп'ютерами у 1980-х та 1990-х, використовують алгоритми нейромережевих мереж, що існували тоді, і навчають їх з тоннами наукових даних? Деякі люди в той час, очевидно, можуть спробувати побудувати системи AI, які ми будуємо зараз. Але чому AI став гарячою темою і став емпіричним до десятиліть пізніше? Це лише питання обладнання, програмного забезпечення та даних?

Існує багато факторів для буму індустрії ШІ. Що багато людей пропускає, хоча бум, в основному, був у частині машинного навчання AI. Це можна пояснити різними простими причинами, а також їх порівняннями в попередні часи:

• Математика : Математика, що стоїть за алгоритмами ML, досить проста і відома давно (хоч би вона працювала чи ні, невідомо). У попередні часи не вдалося реалізувати алгоритми, які вимагають високої точності чисел, щоб обчислюватися на чіпі, за прийнятну кількість часу. Один з основних арифметичних операцій ділення чисел все ще займає багато циклів у сучасних процесорах. Старі процесори були в рази більш повільними, ніж сучасні процесори (більше 100 разів), це вузьке місце унеможливило навчання складних моделей на сучасних процесорах.
• $1$$0$
• Паралелізація : Концепція паралелізації матричних операцій не є новим. Лише коли ми почали розглядати Deep Learning лише як набір операцій з матрицею, ми зрозуміли, що його можна легко паралелізувати на масово паралельних графічних процесорах, все-таки якщо ваш алгоритм ML не є властивим паралельно, то навряд чи має значення ви використовуєте процесор чи GPU ( напр., RNN).
• Дані : Мабуть, найбільша причина буму ML. Інтернет надав можливість збирати величезну кількість даних від користувачів, а також робити їх доступними для зацікавлених сторін. Оскільки алгоритм ML - це лише аппроксиматор функції, заснований на даних, тому дані є найважливішим у алгоритмі ML. Чим більше даних, тим краще продуктивність вашої моделі.
• Вартість : Вартість навчання моделі МЛ значно знизилася. Тож використання Суперкомп'ютера для тренування моделі може бути добре, але чи варто було цього? Суперкомп'ютери, на відміну від звичайних ПК, надзвичайно голодні з точки зору охолодження, простору тощо. Недавня статтяв MIT Technology Review вказує на вуглецевий слід навчання моделі Deep Learning (підгалузь ML). Це досить хороший показник, чому було б незручно тренуватися на Суперкомп'ютерах у попередні часи (враховуючи, що сучасні процесори споживають набагато меншу потужність і дають більш високі швидкості). Хоча, я не впевнений, але я думаю, що раніше суперкомп'ютери були спеціалізовані на "паралельних + дуже високоточних обчисленнях" (необхідних для погоди, астрономії, військових програм тощо), і "дуже висока точність" є надмірною в сценарії машинного навчання.

Іншим важливим аспектом є те, що сьогодні кожен має доступ до потужних комп'ютерів. Таким чином, кожен може будувати нові моделі ML, перекваліфікувати попередньо існуючі моделі, змінювати моделі тощо. У попередні часи це було цілком неможливо,

Всі ці фактори призвели до величезного зростання інтересу до ML та викликали бум, який ми спостерігаємо сьогодні. Також перегляньте це питання про те, як ми виходимо за рамки цифрових процесорів.

Графічні процесори були ідеальними для AI буму, оскільки

• Вони вдарили в потрібний час

ШІ досліджувався довгий час. Майже півстоліття. Однак це було все дослідження того, як алгоритми працюватимуть та виглядатимуть. Коли NV побачила, що ШІ ось-ось перейде в мейнстрім, вони подивилися на свої графічні процесори і зрозуміли, що величезна потужність обробки процесора з відносною простотою програмування ідеально підходить для епохи, яка має бути. Багато інших людей це теж зрозуміли.

• GPU - це свого роду прискорювачі загального призначення

GPGPU - це концепція використання паралельної обробки GPU для загальних завдань. Ви можете прискорити графіку або зробити ваш алгоритм утилізацією 1000-х ядер, доступних на GPU. Це робить GPU приголомшливою ціллю для всіх випадків використання, включаючи AI. З огляду на те, що вони вже доступні і не надто важкі для програмування, її ідеальний вибір для прискорення алгоритмів ШІ.