ШІ-прискорювач () або нейронний процесор (, NPU) — це перспективний клас мікропроцесорів, розроблених для прискорення штучних нейронних мереж, машинного зору та інших алгоритмів машинного навчання для робототехніки, інтернету речей, та для інших інформаційно ємних або керованих сенсорами задач. Google використовує свої власні прискорювачі ШІ. Вони часто є розробками (віддзеркалюючи масивно-паралельну природу біологічних нейронних мереж). Вони орієнтовані на практичне застосування вузькоспеціалізованого ШІ, радше ніж на дослідження штучного розуму. Для пристроїв у цьому просторі існує багато термінів, залежних від постачальника.

Вони відрізняються від ГП (які часто використовують в тій же ролі) тим, що не мають жодних для графіки, й загалом фокусуються на арифметиці низької розрядності.

Історія

ЦП комп'ютерних систем часто доповнюють прискорювачами особливого призначення для напружених задач, у першу чергу графіки, але також і звуку, відео тощо. З часом з'явилися різні прискорювачі, які були застосовними для робочих навантажень ШІ.

Ранні спроби

Ранніми роками як прискорювачі нейронних мереж, наприклад, для прискорення програмного забезпечення оптичного розпізнавання символів, використовувалися процесори цифрової обробки сигналів (такі як ), і були спроби створення паралельних систем із високою пропускною здатністю для робочих станцій (наприклад, у 1990-х роках, яка була паралельним векторним процесором з нерухомою комою ), спрямованих на різні застосування, включно з моделюванням нейронних мереж. ANNA була КМОН-прискорювачем нейронних мереж, розробленим Яном ЛеКуном.Application of the ANNA Neural Network Chip to High-Speed Character Recognition Була й інша спроба побудувати нейромережеву робочу станцію, яка називалася (не слід плутати з поточним проектом IBM ).

Різнорідні обчислення

Архітектури, такі як мікропроцесор Cell (у свою чергу натхнений векторними вузлами PS2, один з яких було тісніше прив'язано до ЦП для роботи загального призначення), продемонстрували ознаки, які істотно перекриваються з ШІ-прискорювачами — в їхній підтримці упакованої арифметики низької точності, архітектурі , та наданні «пропускній здатності» вищого пріоритету, ніж затримці й кодові. Це був крок у бік різнорідних обчислень, з рядом орієнтованих на пропускну спроможність прискорювачів, призначених допомагати ЦП з областю напружених задач: моделювання фізики, ШІ, кодування/декодування відео, та деяких графічних задач за межами його споріднених ГП.

Фізичний процесор був ще одним прикладом спроби заповнити прогалину між ЦП та ГП в апаратному забезпеченні ПК, проте фізика схильна вимагати точності 32 біт і вище, в той час як набагато нижча точність може бути кращим компромісом для ШІ.

ЦП й самі набули все ширших вузлів SIMD (рухомі робочим навантаженням відео та ігор) та збільшили кількість ядер у спробі усунути потребу в іншому прискорювачеві, а також для прискорення прикладного коду. А вони мають тенденцію підтримувати упаковані типи даних низької точності.

Схід ГПЗП

Після появи новаторського програмного забезпечення, яке використовувало вершинні та фрагментні шейдери для обчислень загального призначення через шляхом зберігання неграфічних даних у вершинних буферах та картах текстур (включно з реалізаціями згорткових нейронних мереж для оптичного розпізнавання символів ), постачальники графічних процесорів побачили цю можливість, і узагальнили свої шейдерні конвеєри з особливою підтримкою для ГПЗП, здебільшого будучи вмотивованими вимогами фізики відеоігор, але також і з прицілом на .

Це винищило ринок виділених фізичних прискорювачів, і замінило Cell в гральних консолях, у кінцевому підсумку призвівши до їхнього застосування для виконання згорткових нейронних мереж, таких як AlexNet (яка продемонструвала передову продуктивність у ).

Таким чином, станом на 2016 рік ГП є популярними для роботи ШІ, і вони продовжують розвиватися в напрямку полегшення глибокого навчання, як для тренування, так і для отримання висновків у пристроях на кшталт безпілотних автомобілів.  — і отримання додаткової з'єднувальної спроможності для того типу робочих навантажень , від якого отримує переваги ШІ (наприклад, NVidia ).

У 2023 році від 50% до 90% світових ШІ-прискорювачів вироблялися на Тайвані. NVIDIA, найбільша у світі компанія з виробництва апаратного та програмного забезпечення штучного інтелекту, історично покладалася на одну компанію, Taiwan Semiconductor Manufacturing Corporation (TSMC).

Застосування ПКВМ

Щоб заощадити електроенергію, прискорювачі штучного інтелекту можуть використовувати функцію, відому як арифметика зниженої точності. Нейронні мережі високофункціональні, використовуючи 16-бітові або 8-бітові числа з плаваючою комою замість 32 біт, які використовують мікросхеми більш загального призначення. Тому вони можуть досягти більшої швидкості обробки при менших витратах енергії без шкоди для точності. Прискорювачі штучного інтелекту використовують інші архітектури пам’яті, ніж мікросхеми загального призначення, що дозволяє їм досягати менших затримок і кращої пропускної здатності.

Microsoft використовувала мікросхеми ПКВМ для прискорення отримання висновків. Це спонукало Intel купити компанію Altera з метою включення ПКВМ до складу серверних ЦП, які стали би здатними до прискорення ШІ, а також і до інших задач.

Мотивація за новий процесор

Хоча ГП й працюють набагато краще за ЦП для цих задач, за допомогою специфічнішої конструкції все ще можна отримати порядку десятикратного приросту ефективності.mentions 10x efficiency

Схема доступу до пам'яті

обчислень ШІ відрізняється від графіки: все передбачуванішому й передбачуванішому, але глибшому більше користі приносить здатність зберігати більше тимчасових змінних на кристалі (тобто в , а не в кешах); на відміну від цього, ГП виділяють кремній для ефективного обходження з високо нелінійною адресацією між картами текстур і кадровими буферами, та , як і треба для їхньої головної ролі в тривимірному рендерингу.

Точність

Дослідники ШІ часто знаходять мінімальними втрати точності при зниженні до 16 або навіть 8 біт, що наводить на думку, що більший об'єм арифметики нижчої точності є кращим використанням тієї ж пропускної спроможності. Деякі дослідники навіть пробували застосовувати 1-бітову точність (тобто, ставити акцент в задачах бачення виключно на просторовій інформації). Розробка IBM є радикальнішою, обходячись взагалі без скалярних значень, і накопичуючи хроновані імпульси для представлення активацій стохастично, вимагаючи перетворення традиційних представлень.

Термінологія

Такі процесори отримують різні назви: ШІ-прискорювач, процесор глибокого навчання, нейронний процесор (NPU).

В минулому, коли виникли споживацькі графічні прискорювачі, промисловість у кінцевому підсумку прийняла самостійно призначений термін компанії NVidia, (ГП), як узагальнювальний іменник для «графічних прискорювачів», які набували різних форм, перш ніж зупинитися на загальному конвеєрі, який реалізує модель, представлену Direct3D.

Уповільнення закону Мура

Станом на 2016 рік, уповільнення (і, можливо, неминучий кінець) закону Мура змушує декого пропонувати перефокусування зусиль галузі на розробку кремнію під застосування, тоді як у минулому мікросхеми загального призначення все більшої потужності використовувалися для різноманітних застосувань за допомогою програмного забезпечення. За такого сценарію диверсифікація спеціалізованих ШІ-прискорювачів має більше сенсу, ніж продовження розтягування ГП та ЦП.

Майбутнє

Проте ще належить з'ясувати, чи буде в кінцевому підсумку форма ШІ-прискорювача докорінно новим пристроєм, як TrueNorth, чи процесором ще загальнішого призначення, який просто робиться оптимізованим для правильного поєднання точності й потоку інформації. Ця презентація охоплює минулі спроби прискорювачів нейронних мереж, відзначає схожість із сучасною процесорною системою GPGPU, і стверджує, що векторні прискорювачі загального призначення є шляхом вперед (по відношенню до проекту RISC-V hwacha. Стверджує, що НМ є просто щільними та розрідженими матрицями, одним із рекурентних алгоритмів) На обрії є деякі навіть ще екзотичніші підходи, наприклад, застосування мемристорів, спроби застосування мемристорів як синапсів.

Потенційні застосування

Автономні автівки, NVidia націлила свої плати у цей простір. Сільськогосподарські роботи, наприклад, безхімічна боротьба з бур'янами. Контроль голосу, наприклад, у мобільних телефонах, ціль для . Машинний переклад Безпілотні літальні апарати, наприклад, навігаційні системи, наприклад, було показано, як успішно водить автономні безпілотні літальні апарати. Промислові роботи, розширення спектра задач, які можливо автоматизувати, шляхом додавання пристосовності до мінливих ситуацій. Допомога з діагнозами в охороні здоров'я Пошукові системи, підвищення центрів обробки даних, і можливість використовувати все складніші запити. Обробка природної мови

Приклади

Зорові процесори наприклад, , який у своєму серці є ШІ-прискорювачем VLIW, доповненим для відео. Тензорний процесор — представлений як прискорювач для системи Google TensorFlow, яка широко застосовується для згорткових нейронних мереж. Сфокусований на великому об'ємі арифметики 8-бітової точності. , надбагатоядерна розробка, яка поєднує ядра традиційної архітектури ARM з вдосконаленою мережною структурою, спеціалізованою для моделювання великої нейронної мережі. TrueNorth, найнезвичніший приклад, надбагатоядерна розробка на основі , а не традиційної арифметики. Частота імпульсів представляє інтенсивність сигналу. Станом на 2016 рік серед дослідників ШІ немає консенсусу, чи є це правильним шляхом для просування, стверджує, що нейрони з потенціалами дії ніколи не дають результатів передової якості, і що точність 8-16 біт є оптимальною, просуває конкурентну розробку «neuflow» але деякі результати є багатообіцяючими, з продемонстрованою великою економією енергії для задач бачення. , розробка Qualcom, спрямована безпосередньо на привнесення можливостей розпізнавання мовлення та зображень до мобільних пристроїв. , розробка, явно спрямована на згорткові нейронні мережі, із застосуванням блокнотної пам'яті та мережевої архітектури в межах кристала. призначена як співпроцесор, включає модель мережі на кристалі, підходить до моделі програмування потоком інформації, яка повинна підходити для багатьох задач машинного навчання. показала і повідомила про підвищення ефективності для згорткових нейронних мереж у порівнянні з ГП. Індійський технологічний інститут у Мадрасі розробляє прискорювач на для нових систем RISC-V, спрямованих на аналітику великих даних у серверах. ґрунтується на технології ГП, хоча використання декількох процесорів, які формують тканину через NVLink, спеціалізує його особливо слушним для глибокого навчання чином. Компанія Cerebras розробила та виготовляє ШІ-прискорювач CS-1, який побудований на мікросхемі площею мм², має 1,2 трильйони транзисторів, 400 тисяч ядер та 18 ГБ оперативної пам'яті. Наступна версія, побудована із використанням 7-нм технологічного процесу, матиме 40 ГБ пам'яті та 850 тисяч мікропроцесорних ядер. Apple A11 Bionic — перший процесор Apple, де з'явився ШІ-прискорювач Neural Engine (випустили у 2017)

Примітки

Посилання http://www.nextplatform.com/2016/04/05/nvidia-puts-accelerator-metal-pascal/