iPhone, iPad, Mac и Apple TV — все они извлекают выгоду из специализированного механизма нейронной обработки под названием Apple Neural Engine (ANE), который обеспечивает более быстрый и энергоэффективный способ запуска из центрального или графического процессора.
Apple Neural Engine позволяет использовать расширенные функции на устройстве, такие как обработка естественного языка и анализ изображений, без использования преимуществ облачных вычислений или чрезмерной мощности. Проверять Что такое сверточная нейронная сеть (CNN) и как она работает?
Давайте рассмотрим, как работает Neural Engine и его эволюция, включая рассуждения и интеллект, которые он обеспечивает на платформах Apple, и как разработчики могут использовать его в сторонних приложениях.
Что такое нейронный двигатель (ANE)?
Apple Neural Engine — это маркетинговое название набора узкоспециализированных вычислительных ядер, оптимизированных для энергосберегающей реализации глубоких нейронных сетей на устройствах Apple. Он ускоряет алгоритмы машинного обучения (ML) и искусственного интеллекта (AI), обеспечивая огромные преимущества в скорости, памяти и мощности по сравнению с основным процессором или графическим процессором.
Neural Engine — важная часть того, почему новейшие iPhone, iPad, Mac и Apple TV лучше реагируют и не нагреваются во время стрессовых вычислений машинного обучения и искусственного интеллекта. К сожалению, не все устройства Apple имеют Neural Engine — его нет в Apple Watch, компьютерах Mac на базе Intel и устройствах до 2016 года.
Neural Engine впервые появился внутри чипа Apple A11 в iPhone X 2017 года и был достаточно мощным, чтобы поддерживать Face ID и Animoji. Для сравнения, новейший Neural Engine на чипе A15 Bionic работает в 26 раз быстрее, чем первая версия. В настоящее время ANE позволяет использовать такие функции, как Siri, в автономном режиме, и разработчики могут использовать его для запуска предварительно обученных моделей машинного обучения, освобождая ресурсы ЦП и графического процессора, чтобы сосредоточиться на задачах, которые лучше всего подходят для них. Проверять Сравнение Samsung Galaxy S23 Ultra и iPhone 14 Pro Max: что лучше?
Как работает нейронный движок?
ANE обеспечивает оптимальную вычислительную логику и управление для выполнения ресурсоемких операций, таких как умножение и накопление, и обычно используется в алгоритмах машинного обучения и искусственного интеллекта, таких как классификация изображений, анализ мультимедиа, автоматический перевод и т. д.
Согласно патент Apple Под названием «Многорежимный планарный движок для нейронного процессора» ANE состоит из нескольких ядер нейронного движка и одной или нескольких планарных многорежимных схем.
Дизайн оптимизирован для параллельных вычислений, где многие операции, такие как умножение матриц, выполняемые триллионами итераций, должны выполняться одновременно.
Чтобы ускорить вывод в алгоритмах ИИ, ANE использует прогностические модели. Кроме того, ANE имеет собственный кеш и поддерживает только несколько типов данных, что помогает максимально увеличить производительность.
Функции ИИ на базе Neural Engine
Вот некоторые функции устройства, с которыми вы, возможно, знакомы, которые включает ANE.
- обработка естественного языка: более быстрое и надежное распознавание голоса для диктовки и ответа Siri; улучшенное изучение естественного языка в приложении для перевода и во всей системе; Мгновенный перевод текста в программах «Фото», «Камера» и других приложениях для iPhone.
- компьютерное зрение: поиск предметов на фотографиях, таких как достопримечательности, домашние животные, растения, книги и цветы, с помощью приложения «Фотографии» или поиска Spotlight; Получите дополнительную информацию о распознанных объектах с помощью визуального поиска в таких местах, как Safari, Mail и Сообщения. Проверять Реалистичные травмы во время игры в видеоигры и как их избежать.
- Дополненная реальность: добавление множества элементов и отслеживание движения в AR-приложениях.
- Видеоанализ: обнаружение лиц и объектов на видео в таких приложениях, как Final Cut Pro.
- Эффекты камеры: автоматическая обрезка с использованием Center Stage; Размытие фона во время видеозвонков FaceTime.
- игрыФотореалистичные эффекты в 3D видеоиграх.
- прямой текст: Обеспечивает оптическое распознавание символов (OCR) в камере и на фотографиях, позволяя легко копировать рукописный текст или текст, например пароль Wi-Fi или адрес, с фотографий.
- Компьютерная визуализация: Deep Fusion анализирует пиксели для лучшего шумоподавления, расширения динамического диапазона, улучшения автоматической экспозиции и баланса белого, а также при необходимости использует преимущества Smart HDR; съемка с малой глубиной резкости, в том числе съемка в ночном режиме; Отрегулируйте уровень размытия фона с помощью функции управления глубиной.
- воспоминания: ANE также используется для стилей съемки в приложении «Камера», организации воспоминаний и стилистических эффектов на фотографиях, пользовательских рекомендаций, таких как варианты фона, комментирования фотографий в VoiceOver, поиска дубликатов фотографий в «Фото» и т. д.
Некоторые из упомянутых выше функций, такие как распознавание изображений, также работают без ANE, но будут работать намного медленнее и разряжать аккумулятор вашего устройства.
Краткая история Neural Engine: от iPhone X до Mac с поддержкой M2
В 2017 году Apple развернула свой первый ANE Engine в виде двух специализированных ядер внутри чипа A11 iPhone X. По сегодняшним меркам он был относительно медленным, выполняя всего 600 миллиардов операций в секунду.
ANE второго поколения внутри чипа A12 дебютировал в 2018 году с четырьмя ядрами. Вычисляемый пятью триллионами операций в секунду, ANE был примерно в девять раз быстрее и потреблял в десять раз меньше энергии, чем его предшественник.
Чип A13 2019 года имеет тот же 15-ядерный двигатель ANE, но работает на одну пятую быстрее и потребляет на 7% меньше энергии, и является продуктом улучшенного XNUMX-нм полупроводникового узла TSMC. TSMC (Taiwanese Semiconductor Manufacturing Corporation) производит наборы микросхем, разработанные Apple.
Эволюция нейронного движка
В следующем году чип Apple A14 почти удвоил производительность ANE до 11 триллионов операций в секунду, что было достигнуто за счет увеличения количества ядер ANE с 8 до 16. В 2021 году A15 Bionic воспользовался преимуществами 5-нм техпроцесса TSMC второго поколения. , еще больше повышая ANE, увеличивая производительность до 15.8 трлн операций в секунду без добавления дополнительных ядер.
Первые чипы M1, M1 Pro и M1 Max, предназначенные для Mac, имели тот же движок ANE, что и A14, что впервые привнесло на платформу macOS расширенные аппаратно-ускоренные машинное обучение и искусственный интеллект.
В 2022 году M1 Ultra объединяет два чипа M1 Max в один корпус с использованием специального соединения Apple под названием UltraFusion. Благодаря удвоенному количеству ядер ANE (32) M1 Ultra удвоил производительность ANE до 22 триллионов операций в секунду.
Apple A16 в 2022 году был построен с использованием улучшенного узла N4 от TSMC, в результате чего производительность ANE на 8% выше (17 триллионов операций в секунду), чем у чипа A15.
Первыми iPad с движком ANE были iPad mini пятого поколения (2019 г.), iPad Air третьего поколения (2019 г.) и iPad восьмого поколения (2020 г.). Все iPad, выпущенные с тех пор, имеют ANE. Проверять Варианты, которые делают Mac mini с M1 лучшим Mac для начинающих.
Как разработчики могут использовать ANE в приложениях?
Многие сторонние приложения используют движок ANE для функций, которые в противном случае были бы бесполезны. Например, фоторедактор Pixelmator Pro предлагает такие инструменты, как ML Super Resolution и ML Enhance. А в Djay Pro ANE отделяет биты, инструменталы и вокальные треки от записи.
Однако сторонние разработчики не получают низкоуровневого доступа к ANE. Вместо этого все вызовы ANE должны проходить через платформу машинного обучения Apple Core ML. С помощью Core ML разработчики могут создавать, обучать и запускать свои модели машинного обучения прямо на устройстве. Затем эта модель используется для прогнозирования на основе новых входных данных.
«После того, как модель находится на компьютере пользователя, вы можете использовать Core ML для переобучения или настройки ее на компьютере с использованием данных этого пользователя», — говорится в прогнозе Core ML. Сайт Apple.
Чтобы ускорить алгоритмы ML и AI, Core ML использует преимущества не только ANE, но также CPU и GPU. Это позволяет Core ML запускать модель, даже если ANE недоступен. Но с ANE Core ML будет работать быстрее, а батарея будет разряжаться не так быстро. Проверять Как создать модель машинного обучения с помощью Microsoft Lobe.
Многие функции Apple не будут работать без ANE
Многие функции на устройстве были бы невозможны без быстрой обработки алгоритмов искусственного интеллекта и машинного обучения, а также уменьшения объема памяти и энергопотребления, которые ANE привносит в список. Магия Apple заключается в наличии сопроцессора, предназначенного для работы нейронных сетей в частном порядке на устройстве, а не для переноса этих задач на серверы в облаке.
С помощью ANE как Apple, так и разработчики могут внедрять глубокие нейронные сети и пользоваться преимуществами ускоренного машинного обучения для различных моделей прогнозирования, таких как машинный перевод, обнаружение объектов, классификация изображений и т. д. Вы можете просмотреть сейчас Как стать инженером по машинному обучению и искусственному интеллекту: руководство для начинающих.
