iPhone, iPad, Mac et Apple TV bénéficient tous d'un moteur de traitement neuronal spécialisé appelé Apple Neural Engine (ANE) qui offre un moyen plus rapide et plus économe en énergie de fonctionner à partir d'un CPU ou d'un GPU.
Le Neural Engine d'Apple permet des fonctionnalités avancées sur l'appareil telles que le traitement du langage naturel et l'analyse d'images sans tirer parti du cloud computing ni utiliser une puissance excessive. Vérifier Qu'est-ce qu'un réseau de neurones convolutifs (CNN) et comment fonctionne-t-il ?
Explorons comment le Neural Engine fonctionne et son évolution, y compris le raisonnement et l'intelligence qu'il alimente sur les plates-formes Apple et comment les développeurs peuvent l'utiliser dans des applications tierces.
Qu'est-ce que le moteur neuronal (ANE) ?
Neural Engine d'Apple est le nom commercial d'un ensemble de cœurs informatiques hautement spécialisés optimisés pour la mise en œuvre économe en énergie de réseaux de neurones profonds sur les appareils Apple. Il accélère les algorithmes d'apprentissage automatique (ML) et d'intelligence artificielle (IA), offrant des avantages considérables en termes de vitesse, de mémoire et de puissance par rapport à un CPU ou GPU principal.
Le Neural Engine explique en grande partie pourquoi les derniers iPhones, iPads, Mac et Apple TV sont plus réactifs et ne chauffent pas pendant le traitement stressant des calculs ML et AI. Malheureusement, tous les appareils Apple ne disposent pas du Neural Engine - l'Apple Watch, les Mac Intel et les appareils antérieurs à 2016 en sont dépourvus.
Le Neural Engine est apparu pour la première fois dans la puce Apple A11 de l'iPhone X 2017 et était suffisamment puissant pour prendre en charge Face ID et Animoji. En comparaison, le dernier Neural Engine de la puce A15 Bionic est 26 fois plus rapide que la première version. De nos jours, ANE active des fonctionnalités telles que Siri en mode hors ligne, et les développeurs peuvent l'utiliser pour exécuter des modèles ML pré-formés, libérant ainsi des ressources CPU et GPU pour se concentrer sur les tâches qui leur conviennent le mieux. Vérifier Comparaison entre le Samsung Galaxy S23 Ultra et l'iPhone 14 Pro Max : quel est le meilleur ?
Comment fonctionne le moteur neuronal ?
ANE fournit une logique de calcul et un contrôle optimaux pour effectuer des opérations gourmandes en calcul telles que la multiplication et l'accumulation, et est couramment utilisé dans les algorithmes ML et AI tels que la classification d'images, l'analyse des médias, la traduction automatique, etc.
Selon Brevet Apple Intitulé "Multi-Mode Planar Engine for Neural Processor", ANE se compose de plusieurs cœurs de moteur neuronal et d'un ou plusieurs circuits multimodes planaires.
La conception est optimisée pour le calcul parallèle, où de nombreuses opérations, telles que les multiplications matricielles s'exécutant sur des milliards d'itérations, doivent être effectuées simultanément.
Pour accélérer l'inférence dans les algorithmes d'IA, ANE utilise des modèles prédictifs. De plus, ANE possède son propre cache et ne prend en charge que quelques types de données, ce qui permet d'optimiser les performances.
Fonctionnalités d'IA alimentées par le Neural Engine
Voici quelques-unes des fonctionnalités de l'appareil que vous connaissez peut-être et qui sont activées par ANE.
- traitement du langage naturel: reconnaissance vocale plus rapide et plus fiable pour la dictée et la réponse avec Siri ; amélioration de l'apprentissage du langage naturel dans l'application de traduction et dans l'ensemble du système ; Traduction de texte instantanée dans Photos, Appareil photo et autres applications iPhone.
- vision par ordinateur: recherchez des éléments sur des photos tels que des points de repère, des animaux domestiques, des plantes, des livres et des fleurs à l'aide de l'application Photos ou de la recherche Spotlight ; Obtenez des informations supplémentaires sur les objets reconnus à l'aide de la recherche visuelle dans des endroits comme Safari, Mail et Messages. Vérifier Blessures réalistes en jouant à des jeux vidéo et comment les éviter.
- Réalité augmentée: Ajout de nombreux éléments et suivi de mouvement dans les applications AR.
- Analyse vidéo: détectez les visages et les objets sur la vidéo dans des applications telles que Final Cut Pro.
- Effets de caméra: recadrage automatique à l'aide de Center Stage ; Flouter l'arrière-plan pendant les appels vidéo FaceTime.
- Les JeuxEffets photoréalistes dans les jeux vidéo 3D.
- texte direct: Fournir une reconnaissance optique des caractères (OCR) dans l'appareil photo et les photos, vous permettant de copier facilement l'écriture manuscrite ou des textes tels que le mot de passe Wi-Fi ou l'adresse à partir des photos.
- Imagerie computationnelle: Deep Fusion analyse les pixels pour une meilleure réduction du bruit, une plus grande plage dynamique, une exposition automatique et une balance des blancs améliorées, et tire parti du Smart HDR le cas échéant ; prendre des photos avec une faible profondeur de champ, y compris prendre des photos en mode nuit ; Ajustez le niveau de flou d'arrière-plan à l'aide de la fonction de contrôle de la profondeur.
- Souvenirs: ANE est également utilisé pour les styles de prise de vue dans l'application Appareil photo, l'organisation des souvenirs et des effets stylistiques dans les photos, des recommandations personnalisées telles que des suggestions d'arrière-plan, l'annotation de photos dans VoiceOver, la recherche de photos en double dans Photos, etc.
Certaines des fonctionnalités mentionnées ci-dessus, telles que la reconnaissance d'image, fonctionnent également sans ANE, mais fonctionneront beaucoup plus lentement et videront la batterie de votre appareil.
Une brève histoire du moteur neuronal : de l'iPhone X au Mac compatible M2
En 2017, Apple a déployé son premier moteur ANE sous la forme de deux cœurs spécialisés à l'intérieur de la puce A11 de l'iPhone X. Selon les normes actuelles, il était relativement lent, ne gérant que 600 milliards d'opérations par seconde.
L'ANE de deuxième génération à l'intérieur de la puce A12 a fait ses débuts en 2018, avec quatre fois plus de cœurs. Évalué à cinq billions d'opérations par seconde, ANE était environ neuf fois plus rapide et utilisait un dixième de la puissance de son prédécesseur.
La puce A13 2019 a le même moteur ANE à 15 cœurs, mais fonctionne un cinquième plus vite avec 7 % de consommation d'énergie en moins, et est le produit du nœud semi-conducteur XNUMX nm amélioré de TSMC. TSMC (Taiwanese Semiconductor Manufacturing Corporation) fabrique des chipsets conçus par Apple.
Évolution du moteur neuronal
L'année suivante, la puce Apple A14 a presque doublé les performances ANE à 11 billions d'opérations par seconde, ce qui a été réalisé en augmentant le nombre de cœurs ANE de 8 à 16. En 2021, l'A15 Bionic a profité du processus 5 nm de deuxième génération de TSMC. , augmentant encore plus l'ANE, portant les performances à 15.8 billions d'opérations par seconde sans ajouter de cœurs supplémentaires.
Les premières puces M1, M1 Pro et M1 Max liées au Mac avaient le même moteur ANE que l'A14, apportant pour la première fois le ML et l'IA avancés et accélérés par le matériel à la plate-forme macOS.
En 2022, le M1 Ultra combine deux puces M1 Max en un seul boîtier à l'aide d'une connexion Apple personnalisée appelée UltraFusion. Avec deux fois plus de cœurs ANE (32), le M1 Ultra a doublé les performances ANE à 22 billions d'opérations par seconde.
L'Apple A16 en 2022 a été construit à l'aide du nœud N4 amélioré de TSMC, ce qui se traduit par des performances ANE 8% plus rapides (17 billions d'opérations par seconde) que la puce A15.
Les premiers iPad équipés du moteur ANE étaient l'iPad mini de cinquième génération (2019), l'iPad Air de troisième génération (2019) et l'iPad de huitième génération (2020). Tous les iPad sortis depuis lors ont ANE. Vérifier Les choix qui font du Mac mini avec M1 le meilleur Mac pour les débutants.
Comment les développeurs peuvent-ils utiliser ANE dans les applications ?
De nombreuses applications tierces utilisent le moteur ANE pour des fonctionnalités qui ne seraient pas utiles autrement. Par exemple, l'éditeur de photos Pixelmator Pro propose des outils tels que ML Super Resolution et ML Enhance. Et dans Djay Pro, ANE sépare les beats, les instrumentaux et les pistes vocales de l'enregistrement.
Cependant, les développeurs tiers n'obtiennent pas d'accès de bas niveau à ANE. Au lieu de cela, tous les appels ANE doivent passer par le framework d'apprentissage automatique d'Apple, Core ML. Avec Core ML, les développeurs peuvent créer, former et exécuter leurs modèles ML directement sur l'appareil. Ce modèle est ensuite utilisé pour faire des prédictions basées sur les nouvelles données d'entrée.
"Une fois que le modèle est sur la machine de l'utilisateur, vous pouvez utiliser Core ML pour le recycler ou le régler sur la machine, en utilisant les données de cet utilisateur", selon les perspectives de Core ML sur Site Web Apple.
Pour accélérer les algorithmes ML et AI, Core ML tire parti non seulement de l'ANE, mais également du CPU et du GPU. Cela permet à Core ML d'exécuter un modèle même lorsque ANE n'est pas disponible. Mais avec ANE, Core ML fonctionnera plus rapidement et la batterie ne se déchargera pas aussi vite. Vérifier Comment créer un modèle d'apprentissage automatique à l'aide de Microsoft Lobe.
De nombreuses fonctionnalités Apple ne fonctionneraient pas sans ANE
De nombreuses fonctionnalités de l'appareil ne seraient pas possibles sans le traitement rapide des algorithmes d'intelligence artificielle et d'apprentissage automatique et la réduction de la taille de la mémoire et de la consommation d'énergie qu'ANE apporte à la liste. La magie d'Apple est d'avoir un coprocesseur dédié à l'exécution privée de réseaux de neurones sur l'appareil plutôt que de décharger ces tâches sur des serveurs dans le cloud.
Avec ANE, Apple et les développeurs peuvent implémenter des réseaux de neurones profonds et profiter des avantages de l'apprentissage automatique accéléré pour divers modèles prédictifs tels que la traduction automatique, la détection d'objets, la classification d'images, etc. Vous pouvez voir maintenant Comment devenir un ingénieur en apprentissage automatique et en intelligence artificielle : guide du débutant.
