iPhone, iPad, Mac e Apple TV beneficiano tutti di un motore di elaborazione neurale specializzato chiamato Apple Neural Engine (ANE) che fornisce un modo più veloce ed efficiente dal punto di vista energetico per eseguire da una CPU o GPU.
Il Neural Engine di Apple abilita funzionalità avanzate sul dispositivo come l'elaborazione del linguaggio naturale e l'analisi delle immagini senza sfruttare il cloud computing o utilizzare una potenza eccessiva. Verificare Che cos'è una rete neurale convoluzionale (CNN) e come funziona?
Esploriamo come funziona il Neural Engine e la sua evoluzione, inclusi il ragionamento e l'intelligenza che alimenta sulle piattaforme Apple e come gli sviluppatori possono utilizzarlo nelle app di terze parti.
Che cos'è il motore neurale (ANE)?
Neural Engine di Apple è un nome commerciale per un set di core di calcolo altamente specializzati ottimizzati per l'implementazione a basso consumo di reti neurali profonde sui dispositivi Apple. Accelera gli algoritmi di machine learning (ML) e intelligenza artificiale (AI), offrendo enormi vantaggi in termini di velocità, memoria e potenza rispetto a una CPU o GPU principale.
Il motore neurale è una parte importante del motivo per cui gli ultimi iPhone, iPad, Mac e Apple TV sono più reattivi e non si surriscaldano durante lo stressante processo di calcolo ML e AI. Sfortunatamente, non tutti i dispositivi Apple hanno il Neural Engine: l'Apple Watch, i Mac basati su Intel e i dispositivi precedenti al 2016 ne sono privi.
Il Neural Engine è apparso per la prima volta all'interno del chip Apple A11 nell'iPhone X del 2017 ed era abbastanza potente da supportare Face ID e Animoji. In confronto, l'ultimo Neural Engine nel chip A15 Bionic è 26 volte più veloce della prima versione. Al giorno d'oggi, ANE abilita funzionalità come Siri in modalità offline e gli sviluppatori possono utilizzarlo per eseguire modelli ML pre-addestrati, liberando risorse di CPU e GPU per concentrarsi sulle attività che funzionano meglio per loro. Verificare Confronto tra Samsung Galaxy S23 Ultra e iPhone 14 Pro Max: qual è il migliore?
Come funziona il motore neurale?
ANE fornisce una logica e un controllo computazionale ottimali per eseguire operazioni ad alta intensità di calcolo come la moltiplicazione e l'accumulo, ed è comunemente utilizzato negli algoritmi ML e AI come la classificazione delle immagini, l'analisi dei media, la traduzione automatica e altro ancora.
Secondo Brevetto Apple Intitolato "Motore planare multimodale per processore neurale", ANE è costituito da diversi core del motore neurale e uno o più circuiti multimodali planari.
Il design è ottimizzato per il calcolo parallelo, in cui molte operazioni, come le moltiplicazioni di matrici eseguite in trilioni di iterazioni, devono essere eseguite simultaneamente.
Per accelerare l'inferenza negli algoritmi AI, ANE utilizza modelli predittivi. Inoltre, ANE ha la propria cache e supporta solo pochi tipi di dati, il che aiuta a massimizzare le prestazioni.
Funzionalità AI alimentate dal Neural Engine
Ecco alcune delle funzionalità del dispositivo che potresti conoscere e che ANE abilita.
- elaborazione del linguaggio naturale: riconoscimento vocale più rapido e affidabile per dettatura e risposta con Siri; miglioramento dell'apprendimento della lingua naturale nell'applicazione di traduzione e in tutto il sistema; Traduzione istantanea del testo in Foto, Fotocamera e altre app per iPhone.
- visione computerizzata: cerca elementi nelle foto come punti di riferimento, animali domestici, piante, libri e fiori utilizzando l'app Foto o la ricerca Spotlight; Ottieni ulteriori informazioni sugli oggetti riconosciuti utilizzando la ricerca visiva in luoghi come Safari, Mail e Messaggi. Verificare Ferite realistiche durante i videogiochi e come evitarle.
- Realtà aumentata: Aggiunta di molti elementi e tracciamento del movimento nelle applicazioni AR.
- Analisi video: Rileva volti e oggetti su video in applicazioni come Final Cut Pro.
- Effetti della fotocamera: ritaglio automatico utilizzando Center Stage; Sfoca lo sfondo durante le videochiamate FaceTime.
- i giochiEffetti fotorealistici nei videogiochi 3D.
- testo diretto: fornisce il riconoscimento ottico dei caratteri (OCR) nella fotocamera e nelle foto, consentendo di copiare facilmente la scrittura a mano o testi come la password Wi-Fi o l'indirizzo dalle foto.
- Immagini computazionali: Deep Fusion analizza i pixel per una migliore riduzione del rumore, una gamma dinamica più ampia, un'esposizione automatica e un bilanciamento del bianco migliorati e sfrutta lo Smart HDR ove appropriato; scattare con una profondità di campo ridotta, incluso scattare foto in modalità notturna; Regola il livello di sfocatura dello sfondo utilizzando la funzione Controllo profondità.
- ricordi: ANE viene utilizzato anche per gli stili di ripresa nell'app Fotocamera, per organizzare ricordi ed effetti stilistici nelle foto, per consigli personalizzati come suggerimenti per lo sfondo, per annotare foto in VoiceOver, per trovare foto duplicate in Foto e così via.
Alcune delle funzionalità sopra menzionate, come il riconoscimento delle immagini, funzionano anche senza ANE ma funzioneranno molto più lentamente e scaricheranno la batteria del dispositivo.
Una breve storia del motore neurale: dall'iPhone X al Mac abilitato per M2
Nel 2017, Apple ha implementato il suo primo motore ANE sotto forma di due core specializzati all'interno del chip A11 dell'iPhone X. Per gli standard odierni, era relativamente lento, gestendo solo 600 miliardi di operazioni al secondo.
L'ANE di seconda generazione all'interno del chip A12 ha debuttato nel 2018, con quattro volte i core. Valutato a cinque trilioni di operazioni al secondo, ANE era circa nove volte più veloce e utilizzava un decimo della potenza del suo predecessore.
Il chip A13 2019 ha lo stesso motore ANE a 15 core, ma funziona un quinto più velocemente con il 7% in meno di consumo energetico ed è il prodotto del nodo semiconduttore a XNUMX nm migliorato di TSMC. TSMC (Taiwanese Semiconductor Manufacturing Corporation) produce chipset progettati da Apple.
Evoluzione del motore neurale
L'anno successivo, il chip Apple A14 ha quasi raddoppiato le prestazioni ANE a 11 trilioni di operazioni al secondo, risultato ottenuto aumentando il numero di core ANE da 8 a 16. Nel 2021, l'A15 Bionic ha sfruttato il processo a 5 nm di seconda generazione di TSMC , potenziando ulteriormente ANE, portando le prestazioni a 15.8 trilioni di operazioni al secondo senza aggiungere altri core.
I primi chip M1, M1 Pro e M1 Max per Mac avevano lo stesso motore ANE dell'A14, portando per la prima volta ML e AI avanzati con accelerazione hardware sulla piattaforma macOS.
Nel 2022, l'M1 Ultra combina due chip M1 Max in un unico pacchetto utilizzando una connessione Apple personalizzata chiamata UltraFusion. Con il doppio dei core ANE (32), M1 Ultra ha raddoppiato le prestazioni ANE a 22 trilioni di operazioni al secondo.
L'Apple A16 nel 2022 è stato costruito utilizzando il nodo N4 migliorato di TSMC, con prestazioni ANE più veloci dell'8% (17 trilioni di operazioni al secondo) rispetto al chip A15.
I primi iPad con il motore ANE sono stati l'iPad mini di quinta generazione (2019), l'iPad Air di terza generazione (2019) e l'iPad di ottava generazione (2020). Tutti gli iPad rilasciati da allora hanno ANE. Verificare Le scelte che fanno di Mac mini con M1 il miglior Mac per principianti.
In che modo gli sviluppatori possono utilizzare ANE nelle app?
Molte app di terze parti utilizzano il motore ANE per funzionalità che altrimenti non sarebbero utili. Ad esempio, l'editor di foto Pixelmator Pro offre strumenti come ML Super Resolution e ML Enhance. E in Djay Pro, ANE separa beat, brani strumentali e vocali dalla registrazione.
Tuttavia, gli sviluppatori di terze parti non ottengono un accesso di basso livello ad ANE. Invece, tutte le chiamate ANE devono passare attraverso il framework di machine learning di Apple, Core ML. Con Core ML, gli sviluppatori possono creare, addestrare ed eseguire i loro modelli ML direttamente sul dispositivo. Questo modello viene quindi utilizzato per effettuare previsioni basate sui nuovi dati di input.
"Una volta che il modello è sulla macchina dell'utente, puoi utilizzare Core ML per riaddestrarlo o ottimizzarlo sulla macchina, utilizzando i dati di quell'utente", secondo la prospettiva di Core ML su Sito web di Apple.
Per velocizzare gli algoritmi ML e AI, Core ML sfrutta non solo ANE ma anche CPU e GPU. Ciò consente a Core ML di eseguire un modello anche quando ANE non è disponibile. Ma con ANE, Core ML funzionerà più velocemente e la batteria non si scaricherà così velocemente. Verificare Come creare un modello di machine learning utilizzando Microsoft Lobe.
Molte funzioni Apple non funzionerebbero senza ANE
Molte funzionalità del dispositivo non sarebbero possibili senza la rapida elaborazione di AI e algoritmi di apprendimento automatico e la riduzione delle dimensioni della memoria e del consumo energetico che ANE porta nell'elenco. La magia di Apple sta nell'avere un coprocessore dedicato all'esecuzione di reti neurali privatamente sul dispositivo anziché scaricare tali attività sui server nel cloud.
Con ANE, sia Apple che gli sviluppatori possono implementare reti neurali profonde e sfruttare i vantaggi dell'apprendimento automatico accelerato per vari modelli predittivi come la traduzione automatica, il rilevamento di oggetti, la classificazione delle immagini e così via. Puoi visualizzare ora Come diventare un ingegnere di machine learning e intelligenza artificiale: una guida per principianti.
