iPhone, iPad, Mac y Apple TV se benefician de un motor de procesamiento neuronal especializado llamado Apple Neural Engine (ANE) que proporciona una forma más rápida y eficiente de energía para ejecutarse desde una CPU o GPU.
Neural Engine de Apple permite funciones avanzadas en el dispositivo, como el procesamiento de lenguaje natural y el análisis de imágenes, sin aprovechar la computación en la nube ni usar demasiada energía. Verificar ¿Qué es una red neuronal convolucional (CNN) y cómo funciona?
Exploremos cómo funciona Neural Engine y su evolución, incluido el razonamiento y la inteligencia que impulsa en las plataformas de Apple y cómo los desarrolladores pueden usarlo en aplicaciones de terceros.
¿Qué es el motor neuronal (ANE)?
Neural Engine de Apple es un nombre comercial para un conjunto de núcleos informáticos altamente especializados que están optimizados para la implementación eficiente de energía de redes neuronales profundas en dispositivos Apple. Acelera los algoritmos de aprendizaje automático (ML) y de inteligencia artificial (IA), lo que brinda enormes ventajas de velocidad, memoria y potencia sobre una CPU o GPU principal.
Neural Engine es una gran parte de por qué los últimos iPhone, iPad, Mac y Apple TV responden mejor y no se calientan durante el estresante procesamiento de cómputo de ML e IA. Desafortunadamente, no todos los dispositivos Apple tienen Neural Engine: el Apple Watch, las Mac basadas en Intel y los dispositivos anteriores a 2016 carecen de él.
Neural Engine apareció por primera vez dentro del chip Apple A11 en el iPhone X de 2017 y era lo suficientemente potente como para admitir Face ID y Animoji. En comparación, el último Neural Engine del chip A15 Bionic es 26 veces más rápido que la primera versión. Hoy en día, ANE habilita funciones como Siri en modo fuera de línea, y los desarrolladores pueden usarlo para ejecutar modelos ML pre-entrenados, liberando recursos de CPU y GPU para enfocarse en las tareas que funcionan mejor para ellos. Verificar Comparativa entre Samsung Galaxy S23 Ultra y iPhone 14 Pro Max: ¿Cuál es mejor?
¿Cómo funciona el motor neuronal?
ANE proporciona lógica y control computacional óptimos para realizar operaciones de computación intensiva, como la multiplicación y la acumulación, y se usa comúnmente en algoritmos de ML e IA, como clasificación de imágenes, análisis de medios, traducción automática y más.
Según patente de manzana Titulado "Motor plano multimodo para procesador neuronal", ANE consta de varios núcleos de motor neuronal y uno o más circuitos multimodo planos.
El diseño está optimizado para computación paralela, donde muchas operaciones, como multiplicaciones de matrices que se ejecutan en billones de iteraciones, deben realizarse simultáneamente.
Para acelerar la inferencia en los algoritmos de IA, ANE utiliza modelos predictivos. Además, ANE tiene su propio caché y solo admite algunos tipos de datos, lo que ayuda a maximizar el rendimiento.
Funciones de IA impulsadas por Neural Engine
Estas son algunas de las características del dispositivo con las que puede estar familiarizado que habilita ANE.
- procesamiento natural del lenguaje: reconocimiento de voz más rápido y fiable para dictado y respuesta con Siri; mejora del aprendizaje del lenguaje natural en la aplicación de traducción y en todo el sistema; Traducción instantánea de texto en Fotos, Cámara y otras aplicaciones de iPhone.
- visión por computador: busca cosas en las fotos, como puntos de referencia, mascotas, plantas, libros y flores, usando la aplicación Fotos o la búsqueda de Spotlight; Obtenga información adicional sobre objetos reconocidos mediante la búsqueda visual en lugares como Safari, Correo y Mensajes. Verificar Lesiones realistas al jugar videojuegos y cómo evitarlas.
- Realidad aumentada: Agregar muchos elementos y seguimiento de movimiento en aplicaciones AR.
- análisis de vídeo: detecta rostros y objetos en video en aplicaciones como Final Cut Pro.
- Efectos de cámara: recorte automático con Center Stage; Desenfoca el fondo durante las videollamadas de FaceTime.
- los juegosEfectos fotorrealistas en videojuegos 3D.
- texto directo: Proporcione reconocimiento óptico de caracteres (OCR) en la cámara y las fotos, lo que le permite copiar fácilmente escritura a mano o textos como la contraseña de Wi-Fi o la dirección de las fotos.
- Imágenes computacionales: Deep Fusion analiza píxeles para una mejor reducción de ruido, mayor rango dinámico, mejor exposición automática y balance de blancos, y aprovecha Smart HDR cuando corresponde; disparar con poca profundidad de campo, incluida la toma de fotos en modo nocturno; Ajuste el nivel de desenfoque del fondo con la función Control de profundidad.
- recuerdos: ANE también se utiliza para capturar estilos en la aplicación Cámara, organizar recuerdos y efectos estilísticos en fotos, recomendaciones personalizadas como sugerencias de fondo, anotar fotos en VoiceOver, buscar fotos duplicadas en Fotos, etc.
Algunas de las funciones mencionadas anteriormente, como el reconocimiento de imágenes, también funcionan sin ANE, pero funcionarán mucho más lentamente y consumirán la batería de su dispositivo.
Una breve historia del motor neuronal: desde el iPhone X hasta la Mac con M2 habilitado
En 2017, Apple implementó su primer motor ANE en forma de dos núcleos especializados dentro del chip A11 del iPhone X. Según los estándares actuales, fue relativamente lento y gestionó solo 600 XNUMX millones de operaciones por segundo.
El ANE de segunda generación dentro del chip A12 debutó en 2018, con cuatro veces más núcleos. Calificado en cinco billones de operaciones por segundo, ANE era aproximadamente nueve veces más rápido y usaba una décima parte de la potencia de su predecesor.
El chip A13 2019 tiene el mismo motor ANE de 15 núcleos, pero funciona una quinta parte más rápido con un 7 % menos de uso de energía y es el producto del nodo de semiconductor de XNUMX nm mejorado de TSMC. TSMC (Corporación de Fabricación de Semiconductores de Taiwán) fabrica conjuntos de chips diseñados por Apple.
Evolución del motor neuronal
Al año siguiente, el chip Apple A14 casi duplicó el rendimiento de ANE a 11 billones de operaciones por segundo, lo que se logró aumentando la cantidad de núcleos ANE de 8 a 16. En 2021, A15 Bionic aprovechó el proceso de 5nm de segunda generación de TSMC. , impulsando ANE aún más, llevando el rendimiento a 15.8 billones de operaciones por segundo sin agregar más núcleos.
Los primeros chips M1, M1 Pro y M1 Max vinculados a Mac tenían el mismo motor ANE que el A14, trayendo ML e IA avanzados y acelerados por hardware a la plataforma macOS por primera vez.
En 2022, el M1 Ultra combina dos chips M1 Max en un solo paquete utilizando una conexión personalizada de Apple llamada UltraFusion. Con el doble de núcleos ANE (32), el M1 Ultra ha duplicado el rendimiento ANE a 22 billones de operaciones por segundo.
El Apple A16 en 2022 se construyó utilizando el nodo N4 mejorado de TSMC, lo que resultó en un rendimiento ANE un 8 % más rápido (17 billones de operaciones por segundo) que el chip A15.
Los primeros iPads con el motor ANE fueron el iPad mini de quinta generación (2019), el iPad Air de tercera generación (2019) y el iPad de octava generación (2020). Todos los iPad lanzados desde entonces tienen ANE. Verificar Las elecciones que hacen de la Mac mini con M1 la mejor Mac para principiantes.
¿Cómo pueden los desarrolladores usar ANE en las aplicaciones?
Muchas aplicaciones de terceros usan el motor ANE para funciones que de otro modo no serían útiles. Por ejemplo, el editor de fotos Pixelmator Pro ofrece herramientas como ML Super Resolution y ML Enhance. Y en Djay Pro, ANE separa los ritmos, los instrumentos y las pistas vocales de la grabación.
Sin embargo, los desarrolladores de terceros no obtienen acceso de bajo nivel a ANE. En su lugar, todas las llamadas ANE deben pasar por el marco de aprendizaje automático de Apple, Core ML. Con Core ML, los desarrolladores pueden crear, entrenar y ejecutar sus modelos ML directamente en el dispositivo. Luego, este modelo se usa para hacer predicciones basadas en los nuevos datos de entrada.
“Una vez que el modelo está en la máquina del usuario, puede usar Core ML para volver a entrenarlo o ajustarlo en la máquina, usando los datos de ese usuario”, según la perspectiva de Core ML sobre sitio web de manzana.
Para acelerar los algoritmos de ML e IA, Core ML aprovecha no solo ANE sino también CPU y GPU. Esto permite que Core ML ejecute un modelo incluso cuando ANE no está disponible. Pero con ANE, Core ML funcionará más rápido y la batería no se agotará tan rápido. Verificar Cómo crear un modelo de aprendizaje automático con Microsoft Lobe.
Muchas funciones de Apple no funcionarían sin ANE
Muchas características del dispositivo no serían posibles sin el rápido procesamiento de la IA y los algoritmos de aprendizaje automático y la reducción del tamaño de la memoria y el consumo de energía que ANE trae a la lista. La magia de Apple está en tener un coprocesador dedicado a ejecutar redes neuronales de forma privada en el dispositivo en lugar de descargar esas tareas a servidores en la nube.
Con ANE, tanto Apple como los desarrolladores pueden implementar redes neuronales profundas y aprovechar los beneficios del aprendizaje automático acelerado para varios modelos predictivos, como traducción automática, detección de objetos, clasificación de imágenes, etc. Puedes ver ahora Cómo convertirse en un ingeniero de inteligencia artificial y aprendizaje automático: una guía para principiantes.
