Apple se ha convertido en el nuevo favorito de los desarrolladores de IA para ejecutar el LLM (modelo de lenguaje grande) de código abierto más grande.
Apple proporcionó recientemente a los desarrolladores de IA el chip M3, y ahora pueden trabajar sin problemas con modelos grandes con miles de millones de parámetros en sus MacBooks. En su publicación de blog, Apple dijo: "El soporte para hasta 128 GB de RAM desbloquea flujos de trabajo que antes eran inalcanzables en computadoras portátiles". "
Actualmente, solo la MacBook Pro de 14 pulgadas es compatible con los chips M3, M3 Pro y M3 Max, mientras que la MacBook Pro de 16 pulgadas solo es compatible con las configuraciones M3 Pro y M3 Max. Apple también afirma que su motor neuronal mejorado ayuda a acelerar los potentes modelos de aprendizaje automático (ML) al tiempo que protege la privacidad.
Los desarrolladores ahora pueden ejecutar el LLM de código abierto más grande (Falcon con 180 mil millones de parámetros) en una computadora portátil de 14 pulgadas con una baja pérdida de calidad.
Sin embargo, ejecutar un LLM de código abierto en una computadora portátil no es nada nuevo. Anteriormente, la gente de IA también ha probado M1. Anshul Khandelwal, cofundador y CTO de Invideo, experimentó con un LLM de código abierto de 65 mil millones de parámetros en su MacBook (con tecnología M1). Dice que ahora lo cambia todo una vez a la semana. "No es un largo camino por recorrer en el futuro para que todos los técnicos tengan un LLM local", añade.
Aravind Srinivas, cofundador y CEO de Perplexity.ai, bromeó diciendo que una vez que las MacBooks sean lo suficientemente fuertes en términos de FLOPs por cada chip M1, las grandes organizaciones donde todo el mundo usa MacBooks e intranets de alta velocidad tendrán que ser reguladas y tendrán que informar de su presencia al gobierno.
M3 para cargas de trabajo de IA
Apple afirma que los chips de la serie M3 son actualmente un 15% más rápidos que los chips de la serie M2 y un 60% más rápidos que los chips de la serie M1. Obviamente, solo hay diferencias notables entre el M2 y el M3 en términos de rendimiento y otras especificaciones. Los últimos chips de Apple tienen el mismo número de núcleos, pero tienen un equilibrio diferente de núcleos de rendimiento y eficiencia (6 núcleos cada uno, 8 P y 4 E) y admiten hasta 36 GB de memoria en lugar de 32 GB.
El chip M3 admite hasta 128 GB de memoria unificada, duplicando la capacidad en comparación con sus predecesores, los chips M1 y M2. Esta capacidad de memoria ampliada es especialmente importante para las cargas de trabajo de IA/ML que requieren importantes recursos de memoria para entrenar y ejecutar grandes modelos de lenguaje y algoritmos complejos.
Además de un Neural Engine mejorado y soporte de memoria ampliado, el chip M3 cuenta con una arquitectura de GPU rediseñada.
La arquitectura está diseñada específicamente para un rendimiento y una eficiencia superiores, combinando el almacenamiento en caché dinámico, el sombreado de malla y el trazado de rayos. Estos avances están diseñados específicamente para acelerar las cargas de trabajo de IA/ML y optimizar la eficiencia informática general.
A diferencia de las GPU tradicionales, el nuevo M3 cuenta con una GPU con "caché dinámico" que utiliza la memoria local en tiempo real, mejora la utilización de la GPU y mejora drásticamente el rendimiento de las aplicaciones y juegos profesionales exigentes. **
La potencia de la GPU será beneficiosa para los desarrolladores de juegos y los usuarios de aplicaciones con uso intensivo de gráficos como Photoshop o herramientas de IA relacionadas con las fotos. Apple afirma que es hasta 1 veces más rápido que los chips de la serie M2.5, tiene sombreado de cuadrícula acelerado por hardware y mejora el rendimiento con un menor consumo de energía.
Apple y el mundo
Apple no está sola, ya que otras como AMD, Intel, Qualcomm y Nvidia están invirtiendo fuertemente en la mejora de las capacidades de borde que permiten a los usuarios ejecutar grandes cargas de trabajo de IA en computadoras portátiles y PC.
Por ejemplo, AMD presentó recientemente AMD Ryzen AI, que incluye el primer motor de IA integrado para portátiles x86 con Windows y el único motor de IA integrado de su clase.
Intel, por otro lado, está depositando sus esperanzas en el Meteor Lake de 14ª generación. Es el primer procesador Intel que cuenta con una arquitectura en mosaico que puede mezclar y combinar diferentes tipos de núcleos, como núcleos de alto rendimiento y núcleos de bajo consumo, para lograr el mejor equilibrio entre rendimiento y eficiencia energética.
Recientemente, Qualcomm también lanzó el Snapdragon X Elite. El CEO de la compañía, Cristiano Amon, afirma que supera al chip M2 Max de Apple, con un rendimiento máximo comparable y una reducción del 30% en el consumo de energía. Al mismo tiempo, NVIDIA está invirtiendo en casos de uso de borde y trabajando silenciosamente en el diseño de CPU que sean compatibles con el sistema operativo Windows de Microsoft, utilizando la tecnología Arm.
Los desarrolladores de IA están ejecutando y experimentando cada vez más con modelos de lenguaje a nivel local, y es realmente fascinante ver cómo se desarrolla este campo. Dados los últimos avances en este campo, Apple se está convirtiendo de forma lenta pero segura en la opción preferida de los desarrolladores de IA.
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
Apple se ha convertido en el nuevo favorito de los desarrolladores de IA para ejecutar el LLM (modelo de lenguaje grande) de código abierto más grande.
Fuente del artículo: AI Ape
Apple proporcionó recientemente a los desarrolladores de IA el chip M3, y ahora pueden trabajar sin problemas con modelos grandes con miles de millones de parámetros en sus MacBooks. En su publicación de blog, Apple dijo: "El soporte para hasta 128 GB de RAM desbloquea flujos de trabajo que antes eran inalcanzables en computadoras portátiles". "
Actualmente, solo la MacBook Pro de 14 pulgadas es compatible con los chips M3, M3 Pro y M3 Max, mientras que la MacBook Pro de 16 pulgadas solo es compatible con las configuraciones M3 Pro y M3 Max. Apple también afirma que su motor neuronal mejorado ayuda a acelerar los potentes modelos de aprendizaje automático (ML) al tiempo que protege la privacidad.
Los desarrolladores ahora pueden ejecutar el LLM de código abierto más grande (Falcon con 180 mil millones de parámetros) en una computadora portátil de 14 pulgadas con una baja pérdida de calidad.
Sin embargo, ejecutar un LLM de código abierto en una computadora portátil no es nada nuevo. Anteriormente, la gente de IA también ha probado M1. Anshul Khandelwal, cofundador y CTO de Invideo, experimentó con un LLM de código abierto de 65 mil millones de parámetros en su MacBook (con tecnología M1). Dice que ahora lo cambia todo una vez a la semana. "No es un largo camino por recorrer en el futuro para que todos los técnicos tengan un LLM local", añade.
Aravind Srinivas, cofundador y CEO de Perplexity.ai, bromeó diciendo que una vez que las MacBooks sean lo suficientemente fuertes en términos de FLOPs por cada chip M1, las grandes organizaciones donde todo el mundo usa MacBooks e intranets de alta velocidad tendrán que ser reguladas y tendrán que informar de su presencia al gobierno.
M3 para cargas de trabajo de IA
Apple afirma que los chips de la serie M3 son actualmente un 15% más rápidos que los chips de la serie M2 y un 60% más rápidos que los chips de la serie M1. Obviamente, solo hay diferencias notables entre el M2 y el M3 en términos de rendimiento y otras especificaciones. Los últimos chips de Apple tienen el mismo número de núcleos, pero tienen un equilibrio diferente de núcleos de rendimiento y eficiencia (6 núcleos cada uno, 8 P y 4 E) y admiten hasta 36 GB de memoria en lugar de 32 GB.
El chip M3 admite hasta 128 GB de memoria unificada, duplicando la capacidad en comparación con sus predecesores, los chips M1 y M2. Esta capacidad de memoria ampliada es especialmente importante para las cargas de trabajo de IA/ML que requieren importantes recursos de memoria para entrenar y ejecutar grandes modelos de lenguaje y algoritmos complejos.
Además de un Neural Engine mejorado y soporte de memoria ampliado, el chip M3 cuenta con una arquitectura de GPU rediseñada.
La arquitectura está diseñada específicamente para un rendimiento y una eficiencia superiores, combinando el almacenamiento en caché dinámico, el sombreado de malla y el trazado de rayos. Estos avances están diseñados específicamente para acelerar las cargas de trabajo de IA/ML y optimizar la eficiencia informática general.
A diferencia de las GPU tradicionales, el nuevo M3 cuenta con una GPU con "caché dinámico" que utiliza la memoria local en tiempo real, mejora la utilización de la GPU y mejora drásticamente el rendimiento de las aplicaciones y juegos profesionales exigentes. **
La potencia de la GPU será beneficiosa para los desarrolladores de juegos y los usuarios de aplicaciones con uso intensivo de gráficos como Photoshop o herramientas de IA relacionadas con las fotos. Apple afirma que es hasta 1 veces más rápido que los chips de la serie M2.5, tiene sombreado de cuadrícula acelerado por hardware y mejora el rendimiento con un menor consumo de energía.
Apple y el mundo
Apple no está sola, ya que otras como AMD, Intel, Qualcomm y Nvidia están invirtiendo fuertemente en la mejora de las capacidades de borde que permiten a los usuarios ejecutar grandes cargas de trabajo de IA en computadoras portátiles y PC.
Por ejemplo, AMD presentó recientemente AMD Ryzen AI, que incluye el primer motor de IA integrado para portátiles x86 con Windows y el único motor de IA integrado de su clase.
Intel, por otro lado, está depositando sus esperanzas en el Meteor Lake de 14ª generación. Es el primer procesador Intel que cuenta con una arquitectura en mosaico que puede mezclar y combinar diferentes tipos de núcleos, como núcleos de alto rendimiento y núcleos de bajo consumo, para lograr el mejor equilibrio entre rendimiento y eficiencia energética.
Recientemente, Qualcomm también lanzó el Snapdragon X Elite. El CEO de la compañía, Cristiano Amon, afirma que supera al chip M2 Max de Apple, con un rendimiento máximo comparable y una reducción del 30% en el consumo de energía. Al mismo tiempo, NVIDIA está invirtiendo en casos de uso de borde y trabajando silenciosamente en el diseño de CPU que sean compatibles con el sistema operativo Windows de Microsoft, utilizando la tecnología Arm.
Los desarrolladores de IA están ejecutando y experimentando cada vez más con modelos de lenguaje a nivel local, y es realmente fascinante ver cómo se desarrolla este campo. Dados los últimos avances en este campo, Apple se está convirtiendo de forma lenta pero segura en la opción preferida de los desarrolladores de IA.