Apple a récemment fourni aux développeurs d’IA la puce M3, et ils peuvent désormais travailler de manière transparente avec de grands modèles avec des milliards de paramètres sur leurs MacBook. Dans son billet de blog, Apple a déclaré : « La prise en charge de jusqu’à 128 Go de RAM débloque des flux de travail qui étaient auparavant inaccessibles sur les ordinateurs portables. » "
Actuellement, seul le MacBook Pro 14 pouces prend en charge les puces M3, M3 Pro et M3 Max, tandis que le MacBook Pro 16 pouces ne prend en charge que les configurations M3 Pro et M3 Max. Apple affirme également que son Neural Engine amélioré permet d’accélérer les puissants modèles d’apprentissage automatique (ML) tout en protégeant la vie privée.
Les développeurs peuvent désormais exécuter le plus grand LLM open-source (Falcon avec 180 milliards de paramètres) sur un ordinateur portable de 14 pouces avec une faible perte de qualité.
Cependant, l’exécution d’un LLM open-source sur un ordinateur portable n’a rien de nouveau. Auparavant, les spécialistes de l’IA ont également essayé M1. Anshul Khandelwal, cofondateur et directeur technique d’Invideo, a expérimenté un LLM open-source de 65 milliards de paramètres sur son MacBook (équipé de la puce M1). Il dit que tout change maintenant environ une fois par semaine. « Il n’y a pas beaucoup de chemin à parcourir à l’avenir pour que chaque technicien dispose d’un LLM local », ajoute-t-il.
Aravind Srinivas, cofondateur et PDG de Perplexity.ai, a plaisanté en disant qu’une fois que les MacBook seront suffisamment puissants en termes de FLOP pour chaque puce M1, les grandes organisations où tout le monde utilise des MacBook et des intranets à haut débit devront être réglementées et devront signaler leur présence au gouvernement.
M3 pour les charges de travail d’IA
Apple affirme que les puces de la série M3 sont actuellement 15 % plus rapides que les puces de la série M2 et 60 % plus rapides que les puces de la série M1. Évidemment, il n’y a que des différences notables entre la M2 et la M3 en termes de performances et d’autres spécifications. Les dernières puces d’Apple ont le même nombre de cœurs, mais ont un équilibre différent entre les cœurs de performance et d’efficacité (6 cœurs chacun, 8 P et 4 E) et prennent en charge jusqu’à 36 Go de mémoire au lieu de 32 Go.
La puce M3 prend en charge jusqu’à 128 Go de mémoire unifiée, doublant ainsi la capacité par rapport à ses prédécesseurs, les puces M1 et M2. Cette capacité de mémoire étendue est particulièrement importante pour les charges de travail d’IA/ML qui nécessitent des ressources mémoire importantes pour entraîner et exécuter des modèles de langage volumineux et des algorithmes complexes.
En plus d’un Neural Engine amélioré et d’une prise en charge étendue de la mémoire, la puce M3 dispose d’une architecture GPU repensée.
L’architecture est spécialement conçue pour offrir des performances et une efficacité supérieures, en combinant la mise en cache dynamique, l’ombrage de maillage et le lancer de rayons. Ces avancées sont spécialement conçues pour accélérer les charges de travail d’IA/ML et optimiser l’efficacité informatique globale.
Contrairement aux GPU traditionnels, le nouveau M3 est doté d’un GPU avec « Dynamic Cache » qui utilise la mémoire locale en temps réel, améliore l’utilisation du GPU et améliore considérablement les performances des applications et des jeux professionnels exigeants. **
La puissance du GPU sera bénéfique pour les développeurs de jeux et les utilisateurs d’applications gourmandes en graphismes comme Photoshop ou les outils d’IA liés aux photos. Apple affirme qu’il est jusqu’à 1 fois plus rapide que les puces de la série M2.5, qu’il dispose d’un ombrage de grille accéléré par le matériel et qu’il améliore les performances avec une consommation d’énergie plus faible.
Apple et le monde
Apple n’est pas le seul, d’autres comme AMD, Intel, Qualcomm et Nvidia investissent massivement dans l’amélioration des capacités de périphérie qui permettent aux utilisateurs d’exécuter de grandes charges de travail d’IA sur des ordinateurs portables et des PC.
Par exemple, AMD a récemment dévoilé AMD Ryzen AI, qui comprend le premier moteur d’IA intégré pour les ordinateurs portables Windows x86 et le seul moteur d’IA intégré de sa catégorie.
Intel, quant à lui, place ses espoirs dans le Meteor Lake de 14e génération. Il s’agit du premier processeur Intel à disposer d’une architecture en mosaïque capable de mélanger et d’assortir différents types de cœurs, tels que des cœurs hautes performances et des cœurs à faible consommation d’énergie, afin d’obtenir le meilleur équilibre entre performances et efficacité énergétique.
Récemment, Qualcomm a également lancé le Snapdragon X Elite. Le PDG de la société, Cristiano Amon, affirme qu’elle surpasse la puce M2 Max d’Apple, avec des performances de pointe comparables et une réduction de 30 % de la consommation d’énergie. Dans le même temps, NVIDIA investit dans des cas d’utilisation de pointe et travaille discrètement à la conception de processeurs compatibles avec le système d’exploitation Windows de Microsoft, en utilisant la technologie Arm.
Les développeurs d’IA utilisent et expérimentent de plus en plus de modèles de langage localement, et il est vraiment fascinant d’observer comment ce domaine se développe. Compte tenu des dernières avancées dans le domaine, Apple devient lentement mais sûrement le choix de prédilection des développeurs d’IA.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Apple est devenu le nouveau favori des développeurs d’IA pour exécuter le plus grand LLM (grand modèle de langage) open-source.
Source de l’article : AI Ape
Apple a récemment fourni aux développeurs d’IA la puce M3, et ils peuvent désormais travailler de manière transparente avec de grands modèles avec des milliards de paramètres sur leurs MacBook. Dans son billet de blog, Apple a déclaré : « La prise en charge de jusqu’à 128 Go de RAM débloque des flux de travail qui étaient auparavant inaccessibles sur les ordinateurs portables. » "
Actuellement, seul le MacBook Pro 14 pouces prend en charge les puces M3, M3 Pro et M3 Max, tandis que le MacBook Pro 16 pouces ne prend en charge que les configurations M3 Pro et M3 Max. Apple affirme également que son Neural Engine amélioré permet d’accélérer les puissants modèles d’apprentissage automatique (ML) tout en protégeant la vie privée.
Les développeurs peuvent désormais exécuter le plus grand LLM open-source (Falcon avec 180 milliards de paramètres) sur un ordinateur portable de 14 pouces avec une faible perte de qualité.
Cependant, l’exécution d’un LLM open-source sur un ordinateur portable n’a rien de nouveau. Auparavant, les spécialistes de l’IA ont également essayé M1. Anshul Khandelwal, cofondateur et directeur technique d’Invideo, a expérimenté un LLM open-source de 65 milliards de paramètres sur son MacBook (équipé de la puce M1). Il dit que tout change maintenant environ une fois par semaine. « Il n’y a pas beaucoup de chemin à parcourir à l’avenir pour que chaque technicien dispose d’un LLM local », ajoute-t-il.
Aravind Srinivas, cofondateur et PDG de Perplexity.ai, a plaisanté en disant qu’une fois que les MacBook seront suffisamment puissants en termes de FLOP pour chaque puce M1, les grandes organisations où tout le monde utilise des MacBook et des intranets à haut débit devront être réglementées et devront signaler leur présence au gouvernement.
M3 pour les charges de travail d’IA
Apple affirme que les puces de la série M3 sont actuellement 15 % plus rapides que les puces de la série M2 et 60 % plus rapides que les puces de la série M1. Évidemment, il n’y a que des différences notables entre la M2 et la M3 en termes de performances et d’autres spécifications. Les dernières puces d’Apple ont le même nombre de cœurs, mais ont un équilibre différent entre les cœurs de performance et d’efficacité (6 cœurs chacun, 8 P et 4 E) et prennent en charge jusqu’à 36 Go de mémoire au lieu de 32 Go.
La puce M3 prend en charge jusqu’à 128 Go de mémoire unifiée, doublant ainsi la capacité par rapport à ses prédécesseurs, les puces M1 et M2. Cette capacité de mémoire étendue est particulièrement importante pour les charges de travail d’IA/ML qui nécessitent des ressources mémoire importantes pour entraîner et exécuter des modèles de langage volumineux et des algorithmes complexes.
En plus d’un Neural Engine amélioré et d’une prise en charge étendue de la mémoire, la puce M3 dispose d’une architecture GPU repensée.
L’architecture est spécialement conçue pour offrir des performances et une efficacité supérieures, en combinant la mise en cache dynamique, l’ombrage de maillage et le lancer de rayons. Ces avancées sont spécialement conçues pour accélérer les charges de travail d’IA/ML et optimiser l’efficacité informatique globale.
Contrairement aux GPU traditionnels, le nouveau M3 est doté d’un GPU avec « Dynamic Cache » qui utilise la mémoire locale en temps réel, améliore l’utilisation du GPU et améliore considérablement les performances des applications et des jeux professionnels exigeants. **
La puissance du GPU sera bénéfique pour les développeurs de jeux et les utilisateurs d’applications gourmandes en graphismes comme Photoshop ou les outils d’IA liés aux photos. Apple affirme qu’il est jusqu’à 1 fois plus rapide que les puces de la série M2.5, qu’il dispose d’un ombrage de grille accéléré par le matériel et qu’il améliore les performances avec une consommation d’énergie plus faible.
Apple et le monde
Apple n’est pas le seul, d’autres comme AMD, Intel, Qualcomm et Nvidia investissent massivement dans l’amélioration des capacités de périphérie qui permettent aux utilisateurs d’exécuter de grandes charges de travail d’IA sur des ordinateurs portables et des PC.
Par exemple, AMD a récemment dévoilé AMD Ryzen AI, qui comprend le premier moteur d’IA intégré pour les ordinateurs portables Windows x86 et le seul moteur d’IA intégré de sa catégorie.
Intel, quant à lui, place ses espoirs dans le Meteor Lake de 14e génération. Il s’agit du premier processeur Intel à disposer d’une architecture en mosaïque capable de mélanger et d’assortir différents types de cœurs, tels que des cœurs hautes performances et des cœurs à faible consommation d’énergie, afin d’obtenir le meilleur équilibre entre performances et efficacité énergétique.
Récemment, Qualcomm a également lancé le Snapdragon X Elite. Le PDG de la société, Cristiano Amon, affirme qu’elle surpasse la puce M2 Max d’Apple, avec des performances de pointe comparables et une réduction de 30 % de la consommation d’énergie. Dans le même temps, NVIDIA investit dans des cas d’utilisation de pointe et travaille discrètement à la conception de processeurs compatibles avec le système d’exploitation Windows de Microsoft, en utilisant la technologie Arm.
Les développeurs d’IA utilisent et expérimentent de plus en plus de modèles de langage localement, et il est vraiment fascinant d’observer comment ce domaine se développe. Compte tenu des dernières avancées dans le domaine, Apple devient lentement mais sûrement le choix de prédilection des développeurs d’IA.