La société d’intelligence artificielle de Musk, xAI, a officiellement publié le code source de Grok-1

PANews a rapporté le 18 mars que la société d’intelligence artificielle de Musk, xAI, a annoncé qu’elle ouvrirait les poids et l’architecture de son modèle expert hybride de 314 milliards de paramètres Grok-1. Grok-1 est un grand modèle de langage entraîné à partir de zéro par xAI avec une architecture de modèle expert hybride, où 25% du poids est actif sur un jeton donné. Les poids du modèle de base et l’architecture réseau du modèle sont désormais ouverts sous la licence Apache 2.0. La phase de pré-entraînement de Grok-1 s’est terminée en octobre 2023 et est actuellement publiée avec des points de contrôle bruts du modèle de base et aucun réglage fin pour une application spécifique. Les utilisateurs intéressés par l’utilisation du modèle peuvent suivre le guide sur le github.com/xai-org/grok.