Projet Delphi : entraînement d'un grand modèle de prédiction extrapolée 300 fois, avec une erreur de seulement 0,2 %

AIMPACT message, le 12 mai (UTC+8), WilliamBarrHeld a publié un tweet présentant le projet Delphi, comme première étape de Marin. Le projet pré-entraînait plusieurs petits modèles avec une seule formule, puis extrapolait de 300 fois, réussissant à prédire une opération d’entraînement avec 25 milliards de paramètres et 6000 milliards de tokens, avec une erreur de seulement 0,2 %. Delphi vise à réaliser une extension prévisible pour entraîner de meilleurs modèles open source. (Source : InFoQ)