Les points douloureux de l'itération de l'entraînement de grands modèles sont bien connus — les données commencent souvent à 10 To, et chaque mise à jour doit être re-téléchargée, ce qui, après tout ce processus, devient insoutenable en termes de temps et de coûts de stockage.

Walrus a récemment optimisé ce problème. La principale amélioration est la fonction de mise à jour incrémentielle au niveau des segments — ne télécharger que les blocs de données modifiés, le reste restant inchangé. Cela peut sembler simple, mais l'effet est vraiment évident. Un cas pratique montre qu'une itération d'un ensemble de données d'entraînement de 10 To, avec cette solution, le temps est passé de plusieurs heures à seulement 15 minutes. En termes de coûts, la réduction n'est pas négligeable, avec une économie de 70 % sur les dépenses de stockage.

Pour les PME dans le domaine de l'IA, cette solution est particulièrement pratique. Elle permet d'économiser du temps tout en réduisant considérablement les coûts opérationnels, améliorant ainsi l'efficacité de l'itération des données et allégeant la charge de stockage. Cela semble être un bon choix.