Alibaba Tongyi Laboratory publie VimRAG : reconstruire l’inférence de recherche multimodale via une cartographie de la mémoire

Le site Web de Coinjie, message de ME News, le 10 avril (UTC+8), le laboratoire Tongyi d’Alibaba (Tongyi Lab) a officiellement lancé la nouvelle génération de cadre multimodal RAG VimRAG, mettant l’accent sur la résolution du problème de « zone d’ombre d’état » qui existe depuis longtemps dans les systèmes actuels.
VimRAG a amélioré le historique linéaire traditionnel en une carte de mémoire multimodale (Multimodal Memory Graph), organisant le processus de raisonnement sous une structure de graphe orienté acyclique dynamique (DAG), éliminant efficacement la recherche redondante et permettant un suivi complet du chemin d’exploration.
Il introduit le codage de mémoire visuelle modulé par graphe (Graph-Modulated Visual Memory Encoding), réalisant une allocation adaptative de tokens pour des données visuelles à forte charge telles que les images, avec un mécanisme GGPO intégré, permettant une attribution de crédit granulaire et améliorant la précision du raisonnement et de l’attribution.
Selon les données d’évaluation publiées, VimRAG affiche des performances remarquables dans plusieurs benchmarks multimodaux tels que SlideVQA, MMLongBench, LVBench, avec la version Qwen3-VL-8B-Instruct en tête des scores globaux par rapport à des solutions similaires.
L’objectif de VimRAG est de faire évoluer le RAG multimodal de « recherche simple » à « raisonnement structuré et fiable », offrant une solution système plus robuste pour traiter des documents longs complexes et des scénarios multimodaux hybrides.