Laboratorio de Ali Tongyi lanza VimRAG: reconstrucción de recuperación e inferencia multimodal mediante mapas de memoria

La noticia de CoinWorld, noticia de ME News, el 10 de abril (UTC+8), el laboratorio Tongyi de Alibaba (Tongyi Lab) lanzó oficialmente la nueva generación de marco multimodal RAG VimRAG, centrado en resolver el problema de las «zonas ciegas» de estado que existen en los sistemas actuales a largo plazo. VimRAG actualiza el historial lineal tradicional a un gráfico de memoria multimodal (Multimodal Memory Graph), organizando el proceso de razonamiento mediante una estructura de grafo dirigido acíclico (DAG) dinámica, eliminando eficazmente las búsquedas redundantes y rastreando todo el camino de exploración. Introduce la codificación de memoria visual modulada por grafo (Graph-Modulated Visual Memory Encoding), que realiza asignaciones de tokens adaptativas para datos visuales de alta carga como imágenes, con un mecanismo GGPO integrado, logrando una distribución de crédito de granularidad fina y mejorando la precisión en la atribución del razonamiento. Según los datos de evaluación publicados, VimRAG destaca en varias pruebas de referencia multimodal como SlideVQA, MMLongBench y LVBench, con la puntuación global del modelo Qwen3-VL-8B-Instruct liderando soluciones similares. El objetivo de VimRAG es llevar el RAG multimodal de «búsqueda simple» a «razonamiento estructurado y confiable», proporcionando una solución a nivel de sistema más potente para manejar escenarios complejos de documentos largos y escenarios híbridos multimodales.