DeepSeek presenta la arquitectura de IA de próxima generación 'mHC' que supera las conexiones residuales

Fuente: TokenPost Título original: 中 딥시크, 잔차 연결 넘는 차세대 AI 아키텍처 ‘mHC’ 공개 Enlace original: https://www.tokenpost.kr/news/ai/320188 La institución de investigación en IA de China, DeepSeek(DeepSeek), ha anunciado una nueva arquitectura que puede mejorar significativamente el rendimiento del aprendizaje de inteligencia artificial de próxima generación. Conocida como ‘mHC(Manifold-Constrained Hyper-Connections)’, esta tecnología supera el método esencial de ‘conexiones residuales(residual connection)’ en modelos de lenguaje a gran escala(LLM) y modelos de reconocimiento visual, elevando tanto la precisión del aprendizaje como la eficiencia del hardware.

mHC es una mejora sobre la tecnología existente de ‘hiperconexiones(Hyper-Connections)’. Las hiperconexiones ayudan a transmitir información de manera más eficiente entre capas(layer) en modelos de deep learning, pero en entornos operativos reales, su uso ha sido limitado por diversas restricciones técnicas. DeepSeek ha superado esta limitación integrando el concepto de ‘manifold(manifold)’. Un manifold es un espacio matemático con estructura de múltiples capas, que puede variar desde formas simples como círculos hasta estructuras complejas en dimensiones superiores a 3. DeepSeek explica que mHC utiliza estas estructuras basadas en manifolds para garantizar la estabilidad y coherencia en la retropropagación del gradiente(error backpropagation) durante el entrenamiento del modelo.

Para validar el rendimiento de esta arquitectura, DeepSeek entrenó tres tipos de LLM con 3 mil millones, 9 mil millones y 27 mil millones de parámetros, respectivamente, usando la estructura mHC, y comparó estos modelos con versiones similares basadas en hiperconexiones. La compañía afirma que los modelos con estructura mHC superaron consistentemente en 8 benchmarks diferentes. En particular, lograron una mayor eficiencia en el uso de memoria durante el entrenamiento y el overhead de hardware generado fue solo del 6.27%.

El equipo de DeepSeek destacó: “Al comprender más profundamente la relación entre la estructura topológica basada en manifolds y los algoritmos de optimización, mHC puede superar las limitaciones actuales de los modelos de IA y abrir nuevos caminos en el diseño de infraestructuras de próxima generación”, subrayando la importancia técnica del avance.

Este anuncio es especialmente relevante en el contexto de un movimiento global reciente para reevaluar las arquitecturas de aprendizaje en IA. Desde su introducción en 2015, las conexiones residuales han sido ampliamente utilizadas en modelos de lenguaje a gran escala y en clasificación de imágenes. Estas conexiones transmiten la señal de error desde la capa de salida hacia las capas anteriores, ayudando a mitigar la distorsión de la información durante el proceso.

Sin embargo, a medida que los modelos de IA se vuelven cada vez más grandes, las limitaciones de las conexiones residuales se han hecho evidentes, y se han realizado diversos esfuerzos para mejorarlas. La tecnología mHC de DeepSeek representa un avance en este contexto, con potencial para contribuir directamente a la mejora de la eficiencia en el entrenamiento de modelos que sustentan toda la industria de IA.