Haciendo que los modelos de IA grandes sean más accesibles para PCs domésticas

Durante más de tres meses, he estado investigando en silencio métodos para reducir la carga de hardware y de memoria necesaria para ejecutar modelos de IA muy grandes, en particular modelos de mezcla de expertos como GLM-5.2 en ordenadores domésticos comunes.
Este trabajo forma parte de mi tesis de maestría en informática, y los resultados iniciales son prometedores.
Ahora tengo un prototipo funcional y planeo compartir más sobre él pronto.
El objetivo no es simplemente crear una versión más pequeña del modelo ni afirmar que cientos de miles de millones de parámetros puedan, por arte de magia, caber dentro de una GPU de consumo.
El modelo completo sigue disponible, pero el sistema intenta cargar, retener y transferir únicamente los componentes necesarios para la etapa actual de inferencia.
Mi investigación abarca áreas como:
Residencia dinámica de expertos
Prefetching predictivo de expertos
Carga jerárquica entre VRAM, RAM del sistema y almacenamiento NVMe
Enrutamiento consciente de caché
Reducir el movimiento innecesario de parámetros
Adaptar la ruta de ejecución al hardware disponible
Recientemente vi otro proyecto explorando una dirección similar, y eso me animó a hacer público mi propio trabajo.
Sin embargo, creo que algunos enfoques actuales podrían estar subestimando la carga real de inferencia.
Contar solo los parámetros asignados a expertos activos no representa el coste completo de la inferencia. Las capas compartidas, los estados de atención, la caché KV, las decisiones de enrutamiento, las transiciones entre expertos, el ancho de banda de memoria, los fallos de página y la sincronización CPU-GPU pueden convertirse en cuellos de botella importantes.
Un sistema puede parecer eficiente al medir únicamente los parámetros activos mientras aun así rinde mal durante una inferencia real de extremo a extremo, porque repetidamente transfiere datos entre el almacenamiento, la RAM y la VRAM.
Por lo tanto, mi enfoque no se centra solo en seleccionar menos expertos.
También considera dónde deben residir los componentes del modelo, cuándo deberían moverse, qué debe permanecer en caché y cómo pueden predecirse los requisitos próximos sin cargar partes innecesarias del modelo.
La investigación aún está en curso, y queda mucho más por probar. Sin embargo, los resultados hasta ahora sugieren que podría existir una vía práctica para ejecutar modelos mucho más grandes en hardware de consumo con una presión máxima de memoria significativamente menor.
El prototipo ya está en funcionamiento, aunque sigue siendo experimental y requiere más optimización, validación y pruebas en distintas configuraciones de hardware.
Planeo compartir el prototipo, o una demostración pública temprana de él, pronto.
Los experimentos están produciendo resultados prometedores.
Y creo que la inferencia de modelos grandes en ordenadores domésticos puede volverse considerablemente más eficiente que hoy.
Se compartirá más pronto. #AI