Tornar modelos de IA de grande escala mais acessíveis a PCs domésticos

Há mais de três meses, tenho estado a investigar em silêncio métodos para reduzir a carga de hardware e de memória necessária para executar modelos de IA muito grandes —em particular modelos mixture-of-experts como GLM-5.2— em computadores domésticos comuns.
Este trabalho faz parte do meu mestrado em ciência da computação, e os primeiros resultados são promissores.
Já tenho um protótipo a funcionar, e planeio partilhar mais sobre ele em breve.
O objectivo não é simplesmente criar uma versão mais pequena do modelo nem afirmar que centenas de milhares de milhões de parâmetros podem, de alguma forma, caber magicamente numa GPU para consumo.
O modelo completo continua disponível, mas o sistema tenta carregar, manter e transferir apenas os componentes necessários para a etapa actual da inferência.
A minha investigação envolve áreas como:
Residência dinâmica de especialistas
Pré-busca preditiva de especialistas
Carregamento hierárquico entre VRAM, RAM do sistema e armazenamento NVMe
Routing consciente de cache
Redução de movimentação desnecessária de parâmetros
Adaptação do percurso de execução ao hardware disponível
Recentemente vi outro projecto a explorar uma direcção semelhante, o que me incentivou a tornar o meu trabalho público.
No entanto, acredito que algumas abordagens actuais podem estar a subestimar a verdadeira carga de inferência.
Contar apenas os parâmetros atribuídos a especialistas activos não representa o custo completo da inferência. Camadas partilhadas, estados de atenção, a KV cache, decisões de routing, transições entre especialistas, largura de banda de memória, page faults e sincronização CPU-para-GPU podem tornar-se todos gargalos importantes.
Um sistema pode parecer eficiente ao medir apenas os parâmetros activos, enquanto ainda tem um desempenho fraco durante a inferência real de ponta a ponta, porque transfere repetidamente dados entre o armazenamento, a RAM e a VRAM.
A minha abordagem não se foca apenas em seleccionar menos especialistas.
Ela também considera onde os componentes do modelo devem residir, quando devem ser movidos, o que deve permanecer em cache e como os requisitos futuros podem ser previstos sem carregar partes desnecessárias do modelo.
A investigação ainda está em curso, e há muito mais testes por concluir. No entanto, os resultados até agora sugerem que pode existir um caminho prático para executar modelos muito maiores em hardware de consumo com uma pressão máxima de memória significativamente mais baixa.
O protótipo já está operacional, embora ainda seja experimental e requeira mais optimização, validação e testes em diferentes configurações de hardware.
Pretendo partilhar o protótipo, ou uma demonstração pública inicial do mesmo, em breve.
Os ensaios estão a produzir resultados promissores.
E acredito que a inferência de modelos de grande escala em computadores domésticos pode tornar-se consideravelmente mais eficiente do que é hoje.
Mais em breve. #AI