Deixe a IA modificar o próprio código de treino, Recursivamente atualizar o recorde de otimização de três algoritmos

ME AI Mensagem, de acordo com o monitoramento do Beating, a startup de IA Recursive divulgou os primeiros resultados de experimentos do seu sistema de pesquisa científica. O sistema consegue propor ideias automaticamente, escrever códigos, executar experimentos e validar resultados, superando os melhores resultados públicos em três benchmarks: treino com orçamento fixo, treino ultra-rápido NanoGPT e otimização de kernels GPU. Os experimentos mostram que, em tarefas com objetivos claros e feedback rápido, o sistema já consegue identificar espaços de otimização que os humanos deixam passar.

No treino de 5 minutos do NanoChat Autoresearch, o sistema reduziu a perda de validação BPB para 0,9109, encurtando aproximadamente 23% o tempo necessário para atingir a mesma perda (aceleração de 1,3 vezes). A mudança principal foi fortalecer a memória de contexto curto, hashando combinações de tokens binários e ternários em uma tabela de embedding fixa, e usando uma porta de controle aprendível para misturar o valor de atenção, aproveitando informações locais com custo extremamente baixo.

No Speedrun do NanoGPT, que já foi otimizado pela comunidade por mais de dois anos, o sistema reduziu o tempo para atingir uma perda específica de 79,7 segundos para 77,5 segundos. As melhorias incluem avançar o cálculo FP8 na atenção para aumentar o throughput, e reescrever o kernel MLP fundido, mantendo apenas a ativação ReLU ao quadrado e recalculando variáveis intermediárias durante o retropropagação para reduzir leituras e gravações de memória.

Na benchmark de otimização de kernels GPU SOL-ExecBench, o sistema aumentou a pontuação média SOL (que indica a proporção de atingir o limite teórico) de 0,699 para 0,754 na Nvidia B200, reduzindo a diferença para o limite físico em 18%. As estratégias incluem incorporar o escalonamento do GRN nos pesos das camadas lineares subsequentes, empacotar a pontuação e o índice do roteador de especialistas em chaves-valor para redução intra-warp, e usar instruções PTX de baixo nível no kernel NVFP4 MoE para empacotar FP4, mantendo FP32 em cálculos intermediários para diminuir a acumulação de erro.

Para evitar que IA explore vulnerabilidades para manipular resultados, o sistema introduziu auditorias de múltiplos níveis de correção para filtrar ganhos inválidos. (Fonte: BlockBeats)