A estratégia de colocar o estado externamente é bastante interessante, modelos pequenos também podem fazer buscas de longo alcance, vale a pena acompanhar o open source do Harness-1

Notícia do Coinjie.com, o agente de busca inteligente 20B Harness-1 foi open source, pesquisadores da UIUC, UC Berkeley e Chroma.
O modelo usa uma arquitetura de estado externo, delegando o trabalho de memória e organização do processo de busca ao ambiente, permitindo que modelos não de ponta usem poucos dados de treinamento e alcancem desempenho próximo ao de modelos de ponta em tarefas de busca de longo alcance.
O Harness-1, em oito benchmarks de busca cobrindo páginas web, finanças, patentes e perguntas de múltiplos saltos, atingiu uma taxa média de recall de 0,730, 11,4 pontos percentuais acima do melhor submodelo de busca open source, demonstrando que o uso explícito de estado de busca ajuda o modelo a aprender estratégias de busca mais transferíveis.