LLM não consegue resolver problemas de restrições rígidas na otimização de redes elétricas; novas pesquisas explicam o motivo

Título

LLM não consegue resolver o problema de otimização do fluxo de potência na rede elétrica, nova pesquisa explica por quê

Resumo

Uma equipe da Universidade de Luxemburgo e do Instituto de Pesquisa em Saúde de Luxemburgo testou o desempenho de diferentes arquiteturas e tamanhos de LLM na tarefa de otimização do fluxo de potência (OPF). Principais descobertas:

• A taxa de satisfação de restrições tem permanecido entre 55-60%, aumentando o tamanho do modelo não ajudou;
• O modelo falhou principalmente nas equações de fluxo, enquanto restrições simples como limites de geradores e tensão funcionaram razoavelmente bem;
• A eficácia do ajuste fino é limitada: SFT serve principalmente para tornar o formato da saída mais consistente e reduzir o MSE, ajudando pouco na viabilidade física; RL teve alguma utilidade em cenários simples como o de 30-bus, mas falhou em cenários complexos;
• Quer usar LLMs gerais para rodar infraestruturas críticas diretamente? Este estudo é um lembrete da realidade.

Análise

A equipe de pesquisa utilizou dados de rede elétrica próximos da prática de engenharia, sem permitir que o modelo chamasse solucionadores numéricos externos, para ver se o LLM conseguiria satisfazer as restrições físicas por conta própria. O resultado foi uma taxa de satisfação de 55-60% semelhante em diferentes modelos, a conclusão é bastante estável.

O que realmente traz benefícios no ajuste fino:

• SFT: saída mais consistente, MSE mais baixo, mas ajuda limitada na satisfação de restrições físicas;
• RL: alguma melhoria em cenários simples, praticamente sem utilidade em cenários complexos.

A causa fundamental do fracasso: o modelo parece estar gerando “coisas que parecem respostas”, em vez de realmente otimizar sob as restrições das leis físicas. Isso é semelhante ao que observamos em tarefas que exigem estrita satisfação de restrições, como ARC-AGI e SATBench: aumentar o tamanho do modelo não garante que ele possa satisfazer as restrições.

Situação de satisfação das diferentes tipos de restrições (baseado na tabela da página 12 do artigo):

Conclusão: LLMs gerais não conseguem realizar sozinhos tarefas de otimização física com restrições fortes como o OPF, precisam ser usados em conjunto com raciocínio simbólico, motores físicos ou solucionadores numéricos.

Avaliação de impacto

• Importância: Alta (relevante para qualquer sistema de engenharia ou financeiro que envolva restrições fortes e viabilidade física)
• Categoria: Pesquisa em IA, Insights tecnológicos, Tendências da indústria
• Aplicações práticas:
  • Infraestruturas críticas como energia elétrica: LLMs gerais são mais adequados como interface e camada de orquestração, o cálculo central ainda depende de solucionadores externos e modelos físicos;
  • Cenários de alto risco em finanças: substituir motores de otimização ou de conformidade por LLMs é muito arriscado, sistemas híbridos são mais confiáveis.

Conclusão: não tem muita relação com o mercado de criptomoedas; pode ser valioso para equipes de infraestrutura e instituições de pesquisa que trabalham com soluções híbridas de IA + solucionadores físicos; traders e detentores de longo prazo não têm muito o que fazer no momento; fundos focados em infraestrutura de IA podem ficar atentos, mas não esperem que LLMs gerais resolvam diretamente problemas de fortes restrições.