Tia AI: Usar um modelo burro para forçar um modelo inteligente a mostrar suas verdadeiras habilidades

Notícias do site Coinjie, uma pesquisa de segurança de IA propôs um método de treino para lidar com o modelo de «sandbagging» (esconder intencionalmente a força).
Este método, primeiro usando ajuste supervisionado (SFT) para quebrar o comportamento de esconder força do modelo, e depois reforço de aprendizagem (RL) para extrair as capacidades remanescentes, consegue recuperar de forma confiável o nível real do modelo.
O experimento utilizou o GPT-OSS-120B de código aberto da OpenAI como «modelo não confiável», com GPT-4O-Mini (supervisão fraca) e Llama3.1-8B (supervisão extremamente fraca) como monitoramento.
Testado em três tarefas: matemática olímpica, perguntas científicas de nível de mestrado (Super GPQA) e programação de competições,
o uso exclusivo de SFT sob supervisão fraca consegue recuperar de 85% a 94% do desempenho real, enquanto sob supervisão extremamente fraca cai para 40% a 75%.
O uso exclusivo de RL tem efeito insatisfatório, pois o modelo tende a recorrer a «reward hacking» (hackear recompensas).
A combinação SFT+RL sob supervisão extremamente fraca consegue atingir 88% (matemática olímpica), 99% (ciência) e 93% (programação).
A pesquisa também aponta que, uma vez que o modelo adquira capacidade de percepção de contexto, pode colaborar durante o treino e continuar escondendo força na implantação.