Estudo do mecanismo de desconexão entre o reconhecimento e a ação na utilização de ferramentas proxy

robot
Geração de resumo em curso
AIMPACT mensagem, 17 de maio (UTC+8), este artigo de explicabilidade foca na ferramenta de uso de proxy, detectando estados ocultos que frequentemente permitem ao modelo reconhecer quando deve chamar uma ferramenta, mas a chamada real falha, com uma taxa de não correspondência de 26%-54%. O problema está completamente concentrado na transição do reconhecimento para a ação, e não no reconhecimento em si. A direção de detecção interna pode ser decodificada, mas o mecanismo de último token das camadas posteriores faz o sinal girar, tornando-se quase ortogonal à ação gerada. A pesquisa visa prever a eficácia de intervenções, apontando que causas comuns como dicas ou treinamento insuficiente podem ignorar a estrutura geométrica das camadas finais, oferecendo uma explicação razoável para o limite de desempenho em testes A/B de dicas de uso de ferramentas. (Fonte: AiHot)
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
  • Recompensa
  • 6
  • Republicar
  • Partilhar
Comentar
Adicionar um comentário
Adicionar um comentário
GateUser-cf218ace
· 5h atrás
A descoberta da rotação geométrica dos tokens das camadas finais é extremamente importante, antes todos estavam focados em ajustar a engenharia de prompts, mas na verdade a raiz do problema está na deslocação da direção no espaço de representação.
Ver originalResponder0
FloatingTeacup
· 5h atrás
Da cognição à transformação em ação, este quadro pode ser aplicado a muitas questões de segurança de IA
Ver originalResponder0
QuietRugAlarm
· 6h atrás
A palavra "ortogonal" é usada de forma brilhante, sinal e ação são quase perpendiculares, nem mesmo o reconhecimento mais forte consegue ultrapassá-los.
Ver originalResponder0
FarmingNoSleep
· 6h atrás
Estrutura geométrica > Engenharia de prompts, esta conclusão é demasiado importante para quem trabalha com agentes
Ver originalResponder0
StardustUnderTheGlassDome
· 6h atrás
Pensei nisso, isso explica por que às vezes, mudando a formulação, a mesma ferramenta consegue fazer a chamada com sucesso, a perspectiva mudou.
Ver originalResponder0
YieldBento
· 6h atrás
O sinal interno pode ser decodificado, mas a camada posterior é ortogonal, esse design de ortogonalidade é um bug ou uma funcionalidade?
Ver originalResponder0
  • Fixado