🔥Responsável pelo produto do DeepMind do Google: Cada empresa de produtos de IA deve criar seus próprios testes de referência

De acordo com o monitoramento Beating, o gerente sênior de produtos do Google DeepMind e responsável pelo Google AI Studio, Logan Kilpatrick, afirmou no X que cada empresa que constrói produtos baseados em IA deve estabelecer seus próprios testes de referência, para que o progresso do modelo beneficie “desproporcionalmente a sua empresa”. Ele apontou que a maioria das empresas depende de rankings públicos, mas a capacidade geral está desconectada de cenários de negócios específicos, por exemplo, a precisão na extração de cláusulas mais importante para empresas de revisão de contratos está ausente nos benchmarks públicos. Criar seus próprios testes permite avaliar o desempenho do modelo em tarefas de negócios próprias e impulsionar a otimização por parte dos fornecedores. Kilpatrick mencionou Zapier, Sierra…