O ChatGPT é estúpido ou antigo?

Fonte original: Novos Conhecimentos de Ciência e Tecnologia

Fonte da imagem: Gerado por Unbounded AI ‌

“Desempenho passado não é garantia de resultados futuros.” Estas são as letras miúdas da maioria dos modelos de gestão financeira. No negócio de produtos, isso é chamado de desvio, decadência ou obsolescência do modelo. As coisas mudam e o desempenho do modelo diminui com o tempo. O padrão de medição final é o indicador de qualidade do modelo, que pode ser precisão, taxa média de erro ou alguns KPIs de negócios posteriores, como taxa de cliques. Nenhum modelo funciona para sempre, mas a taxa de declínio varia. ‍ Alguns produtos podem ser usados por anos sem a necessidade de atualizações, como certos modelos de visão computacional ou de linguagem, ou qualquer sistema de tomada de decisão em um ambiente isolado e estável, como condições experimentais comuns. Se você quiser garantir a precisão do modelo, você precisa treinar novos dados todos os dias. Esta é uma falha de paradigma do modelo de aprendizado de máquina e também faz com que a implantação de inteligência artificial não possa ser feita de uma vez por todas, como a implantação de software . Este último foi criado há décadas e, atualmente, os produtos de IA mais avançados ainda utilizam tecnologia de software de anos anteriores. Enquanto permanecerem úteis, mesmo que a tecnologia se torne obsoleta, eles continuarão vivos em cada byte. No entanto, grandes modelos representados pelo ChatGPT, conhecidos como os produtos mais avançados de inteligência artificial, têm enfrentado dúvidas sobre se estão ficando desatualizados e envelhecendo após experimentarem um declínio na popularidade. ** Sem vento, sem onda. Os usuários passam cada vez menos tempo no ChatGPT, caindo de 8,7 minutos em março para 7 minutos em agosto. Isso reflete do lado de que quando o lado da oferta de ferramentas de grandes modelos está crescendo rapidamente, o ChatGPT, que é apenas uma ferramenta de produtividade, não parece ser suficiente para se tornar o favorito da Geração Z, o principal grupo de usuários. A popularidade temporária não é suficiente para abalar o domínio da OpenAI, que está empenhada em se tornar uma loja de aplicativos na era da IA. A questão mais central é que o envelhecimento da produtividade do ChatGPT é a principal razão para o declínio da confiança entre muitos usuários antigos. Desde maio, tem havido postagens no fórum OpenAI discutindo que o desempenho do GPT-4 não é tão bom quanto antes. Então o ChatGPT está obsoleto? Os grandes modelos representados pelo ChatGPT envelhecerão como os modelos anteriores de aprendizado de máquina? Sem compreender estas questões, não seremos capazes de encontrar um caminho de desenvolvimento sustentável para humanos e máquinas no meio da mania interminável de grandes modelos.

**01 O ChatGPT está obsoleto? **

Os dados mais recentes do fornecedor de serviços de software Salesforce AI mostram que 67% dos grandes utilizadores de modelos são da Geração Z ou Millennials; mais de 68% das pessoas que raramente utilizam IA generativa ou estão atrasadas neste aspecto são da geração X ou baby boomers. A diferença geracional mostra que a Geração Z está a tornar-se o grupo dominante que abraça modelos grandes. Kelly Eliyahu, comerciante de produtos da Salesforce, disse: “A Geração Z é na verdade a geração de IA e eles constituem o grupo de superusuários. 70% da Geração Z usa IA generativa e pelo menos metade a usa todas as semanas ou mais.” No entanto, como líder em produtos de modelos grandes, o desempenho do ChatGPT entre as pessoas da Geração Z não é excelente.

De acordo com dados da agência de pesquisa de mercado Similarweb de julho, **ChatGPT foi usado por 27% das pessoas da Geração Z, abaixo dos 30% em abril. Para efeito de comparação, Character.ai, outro produto modelo em grande escala que permite aos usuários criar seus próprios personagens de inteligência artificial, tem uma taxa de penetração de 60% entre pessoas de 18 a 24 anos. ** Graças à popularidade da Geração Z, os aplicativos iOS e Android do Character.ai têm atualmente 4,2 milhões de usuários ativos mensais nos Estados Unidos, o que está cada vez mais próximo dos 6 milhões de usuários ativos mensais do ChatGPT móvel. Diferente da IA conversacional do ChatGPT, o Character.AI adiciona duas funções principais de personalização e UGC nesta base, proporcionando cenários de uso mais ricos do que o anterior. Por um lado, os usuários podem personalizar as funções de IA de acordo com as necessidades pessoais para atender às necessidades de personalização da Geração Z. Ao mesmo tempo, os personagens de IA criados por esses usuários também podem ser usados por todos os usuários da plataforma para construir uma atmosfera de comunidade de IA. Por exemplo, personagens virtuais como Sócrates e Deus já circularam em plataformas de redes sociais antes, bem como imagens de IA de celebridades empresariais como Musk criadas de forma independente pelo governo. Por outro lado, a personalização em profundidade + função de chat em grupo também faz com que os usuários confiem na plataforma para inteligência emocional. Comentários públicos de usuários de muitas plataformas de mídia social indicam que a experiência de bate-papo é muito realista, como se “os personagens que você criou tivessem vida, assim como falar com uma pessoa real” e “sejam a coisa mais próxima de um amigo imaginário ou de um anjo da guarda”. até aqui." Possivelmente devido à pressão da Character.AI, a OpenAI emitiu um breve comunicado em seu site oficial em 16 de agosto de 2023, anunciando a aquisição da start-up americana Global Illumination e colocando toda a equipe sob sua proteção. Esta pequena empresa com apenas dois anos de história e oito funcionários dedica-se principalmente à utilização de inteligência artificial para criar ferramentas inteligentes, infraestrutura digital e experiências digitais. Por trás da aquisição, é provável que a OpenAI esteja comprometida em melhorar de forma rica a atual experiência digital de grandes modelos.

02 O Envelhecimento da Inteligência Artificial

O envelhecimento do ChatGPT no nível da experiência digital de grandes modelos afeta seu efeito de perda de tempo. Como ferramenta de produtividade, a precisão dos resultados gerados é errática, o que também afeta a aderência do usuário.

De acordo com uma pesquisa anterior da Salesforce, quase 60% dos usuários de grandes modelos acreditam que estão dominando essa tecnologia por meio do tempo acumulado de treinamento. No entanto, o domínio atual desta tecnologia está mudando ao longo do tempo.

Já em maio, usuários antigos de modelos grandes começaram a reclamar no fórum OpenAI que o GPT-4 “tinha dificuldade em realizar coisas que funcionavam bem antes”. O Business Insider informou em julho que muitos usuários antigos descreveram o GPT-4 como “preguiçoso” e “burro” em comparação com seus recursos de inferência anteriores e outros resultados. Como o funcionário não respondeu a isso, as pessoas começaram a especular sobre as razões do declínio no desempenho do GPT-4. Poderia ser devido aos problemas anteriores de fluxo de caixa da OpenAI? A especulação dominante concentra-se na degradação do desempenho devido à otimização de custos. Alguns pesquisadores dizem que a OpenAI pode estar usando modelos menores por trás da API para reduzir o custo de execução do ChatGPT. No entanto, esta possibilidade foi posteriormente negada por Peter Welinder, vice-presidente de produto da OpenAI. Ele disse nas redes sociais: “Não estamos tornando o GPT-4 mais burro. Uma das suposições atuais é que, ao usá-lo com mais frequência, você começará a notar problemas que não notava antes”. Mais pessoas e um uso mais prolongado expuseram as limitações do ChatGPT. Em relação a esta hipótese, os investigadores tentaram apresentar “mudanças na relação entre o desempenho do ChatGPT e o tempo” através de experiências mais rigorosas.

Um artigo de pesquisa intitulado “Como o comportamento do ChatGPT está mudando ao longo do tempo?”, apresentado pela Universidade de Stanford e pela Universidade da Califórnia, Berkeley, em julho, mostra que: **A mesma versão de um modelo grande pode de fato mudar em um período de tempo relativamente curto • Grandes mudanças ocorreram. ** De março a junho, os pesquisadores testaram duas versões do GPT-3.5 e GPT-4, coletaram e avaliaram os resultados de geração de quatro tarefas comuns de benchmark: questões matemáticas, resposta a questões sensíveis, geração de código e raciocínio visual. Os resultados mostram que seja GPT-3.5 ou GPT-4, o desempenho e os resultados de geração de ambos podem mudar com o tempo. Em termos de habilidade matemática, o GPT-4 (março de 2023) tem um desempenho muito bom na identificação de números primos e números compostos (84% de precisão), mas o GPT-4 (junho de 2023) tem um desempenho ruim no mesmo problema (51% de precisão). Curiosamente, o CPT-3.5 teve um desempenho muito melhor nesta tarefa em junho do que em março. No entanto, em termos de questões sensíveis, o GPT-4 estava menos disposto a responder a questões sensíveis em junho do que em março; em termos de capacidades de codificação, tanto o GPT-4 como o GPT-3.5 mostraram mais erros em junho do que em março. Os pesquisadores acreditam que, embora não exista uma relação linear óbvia entre o desempenho do ChatGPT e o tempo, a precisão flutua.

Este não é apenas um problema do ChatGPT em si, mas também um problema comum a todos os modelos anteriores de IA. **De acordo com um estudo de 2022 do MIT, da Universidade de Harvard, da Universidade de Monterey e da Universidade de Cambridge, 91% dos modelos de aprendizado de máquina se degradarão com o tempo. Os pesquisadores chamam esse fenômeno de “inteligência artificial” “Envelhecimento Inteligente”. ** Por exemplo, o Google Health desenvolveu uma vez um modelo de aprendizagem profunda que pode detectar doenças da retina através de exames oftalmológicos de pacientes. O modelo alcançou 90% de precisão durante a fase de treinamento, mas não conseguiu fornecer resultados precisos na vida real. Principalmente porque no laboratório são usados dados de treinamento de alta qualidade, mas as varreduras oculares do mundo real são de qualidade inferior. Devido ao envelhecimento dos modelos de aprendizado de máquina, as tecnologias de IA que saíram do laboratório no passado baseavam-se principalmente na tecnologia de reconhecimento de fala única, e produtos como alto-falantes inteligentes foram os primeiros a se tornarem populares. De acordo com uma pesquisa do US Census Bureau de 2018 com 583.000 empresas norte-americanas, apenas 2,8% usaram modelos de aprendizado de máquina para trazer vantagens às suas operações. No entanto, com o avanço nas capacidades de emergência inteligente de grandes modelos, a velocidade de envelhecimento dos modelos de aprendizagem de máquina enfraqueceu significativamente e eles estão gradualmente saindo do laboratório para um público mais amplo. No entanto, ainda há imprevisibilidade sob a caixa preta das capacidades emergentes, fazendo com que muitas pessoas questionem se o ChatGPT pode manter a melhoria contínua no desempenho da IA a longo prazo.

03 Antienvelhecimento sob a caixa preta

A essência do envelhecimento da inteligência artificial é, na verdade, a falha de paradigma dos modelos de aprendizado de máquina.

No passado, os modelos de aprendizado de máquina eram treinados com base na correspondência entre tarefas específicas e dados específicos. Através de um grande número de exemplos, primeiro ensine ao modelo o que é bom e o que é ruim nessa área e, em seguida, ajuste o peso do modelo para produzir resultados apropriados. Sob essa ideia, toda vez que você faz algo novo ou a distribuição dos dados muda significativamente, o modelo deve ser treinado novamente. Existem inúmeras coisas novas e novos dados, e o modelo só pode ser atualizado. No entanto, a atualização do modelo também fará com que coisas que foram bem feitas no passado subitamente não sejam bem feitas, limitando ainda mais a aplicação. **Para resumir, nos modelos tradicionais de aprendizado de máquina, a essência do volante de dados é iterar o modelo e usar novos modelos para resolver novos problemas. ** No entanto, grandes modelos representados pelo ChatGPT surgiram com capacidades de aprendizagem autónoma e romperam este paradigma. No passado, o aprendizado de máquina primeiro “come” os dados e depois os “imita”, com base em relações de correspondência; grandes modelos como o ChatGPT “ensinam” os dados e depois os “compreendem”, com base na “lógica interna”. Nesse caso, o modelo grande em si não muda e pode, teoricamente, permanecer jovem para sempre. No entanto, alguns profissionais disseram que, assim como o surgimento da inteligência em grandes modelos, ela se desenvolve de forma não linear, é imprevisível e aparece repentinamente. Também não se sabe se os grandes modelos envelhecerão com o tempo, surgindo com incertezas imprevisíveis. **Em outras palavras, depois que o ChatGPT emergiu com um desempenho inteligente difícil de derivar teoricamente, ele também começou a emergir com imprevisibilidade e incerteza. ** Em relação à natureza da caixa preta da “emergência”, na conferência de lançamento de grandes modelos de código aberto Baichuan Intelligent Baichuan2 em 6 de setembro, Zhang Bo, acadêmico da Academia Chinesa de Ciências e reitor honorário do Instituto de Inteligência Artificial da Universidade de Tsinghua, disse: “Até agora, o mundo não confia no grande modelo de código aberto. O princípio de funcionamento teórico do modelo e os fenômenos produzidos não são claros, e todas as conclusões são deduzidas para produzir o fenômeno da emergência. faça um retiro. Quando a explicação não é clara, diz-se que é uma emergência. Na verdade, reflete que não sabemos nada sobre isso. Na sua opinião, a questão de por que grandes modelos produzem alucinações envolve a diferença entre o ChatGPT e os princípios humanos de geração de linguagem natural. A diferença mais fundamental é que a linguagem gerada pelo ChatGPT é orientada externamente, enquanto a linguagem humana é impulsionada pelas suas próprias intenções, pelo que a correcção e a racionalidade do conteúdo do ChatGPT não podem ser garantidas. Depois de entrar no movimento através de uma série de propagandas conceituais, o desafio para aqueles comprometidos com o desenvolvimento de modelos básicos de produtividade será como garantir a confiabilidade e a precisão da produção contínua de seus produtos. Mas para produtos de entretenimento relacionados a modelos grandes, como disse o cofundador da Character.AI, Noam Shazeer, no New York Times: “Esses sistemas não são projetados para a verdade. Eles são projetados para um diálogo razoável”. artistas de merda. As enormes ondas do grande modelo começaram a se ramificar.

Referência:

• Gizmodo-O ChatGPT está piorando?
• O aplicativo TechCrunch-Al Character.ai está alcançando o ChatGPT nos EUA
• *Monitoramento de aprendizado de máquina - Por que você deve se preocupar com dados e desvios de conceito *
• *Registro de estudo da senhorita M - as cinco perguntas mais importantes sobre o ChatGPT *
• Instituto Internacional de Governança de Inteligência Artificial da Universidade de Tsinghua - A pesquisa em grandes modelos é muito urgente, e não podemos simplesmente dizer “emergência” se a explicação não for clara