Parce que l'IA peut parfois causer des illusions, susciter des informations inexactes ou déformées, les utilisateurs sont encouragés à vérifier les documents de référence. Cela peut également causer des problèmes. Selon un rapport de Futurism lundi, ChatGPT peut fournir aux utilisateurs des liens vers des sites Web hébergeant des logiciels malveillants.
Cette découverte a été faite lors de la vérification des connaissances de ChatGPT sur les événements actuels. Lorsqu'on lui a demandé à propos de William Goines, récipiendaire de la Bronze Star et premier membre noir des Navy SEAL à décéder récemment, Futurism a signalé que la réponse de ChatGPT comprenait un lien vers un "site web frauduleux".
Plus précisément, ChatGPT-4o suggère de visiter un site Web appelé « County Local News » pour plus d’informations sur Goines. Cependant, le site Web génère immédiatement de faux avertissements contextuels qui, lorsqu’ils sont cliqués, infectent l’ordinateur de l’utilisateur avec des logiciels malveillants. Des sites similaires sont également recommandés pour d’autres sujets.
Lorsqu'on a essayé de vérifier Goines avec le rappel fourni par Futurism, la réponse de ChatGPT ne comportait pas de lien vers un site Web.
Les développeurs d'IA ont investi beaucoup dans la lutte contre la désinformation et l'utilisation de chatbots à des fins malveillantes, mais fournir des liens vers d'autres sites web comporte des risques supplémentaires. Un site web lié peut être légitime et sûr lorsque les entreprises d'IA collectent des données, mais il peut ensuite être infecté ou être détourné par des escrocs.
Selon Jacob Kalvo, cofondateur et PDG d'Internet Live Proxy, un fournisseur de données et de confidentialité, les liens sortants doivent être vérifiés en permanence.
Kalvo dit:
« Les développeurs peuvent s’assurer que des mécanismes de filtrage appropriés sont en place pour empêcher les chatbots de donner des liens vers des sites Web malveillants. Cela peut être complété par des algorithmes avancés de traitement du langage naturel (NLP) qui peuvent entraîner un chatbot à identifier les URL en fonction de modèles d’URL uniques connus. De plus, il est impossible d’oublier de tenir une liste noire des sites Web, qui est constamment mise à jour et surveillée pour détecter les nouvelles menaces.
Kalvo recommande également de vérifier les liens de site web, la réputation de domaine et de suivre en temps réel afin d'identifier et résoudre rapidement toute activité suspecte. Kalvo indique :
« Cela permet une collaboration continue avec des experts en sécurité informatique pour surmonter les nouvelles menaces lorsqu'elles apparaissent. Ce n'est qu'avec l'IA et les capacités humaines que les nouveaux développeurs peuvent créer un environnement beaucoup plus sûr pour les utilisateurs. »
Kalvo souligne également la nécessité de gérer soigneusement les données d'entraînement des modèles d'IA pour éviter l'entrée et la fourniture de contenus nuisibles, ainsi que la nécessité de vérifier et de mettre à jour régulièrement pour maintenir l'intégrité des données.
Lorsqu'il a été contacté pour un rapport, OpenAI a donné une réponse similaire à celle donnée à Futurism, en disant qu'ils travaillaient avec des partenaires de publication de nouvelles pour combiner leur capacité de conversation avec les dernières nouvelles, assurant une distribution appropriée - mais cette fonctionnalité n'est pas encore disponible.
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
ChatGPT peut amener les utilisateurs vers des sites Web malveillants
Parce que l'IA peut parfois causer des illusions, susciter des informations inexactes ou déformées, les utilisateurs sont encouragés à vérifier les documents de référence. Cela peut également causer des problèmes. Selon un rapport de Futurism lundi, ChatGPT peut fournir aux utilisateurs des liens vers des sites Web hébergeant des logiciels malveillants.
Cette découverte a été faite lors de la vérification des connaissances de ChatGPT sur les événements actuels. Lorsqu'on lui a demandé à propos de William Goines, récipiendaire de la Bronze Star et premier membre noir des Navy SEAL à décéder récemment, Futurism a signalé que la réponse de ChatGPT comprenait un lien vers un "site web frauduleux".
Plus précisément, ChatGPT-4o suggère de visiter un site Web appelé « County Local News » pour plus d’informations sur Goines. Cependant, le site Web génère immédiatement de faux avertissements contextuels qui, lorsqu’ils sont cliqués, infectent l’ordinateur de l’utilisateur avec des logiciels malveillants. Des sites similaires sont également recommandés pour d’autres sujets.
Lorsqu'on a essayé de vérifier Goines avec le rappel fourni par Futurism, la réponse de ChatGPT ne comportait pas de lien vers un site Web.
Les développeurs d'IA ont investi beaucoup dans la lutte contre la désinformation et l'utilisation de chatbots à des fins malveillantes, mais fournir des liens vers d'autres sites web comporte des risques supplémentaires. Un site web lié peut être légitime et sûr lorsque les entreprises d'IA collectent des données, mais il peut ensuite être infecté ou être détourné par des escrocs.
Selon Jacob Kalvo, cofondateur et PDG d'Internet Live Proxy, un fournisseur de données et de confidentialité, les liens sortants doivent être vérifiés en permanence.
Kalvo dit:
« Les développeurs peuvent s’assurer que des mécanismes de filtrage appropriés sont en place pour empêcher les chatbots de donner des liens vers des sites Web malveillants. Cela peut être complété par des algorithmes avancés de traitement du langage naturel (NLP) qui peuvent entraîner un chatbot à identifier les URL en fonction de modèles d’URL uniques connus. De plus, il est impossible d’oublier de tenir une liste noire des sites Web, qui est constamment mise à jour et surveillée pour détecter les nouvelles menaces.
Kalvo recommande également de vérifier les liens de site web, la réputation de domaine et de suivre en temps réel afin d'identifier et résoudre rapidement toute activité suspecte. Kalvo indique :
« Cela permet une collaboration continue avec des experts en sécurité informatique pour surmonter les nouvelles menaces lorsqu'elles apparaissent. Ce n'est qu'avec l'IA et les capacités humaines que les nouveaux développeurs peuvent créer un environnement beaucoup plus sûr pour les utilisateurs. »
Kalvo souligne également la nécessité de gérer soigneusement les données d'entraînement des modèles d'IA pour éviter l'entrée et la fourniture de contenus nuisibles, ainsi que la nécessité de vérifier et de mettre à jour régulièrement pour maintenir l'intégrité des données.
Lorsqu'il a été contacté pour un rapport, OpenAI a donné une réponse similaire à celle donnée à Futurism, en disant qu'ils travaillaient avec des partenaires de publication de nouvelles pour combiner leur capacité de conversation avec les dernières nouvelles, assurant une distribution appropriée - mais cette fonctionnalité n'est pas encore disponible.