OpenAI a acquis Promptfoo pour renforcer la sécurité des tests d'IA

Investing.com – OpenAI a annoncé son projet d’acquérir Promptfoo, une plateforme de sécurité AI qui aide les entreprises à identifier et à corriger les vulnérabilités dans leurs systèmes d’IA pendant le développement. La société indique qu’une fois l’acquisition finalisée, elle intégrera la technologie de Promptfoo à la plateforme OpenAI Frontier, conçue pour construire et exploiter des outils de collaboration en IA.

Les outils de Promptfoo sont actuellement utilisés par plus de 25 % des entreprises du Fortune 500. La plateforme comprend une interface en ligne de commande open source et une bibliothèque pour évaluer et effectuer des tests de red teaming sur des applications de grands modèles linguistiques. OpenAI indique qu’elle continuera à développer ce projet open source dans le cadre des fonctionnalités d’entreprise de Frontier.

L’équipe de Promptfoo est dirigée par Ian Webster et Michael D’Angelo. Selon Srinivas Narayanan, directeur technique principal des applications B2B chez OpenAI, Promptfoo apporte une expertise en ingénierie dans l’évaluation, la sécurité et les tests des systèmes d’IA d’entreprise.

OpenAI a décrit plusieurs fonctionnalités qu’elle prévoit de construire pour les entreprises utilisant Frontier. La société ajoutera directement des fonctionnalités d’automatisation des tests de sécurité et de red teaming dans la plateforme pour aider à identifier des risques tels que l’injection de prompts, le jailbreak, la fuite de données, l’abus d’outils et les comportements d’agent violant les politiques. Les outils de sécurité et d’évaluation seront intégrés dans le flux de travail de développement, et la plateforme comprendra également des fonctionnalités de reporting et de traçabilité pour soutenir la gouvernance, la gestion des risques et la conformité.

Ian Webster, cofondateur et PDG de Promptfoo, a déclaré que la société a été créée pour fournir aux développeurs une méthode pratique pour protéger les systèmes d’IA. Webster a ajouté qu’intégrer OpenAI permettra à l’équipe d’accélérer ses travaux en matière de sécurité, de garanties de sécurité et de gouvernance, afin de soutenir les équipes qui construisent des systèmes d’IA.

Cet article a été traduit avec l’aide de l’intelligence artificielle. Pour plus d’informations, veuillez consulter nos conditions d’utilisation.