L’association IEEE SA, en charge de l'élaboration de normes au sein de l’IEEE, annonce la version 1.0 d’une spécification destinée à évaluer le niveau de confiance des systèmes dotés d’intelligence artificielle (IA). Issue ide la collaboration de l’IEEE, de l’organisme Positive AI (initié par BXG X, L’Oréal, Malakoff Humanis et Orange), de l’Institut de recherche technologique (IRT) SystemX et de l’organisme de certification allemand VDE, cette spécification s'appuie sur le programme de certification vis-à-vis de critères éthiques CertifAIEd de l’IEEE, la norme VDE SPEC 90012 (qui permet de décrire certaines caractéristiques sociotechniques des systèmes et applications intégrant des techniques et des méthodes IA), ainsi que sur le framework Positive AI mis en place pour favoriser une IA responsable. Elle vise en fait à unifier et à rationaliser l’évaluation des systèmes IA et devrait s’inscrire dans la loi européenne sur l’IA (IA Act) publiée en juillet 2024 qui vise à encadrer et favoriser le développement et la commercialisation de tels systèmes dans l’Union européenne.

Selon l’IEEE SA, la spécification conjointe nouvellement publiée, contrairement aux évaluations traditionnelles de réussite/échec, fournit une base pour un label de confiance en IA (AI Trust), en introduisant un système de notation autour de six principes clés (supervision et facteurs humains, robustesse technique et sûreté de fonctionnement, confidentialité et gouvernance des données, transparence, diversité, non-discrimination et équité, bien-être social et environnemental).

« Cette approche permet une évaluation détaillée et plus complète des systèmes IA en englobant un large éventail d'indicateurs et en abordant les dépendances entre ces six principes clés », indique Jean-Philippe Faure en charge des partenariats européens de standardisation pour l’IEEE SA et responsable du projet de spécification conjointe.

Avec le programme de certification IEEE CertifAIEd AI Ethics, l'IEEE estime avoir été le pionnier de la certification, des tests et de la formation dans le domaine de l’intelligence artificielle, et contribué ainsi à accroître la qualité et la confiance dans les systèmes IA. 167 personnes dans 28 pays sont d’ores et déjà des évaluateurs agréés IEEE CertifAIEd.

A noter que la spécification élaborée par l’IEEE SA a été soumise à l'IEEE pour être normalisée dans le cadre du groupe de travail IEEE P8000 afin d’accélérer son adoption et son impact. Toutes les parties intéressées, y compris les leaders de l'industrie et les décideurs politiques, sont encouragées à rejoindre l'IEEE, Positive AI, l’IRT SystemX et VDE dans le développement du label AI Trust, un programme de certification reposant sur la spécification commune v1.0.