A travers le projet Evaluation des performances de systèmes de décision à base d'IA (EPI), l'IRT SystemX et ses partenaires vont s'intéresser à l'évaluation et à l'optimisation des performances des systèmes de décision qui embarquent de l'intelligence artificielle (IA) ...de type machine learning (avec réseaux de neurones) dans les domaines du transport autonome et des environnements complexes comme le domaine maritime.... Ce projet, d’une durée de trois ans avec une équipe de cinq équivalents temps-plein, va étudier les systèmes qui permettent une prise de décision sur la base de l'interprétation et de la reconnaissance de l'environnement par des capteurs au travers de l'intelligence embarquée. Objectif du projet : aboutir à la définition d'une méthodologie générique partagée entre les partenaires pour l'évaluation des performances de ces algorithmes. Deux preuves de concept (PoC, Proof of Concept) seront réalisées dans les domaines du transport autonome routier et maritime.

Piloté par l’IRT SystemX, le projet EPI réunit quatre partenaires industriels - Apsys, Expleo Assystem Technologies, Groupe PSA et Naval Group – et s’est donné trois priorités :

- évaluer la performance de systèmes de décision reposant sur des algorithmes de type réseaux de neurones (représentation exacte de la réalité, latence du système, sûreté de fonctionnement, etc.),

- améliorer la performance des systèmes de réseaux de neurones en mixant données réelles et données simulées. La simulation numérique permettant d'accroître le corpus de données étudiées et ainsi d'augmenter les performances des algorithmes,

- et proposer une approche pour évaluer le niveau de couverture de situations approprié, sur la base de deux cas d'application.

Dans le domaine du véhicule autonome, la fonction étudiée sera de type autopilote, et dans le cas du domaine maritime, la fonction décisionnelle étudiée portera sur les entrées ou sorties de port, les zones denses et multi-navires, etc.

Parmi les défis à relever, les promoteurs du projet citent la manière d’entraîner un réseau de neurones avec un mélange optimal entre données réelles et données simulées, la définition des données de simulation dans un environnement incertain et complexe et l’évaluation de l'impact des données d'entrée sur la qualité des décisions, l’optimisation du choix des exemples à simuler, l’évaluation du niveau de couverture des situations avec une garantie d'indépendance entre données d'apprentissage et données de test, ou encore la quantification des performances.

« À ce jour, il n'existe pas de projet comparable au niveau national, explique Abdelkrim Doufene, directeur Stratégie et Programmes chez SystemX. La méthodologie développée dans le cadre du projet EPI sera validée dans un contexte industriel sur la base de données réelles et simulées. Notre ambition est que cette approche devienne d'ici quelques années le standard en France pour certifier les systèmes de décision à base d'IA. »