Près d'une vulnérabilité sur deux détectée uniquement par l'IA n'a été retrouvée qu'une seule fois lors de cinq analyses identiques, indique la société américaine Snyc (*) dans le cadre d’une étude réalisée en 2026 (**).

Selon Snyk, alors que les outils d'IA sont de plus en plus utilisés pour examiner du code et identifier des vulnérabilités, l’étude montre une limite majeure : leur manque de reproductibilité.

Dans le cadre du benchmark Snyk VulnBench JS 1.0, les chercheurs ont ainsi réalisé quelques 300 analyses de sécurité répétées sur les mêmes applications, avec les mêmes paramètres et les mêmes modèles d'IA, afin de mesurer la stabilité des résultats.

Les conclusions montrent que près de 50 % des vulnérabilités signalées uniquement par les modèles d'IA n'ont été détectées qu'une seule fois sur cinq exécutions identiques, illustrant une forte variabilité des résultats.

A l'inverse, 85 % des vulnérabilités déjà référencées et correctement identifiées par les modèles ont été retrouvées lors des cinq exécutions, démontrant que les résultats les plus fiables concernent les vulnérabilités connues.

La meilleure configuration d'IA testée n'a retrouvé que 81 % des vulnérabilités de référence et a obtenu un score F1 de 75,4 %, laissant un écart significatif avec les outils SAST (Static Application Security Testing) déterministes.

L'étude montre que les modèles de langage peuvent constituent ainsi un complément précieux aux outils de sécurité applicative traditionnels en apportant une capacité de raisonnement et en identifiant parfois des problèmes supplémentaires.

Toutefois, selon Snyk, leur caractère probabiliste peut générer des résultats différents d'une exécution à l'autre. Pour les équipes de sécurité, cela signifie qu'il est encore prématuré de remplacer les outils de sécurité applicative traditionnels par des revues de code réalisées exclusivement par l’IA.

Les résultats de l’étude conduite par Snyk indiquent plutôt que la stratégie la plus efficace consiste à combiner l'IA et les outils SAST déterministes, chacun permettant de détecter des catégories de vulnérabilités différentes.

« Les entreprises cherchent légitimement à tirer parti de l’IA pour accélérer leurs processus de développement et de sécurité, commente Grégory Domagala, solutions Engineer chez Snyk. Mais lorsque près d’une vulnérabilité détectée exclusivement par l’IA apparaît une seule fois sur cinq analyses identiques, cela rappelle que la confiance ne peut pas reposer uniquement sur l’automatisation. Aujourd’hui, l’avenir repose plutôt sur une combinaison intelligente entre expertise humaine, IA et analyse de code déterministe ».

L’étude complète est accessible en téléchargement ici.

(*) Snyk est une entreprise américaine d’origine israélienne, basée à Boston, fondée en 2015 et spécialisée dans la sécurité de l’IA, La plateforme de sécurité IA de la société intègre la protection directement au processus de création afin de sécuriser le code d’IA générative, les applications natives IA et les systèmes d'agents

(**) Dans la méthodologie de l’étude l'outil Snyk VulnBench JS 1.0 a évalué plusieurs configurations de modèles Claude ainsi que Snyk Code sur 10 projets JavaScript contenant 44 vulnérabilités de référence, avec cinq répétitions par scénario, soit 300 analyses au total.